使用Google Cloud Functions长时间运行的python进程

新鲜迈克

我正在尝试在Google Cloud中运行python脚本,该脚本每天将50GB的数据下载到存储桶中。该下载所花费的时间可能超过了Google Cloud Functions上设置为9分钟的超时限制。调用python函数的请求由HTTP触发。

有办法解决这个问题吗?我不需要运行HTTP Restful服务,因为每天从外部源调用一次。(无法安排)。

整个前提是将大量数据直接下载到云中。感谢您的任何建议。

道格·史蒂文森

对于云功能,不能超过9分钟的硬限制。如果您无法将工作分解为较小的单元,则每个函数调用都需要一个单元,请考虑使用其他产品。Cloud Run限制为15分钟,并且Compute Engine没有适用于您的限制。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

连接中断时,Google Cloud Platform 无法运行长时间运行的进程

Google Cloud中长时间运行的操作超时/ TTL

使用 Google Cloud 执行长时间运行的任务

如何在 Google Cloud Platform 中设置长时间运行的 Django 命令

以后如何获得长时间运行的Google Cloud Speech API操作的结果?

删除要在Google Cloud MySQL中长时间运行的查询

使用 Doctrine 长时间运行的 php 进程

使用EC2 cloud-init启动脚本启动长时间运行的任务

Python:使用subprocess.Popen执行长时间运行的进程,将其杀死,并访问其输出

如何使用子进程和Popen从长时间运行的进程中返回stdout?

如何取消使用`concurrent.futures.ProcessPoolExecutor`运行的长时间运行的子进程?

用于 Google 上长时间任务的 Cloud Functions 的替代方案

长时间运行的 Python 程序(使用 Pandas)不断增加内存使用量

使用asyncio(Python 3.4+)异步接收长时间运行的shell命令的输出?

如何在长时间运行的函数中使用 python tornado @gen.coroutine

使用JMS运行长时间的进程?

如何使用Apache Camel处理长时间运行的任务

defer:在长时间运行功能的情况下使用?

使用 RxJava 处理长时间运行的任务

如何使用实体框架处理长时间运行的操作?

使用AWS服务安排长时间运行的任务

使用异步服务器长时间运行的任务

使用ISR取消长时间运行的功能

在长时间运行的 Celery 任务中使用 SQLAlchemy 对象

Botframework:如何使用Bot处理长时间运行的任务?

使用exec来长时间运行脚本

使用 Celery 进行长时间运行的异步作业

如何使用Cloud Build对Google Cloud Functions运行python单元测试?

仅在特定时间运行一次 Google Cloud Function