在 AWS 上运行 Python 脚本并将 5GB 的文件传输到 EC2

Lucy Li Chenhui

我是 AWS 的绝对初学者:我已经创建了一个密钥和一个实例,我想在 EC2 环境中运行的 python 脚本需要遍历大约 80,000 个文件,标记其中的句子,并将这些句子用于一些无监督学习.

这可能是重复的;但是我找不到将这些文件复制到 EC2 环境并在 EC2 中运行 python 脚本的方法,我也不太确定如何使用 boto3。我正在使用 Mac 操作系统。我只是在寻找任何方法来加快速度。非常感谢!我永远心存感激!!!

瓦姆西

这是我最近尝试的:

  1. 创建存储桶并使存储桶可供公众访问。
  2. 创建角色并添加 HTTP 选项。
  3. 上传所有文件并确保文件可公开访问。
  4. 获取 S3 文件的 HTTP 链接。
  5. 通过putty连接实例。
  6. wget 将文件复制到 EC2 实例中。

如果您的文件是 zip 格式,请复制一次足以将所有文件移动到实例中。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

即使关闭了CLI会话,也继续在AWS EC2上运行python脚本

AMI上的AWS EC2 Apache日志文件位置

我无法使用pscp将文件传输到亚马逊AWS ec2实例。钥匙被拒绝

Laravel 5通过AWS EC2上的cron计划-命令未运行

Python脚本是否可以“识别”它在哪个EC2实例上运行?

Gunicorn未在AWS EC2上创建.sock文件

如何使用AWS CLI在多个EC2实例上运行Shell脚本?

如何在AWS EC2实例(ubuntu)上运行python脚本?

通过写入触发在AWS ec2上运行同步脚本

在Windows上使用python启动分离的无限过程并将输出通过管道传输到文件中

每当触发lambda时,如何运行存在于AWS EC2中的python脚本?

在AWS上的现有EC2实例中运行Python脚本

使用AWS S3文件夹对象作为EC2实例中的输入参数运行位于计算机上的python脚本

如何从本地计算机将zip文件传输到AWS EC2?

AWS EC2在crontab上使用python脚本-如何测量使用情况?

通过AWS Lambda在EC2实例上执行python脚本

在EC2上运行存储在AWS S3存储桶中的Python脚本并将结果文件保存回S3存储桶

如何运行位于AWS EC2服务器上的python脚本?

慢速Regex搜索大文件(大于5GB)Python

Amazon SQS,Boto和Python:在Amazon EC2上获取并运行脚本

使python脚本在Amazon EC2上永久运行

扩展时,AWS EC2运行powershell脚本

在python中解析大型(.5Gb)pcap文件

在AWS Ec2 Ubuntu 1404 Server上启动时运行脚本

AWS Speed,将文件从S3传输到Ec2?

在没有前端的 aws ec2 上运行 node.js“脚本”?

如何在 AWS EC2 上运行 Python 代码并将 csv 文件从服务器写入我的本地机器?

AWS:如何每天将文件从 ec2 实例(Windows Server)传输到 S3?

构建可在 AWS EC2 上运行的独立 Octave 可执行文件