Python AWS S3FS API:手动设置代理服务器

马洛斯

我无法为S3FS Python API设置代理服务器。由于S3FS的Config类是从botocore导入的,因此没有有关它的S3FS文档。因此,我已经阅读了这个问题以及botocore文档

但是,我无法使botocore Config类与S3FS一起使用。

我试过了:

from s3fs.core import Config
proxy = Config(proxies={'https':<my_proxy>})

fs = s3fs.S3FileSystem(key=MY_S3_KEY, secret=MY_S3_SECRET, config_kwargs=proxy)
fs.put(FILE_NAME, PATH)

我也尝试过:

from s3fs.core import Config

fs = s3fs.S3FileSystem(key=MY_S3_KEY, secret=MY_S3_SECRET, config_kwargs=Config(proxies={'https':<my_proxy>}))
fs.put(FILE_NAME, PATH)

我也尝试为http设置相同的代理。代理可以在这台计算机上正常工作,我已经从命令行成功测试了几次。

我总是收到连接超时错误消息:

ConnectTimeoutError:端点URL上的连接超时:....

任何建议表示赞赏。谢谢

桑德尔

这有两种方法。

1-使用代理设置环境变量:

os.environ['https_proxy'] = 'http://my_proxy_url'
s3 = s3fs.S3FileSystem(anon=False)

2-在构造函数中传递代理:

s3 = s3fs.S3FileSystem(anon=False, config_kwargs={'proxies': {'https': 'http://my_proxy_url'}})

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

s3fs:如何使用 IMDS v2 在代理后面的 AWS EC2 实例上挂载 S3 存储桶

在PostgreSQL和Dynamics 365 Web API之间构建Python3身份验证代理服务器

如何使用 S3FS 挂载 AWS s3 以允许对任何用户进行完全访问

什么相当于使用 s3fs 在 aws s3 中连接到谷歌云存储(gcs)?

Python 中的代理服务器

用 Python 创建 HTTPS 代理服务器

使用python 3.6异步的UDP代理服务器

Python TCP中继/代理服务器锁定

从S3中读取的无服务器AWS(Python):访问被拒绝

使用AWS Lambda作为s3的无服务器输入消毒代理

可以在本地和AWS上运行领事代理服务器吗?

AWS中的Python服务器

Python Flask API:在服务器上找不到请求的 URL。如果您手动输入了 URL,请检查您的拼写并重试

如何在 AWS EMR 上设置 Hadoop fs.s3a.acl.default?

aws lambda-如果手动创建s3存储桶,如何使用cloudformation添加s3触发器

在S3服务的AWS无服务器网站中哪里存储API网关凭证?

AWS Elasticsearch Service - 手动快照到 S3

如何验证是否用代理服务器(Selenium,Python)替换了IP

使用Python连接到Tor网络而未获得“代理服务器拒绝连接”

使用`socket`模块的Python代理服务器的怪异响应主体

仅在手动将单个对象权限设置为public之后,才能访问AWS S3存储桶,上传的图像文件

在反向代理服务器 + Python HTTPS 服务器中,谁应该处理 HTTPS 连接的 SSL 证书?

将typo3conf中的配置拆分为托管,手动和服务器特定的部分

如何通过浏览器手动设置AWS ElasticSearch并使用kibana?

从AWS无服务器查询外部REST API并将结果存储在S3中?

AWS Java SDK手动设置签名版本

在 AWS Appsync 中手动设置当前用户凭证

手动设置AWS Cognito访问令牌超时

如何在Alamofire 4和Swift 3中使用代理服务器