将文件上传到S3存储桶后,基于事件的AWS Glue Crawler触发器?

博德

假设搜寻器“指向”该存储桶,是否有可能在上传到S3存储桶的新文件上触发AWS Glue搜寻器?换句话说:文件上传会生成一个事件,该事件使AWS Glue搜寻器对其进行分析。我知道有基于计划的爬网,但从未找到基于事件的爬网。

贾莫德

不可以,当前没有直接方法可以响应上载到S3存储桶来调用AWS Glue搜寻器。S3事件通知只能发送到:

  • 社交网络
  • SQS
  • 拉姆达

但是,编写一小段Lambda代码以使用相关语言SDK来以编程方式调用Glue搜寻器将是微不足道的。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

AWS Glue通过API创建触发器

AWS Glue Crawler无法分类CSV文件

将对象上传到S3存储桶时,如何触发AWS Cloudformation堆栈的更新?

如何安全地将大文件从浏览器上传到 Amazon S3 上的存储桶?

如何将控制器中的生成pdf文件上传到S3存储桶

AWS Glue Crawler 不附加数据

AWS Glue Crawler将json文件分类为UNKNOWN

将文件上传到s3时未触发s3 createObject事件

仅在将特定文件(密钥)写入S3存储桶时,如何触发AWS事件规则

将 .html 文件上传到 S3 静态网站托管存储桶会导致在浏览器中下载 .html 文件

资源更新/创建后如何运行AWS Glue Crawler?

Wowjs 事件触发器

将触发器变成复合触发器?

如何使用Glue读取多个S3存储桶?

从DocumentDB存储过程触发触发器

具有可变数量动作的 Terraform Glue 触发器

如何通过S3 Events或AWS Lambda触发Glue ETL Pyspark作业?

启用 KMS 加密后,无法使用 Glue 作业将数据/对象放入 S3 存储桶

AWS Glue:如何将S3存储桶分区到多个红移表中

S3 Lambda触发器不会为每个文件上传触发

CloudFormation为现有s3存储桶添加触发器

S3事件触发器可扩展吗?

如何将多个S3 Lambda触发器订阅到现有存储桶?

AWS Glue:我真的需要针对新内容的Crawler吗?

基于 S3 触发器更新 S3 上的文件

S3触发器的AWS结构

AWS仅使用ID和密钥将文件上传到S3服务器

通过 Angular 将文件上传到 AWS S3 时的加载指示器

上传到S3存储桶的图像无法在浏览器上查看