Azure数据工厂:从复制活动中输出复制的文件和文件夹信息

Tuomas Tikka

我正在使用Azure数据工厂中的自托管集成运行时将数据从本地源(正常文件系统)复制到Azure Blob存储目标。传输后,我想通过附加在Databricks群集上运行的Notebook来自动处理文件。管道工作正常,但我的问题与“复制活动”的输出有关。

有没有一种方法可以获取有关每次运行的已传输文件和文件夹的信息?我会将这些信息作为参数传递给笔记本。

查看文档,似乎只有汇总信息可用:

https://docs.microsoft.com/zh-cn/azure/data-factory/copy-activity-overview

如果您传输大量文件,则哪种方式有意义。如果不可能的话,我想一种替代方法是将复制过程留给自己,然后根据存储帐户事件创建另一个管道?还是将每次运行的新文件和文件夹信息存储在固定的文本文件中,还进行传输并在笔记本中阅读?

Tuomas Tikka

在这种情况下,解决方案实际上非常简单。我刚刚在Azure数据工厂中创建了另一个管道,该管道由Blob Created事件触发,并将文件夹文件名作为参数传递给我的笔记本。看起来工作良好,并且所需的配置或代码量最少。基本过滤可以通过事件来完成,其余的则取决于笔记本。

对于在此场景中遇到问题的其他任何人,以下详细信息:

https://docs.microsoft.com/zh-cn/azure/data-factory/how-to-create-event-trigger

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

使用 Azure 数据工厂中的复制活动复制数据时转换文件格式

在msbuild中复制子文件夹和文件

如何在ISWIX中复制文件和文件夹?

使用Azure数据工厂复制活动防止生成空文件

Azure数据工厂复制活动-附加到JSON文件

从一个文件夹中复制所有文件和文件夹

在复制活动中为Azure数据工厂中的输入文件传递参数

西欧Azure数据工厂中的复制活动

Robocopy 命令不复制文件和文件夹

使用通配符复制文件夹和文件

如何复制没有内容的文件和文件夹?

复制Windows Unhide文件夹和文件功能

从Nautilus复制文件和文件夹路径

Robocopy仅复制新的文件夹和文件

使用数据工厂复制文件时如何在 blob 存储中保留文件夹结构

无法在 Azure 数据工厂中复制 JSON 行文件格式

复制目标文件夹中的文件

如何删除源中缺少的目标位置中的文件夹和文件(复制之前)?

在 C# 中复制除某些文件夹和文件之外的所有文件夹

在多个目录中创建和复制文件和文件夹的Linux命令

如何在gulp中复制名称以点开头的文件和文件夹

在Linux bash中复制具有完整路径的文件和文件夹

Inno Setup:在“代码”部分递归复制文件夹,子文件夹和文件

Azure数据工厂-复制数据活动接收器-每个文件的最大行属性

在go中复制文件夹

在R中递归复制文件夹

复制Xcode中的文件夹内容

在Ubuntu 14.04中复制文件夹

复制所有文件和文件夹(不包括OS X上的Subversion文件和文件夹)