使用Azure数据工厂复制活动防止生成空文件

我正在使用Azure Data Factory将数据从Azure Cosmos DB复制到Azure Data Lake。我的管道包含一个复制活动,该复制活动将数据复制到Data Lake Sink。

这是我对源数据集的查询:

select * from c 
where c.data.timestamp >= '@{formatDateTime(addminutes(pipeline().TriggerTime, -15), 'yyyy-MM-ddTHH:mm:ssZ' )}' 
AND c.data.timestamp < '@{formatDateTime(pipeline().TriggerTime, 'yyyy-MM-ddTHH:mm:ssZ' )}'

我要在触发时间之前的最后15分钟获取数据。

现在,如果查询没有检索到任何数据,则复制活动将生成一个空文件并将其存储在数据湖中。我想防止这种情况。有什么办法可以实现?

Qingquan Yang

您可以使用查找活动,然后使用if活动来决定是否需要运行复制活动。

在查找活动中,您可以将firstRowOnly设置为true,因为您只想检查是否有数据。

在此处输入图片说明

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

使用 Azure 数据工厂中的复制活动复制数据时转换文件格式

Azure数据工厂复制活动-附加到JSON文件

西欧Azure数据工厂中的复制活动

Azure数据工厂-复制活动映射

Azure数据工厂:从复制活动中输出复制的文件和文件夹信息

Azure数据工厂-复制数据活动接收器-每个文件的最大行属性

在复制活动中为Azure数据工厂中的输入文件传递参数

Azure 数据工厂 V2 检查复制活动的文件大小

使用Azure数据工厂复制文件并放置已复制文件的csv

如何使用Azure数据工厂复制活动提取电子邮件附件?

Azure数据工厂复制活动性能调整

如何使用Azure数据工厂将数据复制到Azure文件服务

使用Azure数据工厂将文件内容从Azure存储复制到Azure SQL Db

如何使用Azure数据工厂在Sharepoint 365和OneDrive之间复制文件

无法在 Azure 数据工厂中复制 JSON 行文件格式

如果在 Azure 数据工厂的上一个活动中没有复制任何文件,则阻止触发下一个活动

使用 MSI 身份验证的 Azure 数据工厂 Web 活动

数据工厂复制活动 Blob -> ADLS

Azure 数据工厂复制活动 JSON 数据类型转换问题

在Azure数据工厂的复制活动中过滤MongoDB源数据集

如何在Azure数据工厂的复制数据活动中排除行?

使用 Azure 数据工厂 V2 将本地平面文件复制到 Azure Blob

使用 Azure 数据工厂将压缩的 XML 文件从 HTTP 链接源复制并提取到 Azure Blob 存储

自动创建的表的 Azure 数据工厂复制活动自定义架构名称

从存储到SQL的Azure数据工厂复制活动:挂起70000行

Azure数据工厂V2:SQL合并的“复制或存储过程”活动

带有接收器存储过程的 Azure SQL 数据工厂复制活动

Azure数据工厂复制活动错误将JSON映射到SQL

Azure数据工厂复制数据很慢