我正在使用Azure Data Factory将数据从Azure Cosmos DB复制到Azure Data Lake。我的管道包含一个复制活动,该复制活动将数据复制到Data Lake Sink。
这是我对源数据集的查询:
select * from c
where c.data.timestamp >= '@{formatDateTime(addminutes(pipeline().TriggerTime, -15), 'yyyy-MM-ddTHH:mm:ssZ' )}'
AND c.data.timestamp < '@{formatDateTime(pipeline().TriggerTime, 'yyyy-MM-ddTHH:mm:ssZ' )}'
我要在触发时间之前的最后15分钟获取数据。
现在,如果查询没有检索到任何数据,则复制活动将生成一个空文件并将其存储在数据湖中。我想防止这种情况。有什么办法可以实现?
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句