sqoop导入-数据导入之间的作业失败

vks2106

万一在大数据导入作业之间sqoop失败,将会发生什么情况。它会在作业失败发生之前将某些数据保留到hdfs上吗?

java_enthu

我相信进出口工作都遵循类似的交易原则。

由于Sqoop将导出过程分解为多个事务,因此失败的导出作业可能会导致部分数据提交到数据库

在某些情况下,这可能进一步导致后续作业因插入冲突而失败,而在其他情况下,则可能导致数据重复。

解决方案您可以通过--staging-table选项指定暂存表来克服此问题,该选项用作用于暂存导出数据的辅助表。最后,已分阶段处理的数据将在单个事务中移至目标表。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

TOP 榜单

热门标签

归档