sqoop增量导入到配置单元表

桑迪凯

我正在尝试对蜂巢表进行sqoop增量导入（最后修改）。它在sqoop 1.4.5中工作，但在sqoop 1.4.6中不工作。

它抛出以下错误

**日志上传时间：2017年11月13日星期一17:57:58 +0530

        Log Length: 246
      --incremental lastmodified option for hive imports is not supported. Please remove the parameter --incremental lastmodified.

拦截System.exit（1）失败的Oozie Launcher，主类[org.apache.oozie.action.hadoop.SqoopMain]，退出代码[1] **

VSSDEV

Sqoop 1.4.6不支持直接增量导入到配置单元表。

但是，您可以在不使用该--hive-import选项的情况下导入增量数据，并将增量数据放置在使用该选项映射到配置单元表的HDFS位置中--target-dir。

例如

考虑有一张表sqoop_pract的位置设置为/user/hive/warehouse/sqoop_pract

如果要对此表执行增量导入，则可以使用类似于以下内容的查询

sqoop import --connect jdbc:mysql://hostname/sample_db --username demo --table sqoop_pract --target-dir /user/hive/warehouse/sqoop_pract --incremental lastmodified --check-column Ts --last-value '2017-11-08 03:51:42' --append -P

在上面的命令中，--target-dir指向配置单元表的位置，这样就可以使用sqoop实现增量导入配置单元表。

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。