sqoop 导入到 hive 表错误

齐德·赫米

您好,我尝试将 as400 表插入到 hive 表中,所以我创建了一个与 as400 表具有相同架构的 hive 表,但我添加了一个列处理日期(时间戳),这是我的 hive 表:

CREATE external TABLE IF NOT EXISTS default.AS400TEST (
One INT,
Two STRING,
..
N   INT             
)
PARTITIONED BY (processedate TIMESTAMP)
STORED AS  TEXTFILE 
location  '/tmp/AS400TEST;

我运行这个 sqoop 命令:

sqoop import --verbose --driver $DRIVER_CLASS --connect $URL --username $LOGIN --password $PASSWORD \
--table $TABLE \
--target-dir $DIR \
-m 1 --hive-import --hive-table default.AS400TEST \
--hive-partition-key "processedate"

我的问题是地图保持 0% 超过 30 分钟,我终止了这项工作。我需要改变什么吗?

另一个问题:如何用sqoop插入列时间戳?

伊斯库斯科夫·亚历山大

您的表可能很大,一个映射器 ( -m 1) 无法在合理的时间内完成任务。尝试增加此参数(请参阅文档中的详细信息)。

要插入时间戳列,请使用--map-column-hive 'timestamp_column_name=TIMESTAMP'.

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章