无法执行Sqoop导入

拉胡尔·科鲁里(Rahul Kolluri)

我无法将数据从Mysql导入到Hdfs。我的bashrc和sqoop-env.sh文件很好。我也能够成功运行sqoop list-databases命令。问题与导入命令有关,它引发了outputconnectionfailed异常,请参考以下错误并帮助我:

块引用rahul @ ubuntu:〜$ sqoop import --connect jdbc:mysql:// localhost / rahul --username root --password 123 --table emp -m1 --target-dir / sqoopimport / emp警告:/ usr / lib / hbase不存在!HBase导入将失败。请将$ HBASE_HOME设置为HBase安装的根目录。2009年9月14日01:22:45 WARN tool.BaseSqoopTool:在命令行上设置密码是不安全的。考虑改用-P。2009年9月14日01:22:45 INFO manager.MySQLManager:准备使用MySQL流式结果集。14/09/09 01:22:45 INFO工具.CodeGenTool:开始生成代码14/09/09 01:22:45 INFO manager.SqlManager:执行SQL语句:SELECT t。* FROM empAS t LIMIT 1 14/09 / 09 01:22:45 INFO manager.SqlManager:执行SQL语句:SELECT t。* FROMempAS t LIMIT 1 14/09/09 01:22:45信息orm.CompilationManager:HADOOP_MAPRED_HOME是/ usr / local / hadoop注意:/tmp/sqoop-rahul/compile/a81597835880664d34a2ff0e4c7b9b33/emp.java使用或覆盖不推荐使用的API。注意:有关详细信息,请使用-Xlint:deprecation重新编译。2009年9月14日01:22:46信息orm.CompilationManager:编写jar文件:/tmp/sqoop-rahul/compile/a81597835880664d34a2ff0e4c7b9b33/emp.jar 14/09/09 01:22:46 WARN manager.MySQLManager:看起来就像您是从mysql导入的一样。2009年9月14日01:22:46 WARN manager.MySQLManager:此传输可以更快!使用--direct 14/09/09 01:22:46 WARN manager.MySQLManager:选项可以执行特定于MySQL的快速路径。14/09/09 01:22:46 INFO管理器.MySQLManager:将零DATETIME行为设置为convertToNull(mysql)14/09/09 01:22:46 INFO mapreduce.ImportJobBase:开始导入emp 14/09/09 01: 22:

成功发送到服务器的最后一个数据包是在0毫秒前。驱动程序尚未收到来自服务器的任何数据包。在org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)在org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)在org.apache.hadoop.util.ReflectionUtils org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:722)的org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)的.newInstance(ReflectionUtils.java:117)。 apache.hadoop.mapred.Child $ 4.run(Child.java:255)at org.apache上javax.security.auth.Subject.doAs(Subject.java:415)上的java.security.AccessController.doPrivileged(Native Method) org.apache.hadoop.mapred.Child.main(Child.java:249)上的.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)原因:java.lang.RuntimeException:com.mysql.jdbc。

成功发送到服务器的最后一个数据包是在0毫秒前。驱动程序尚未收到来自服务器的任何数据包。在org.apache.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java:162)处org.apache.sqoop.mapreduce.db.DBInputFormat.getConnection(DBInputFormat.java:193)...另外9个原因由: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:通信链接失败

成功发送到服务器的最后一个数据包是在0毫秒前。驱动程序尚未收到来自服务器的任何数据包。在java.lang.java.sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)处sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)处sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native方法) com.mysql.jdbc.Util.handleNewInstance(Util.java:411)处的com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1121)处的.newInstance(Constructor.java:526)。 com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2479)处的MysqlIO。(MysqlIO.java:355)com.mysql.jdbc处com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2516)处的Connect ConnectionImpl.createNewIO(ConnectionImpl.java:

14/09/09 01:22:54 WARN mapred.JobClient:错误读取任务outputConnection被拒绝14/09/09 01:22:54 WARN mapred.JobClient:错误读取任务outputConnection被拒绝14/09/09 01:22:59 INFO mapred.JobClient:任务ID:try_201409090100_0003_m_000000_1,状态:FAILED java.lang.RuntimeException:java.lang.RuntimeException:com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:通信链接失败

成功发送到服务器的最后一个数据包是在0毫秒前。驱动程序尚未收到来自服务器的任何数据包。在org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)在org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)在org.apache.hadoop.util.ReflectionUtils org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:722)的org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)的.newInstance(ReflectionUtils.java:117)。 apache.hadoop.mapred.Child $ 4.run(Child.java:255)at org.apache上javax.security.auth.Subject.doAs(Subject.java:415)上的java.security.AccessController.doPrivileged(Native Method) org.apache.hadoop.mapred.Child.main(Child.java:249)上的.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)原因:java.lang.RuntimeException:com.mysql.jdbc。

成功发送到服务器的最后一个数据包是在0毫秒前。驱动程序尚未收到来自服务器的任何数据包。在org.apache.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java:162)处org.apache.sqoop.mapreduce.db.DBInputFormat.getConnection(DBInputFormat.java:193)...另外9个原因由: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:通信链接失败

成功发送到服务器的最后一个数据包是在0毫秒前。驱动程序尚未收到来自服务器的任何数据包。在java.lang.java.sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)处sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)处sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native方法) com.mysql.jdbc.Util.handleNewInstance(Util.java:411)处的com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1121)处的.newInstance(Constructor.java:526)。 com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2479)处的MysqlIO。(MysqlIO.java:355)com.mysql.jdbc处com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2516)处的Connect ConnectionImpl.createNewIO(ConnectionImpl.java:

14/09/09 01:22:59 WARN mapred.JobClient:错误读取任务outputConnection被拒绝14/09/09 01:22:59 WARN mapred.JobClient:错误读取任务outputConnection被拒绝14/09/09 01:23:03 INFO mapred.JobClient:任务ID:try_201409090100_0003_m_000000_2,状态:FAILED java.lang.RuntimeException:java.lang.RuntimeException:com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:

成功发送到服务器的最后一个数据包是在0毫秒前。驱动程序在org.org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)处的org.apache.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java:167)处未收到任何数据包。 org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:722)上的apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)在org.apache.hadoop.mapred.MapTask.run(MapTask。 org.apache.hadoop.mapred.Child $ 4.run(Child.java:255)处java.security.AccessController.doPrivileged(Native Method)处javax.security.auth.Subject.doAs(Subject.java) :415),位于org.apache.hadoop.mapred.Child.main(Child.java:249),位于org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190),原因:java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4。

成功发送到服务器的最后一个数据包是在0毫秒前。驱动程序尚未在org.apache.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java:162)的org.apache.sqoop.mapreduce.db.DBInputFormat.getConnection(DBInputFormat.java:193)处接收到任何数据包。 .. 9更多原因:com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:通信链接失败

成功发送到服务器的最后一个数据包是在0毫秒前。驱动程序尚未在sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl。 com.mysql.jdbc.Util.handleNewInstance(Util.java:411)处的com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1121)处的java.lang.reflect.Constructor.newInstance(Constructor.java:526)在com.mysql.jdbc.MysqlIO。(MysqlIO.java:355)在com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2479)在com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2516)在com处的com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2301)处。

14/09/09 01:23:03 WARN mapred.JobClient:错误读取任务outputConnection被拒绝14/09/09 01:23:03 WARN mapred.JobClient:错误读取任务outputConnection被拒绝14/09/09 01:23:09 INFO mapred.JobClient:作业完成:job_201409090100_0003 14/09/09 01:23:09 INFO mapred.JobClient:计数器:6 14/09/09 01:23:09 INFO mapred.JobClient:作业计数器14/09/09 01 :23:09 INFO mapred.JobClient:SLOTS_MILLIS_MAPS = 20325 14/09/09 01:23:09 INFO mapred.JobClient:预留槽位(ms)= 14/09/09 01:23后,所有人花费的总时间减少了等待时间: 09 INFO mapred.JobClient:
保留时间(ms)= 0后所有地图等待的总时间(ms)= 0 14/09/09 01:23:09 INFO mapred.JobClient:已启动的地图任务= 4 14/09/09 01:23:09 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES = 0 14/09/09 01:23:09 INFO mapred.JobClient:失败的地图任务= 1 14/09/09 01:23:09 INFO mapreduce.ImportJobBase:在23.174秒(0字节/秒)中传输了0字节14/09/09 01:23:09 INFO mapreduce.ImportJobBase:检索了0条记录。2009年9月14日01:23:09错误tool.ImportTool:导入期间出错:导入作业失败!块引用

拉胡尔·科鲁里(Rahul Kolluri)

我修好了它。问题是我在import语句中使用了localhost,因为sql在同一系统中运行。当我使用实际IP而不是localhost时。然后它就像一个魅力。

我也使用root用户名和密码连接到sql。由于某种原因它无法正常工作。因此,我创建了另一个用户,并向该用户授予了所有特权。

将所有特权授予员工。*通过“密码”标识为“ sqoopuser” @'%';

错误:sqoop导入--connect jdbc:mysql:// localhost / rahul-用户名root-密码123 --table emp -m1 --target-dir / sqoopimport / emp

更正:sqoop导入--connect jdbc:mysql://192.168.202.139:3306 / rahul-用户名sqoopuser-密码123 --table emp -m1 --target-dir / sqoopimport / emp

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章