无法使用AWS EMR实例通过Spark访问JDBC驱动程序

杰克基金

在将Ssh放入EMR之后运行spark-shell时,我已经安装了postgresql驱动程序软件包spark-shell --packages org.postgresql:postgresql:9.4-1206-jdbc42然后,我导入org.postgresql。我想创建一个Spark Dataframe对象,所以我尝试从s3实例访问一个表。

sqlContext.load("jdbc", Map("url" -> "jdbc:postgresql://pathto.table.region.rds.amazonaws.com:5432/table?user=username&password=password","dbtable" -> "table"))

这给我一个java.sql.SQLException: No suitable driver错误。

我已经看着类似的问题的问题。但是我希望能够通过spark-shell运行驱动程序。

以利亚

如果我没记错的话(很抱歉,我现在没有计算机可以测试它),则需要在选项图中明确设置驱动程序类。

sqlContext.load("jdbc", 
         Map("driver" -> "org.postgresql.Driver", 
             "url" -> "jdbc:postgresql://pathto.table.region.rds.amazonaws.com:5432/table?user=username&password=password",
             "dbtable" -> "table"))

PS:我正在用手机写这个答案,请原谅我的错字。但我认为您明白了。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

无法使用 PostgreSQL JDBC 驱动程序通过 SSL 连接

Spark 无法从 SBT 找到 JDBC 驱动程序

AWS emr 驱动程序 jar

在EMR上安装JDBC驱动程序以供Sqoop使用的正确方法是什么?

Spark无法使用JDBC瘦驱动程序连接到Ignite

我无法使用JDBC驱动程序通过Java中的SOAP Web服务在MYSQL中插入

无法加载netezza JDBC驱动程序

预测试 SBT 任务:无法实例化 JDBC 驱动程序

无法使用jdbc驱动程序连接到mysql

包括redshift jdbc驱动程序:无法实例化驱动程序类“ com.amazon.redshift.jdbc.Driver”:java.lang.NoClassDefFoundError

使用了错误的JDBC驱动程序?

Selenium 无法正确访问驱动程序

我应该使用哪个JDBC驱动程序版本来访问PostgreSQL 9.5?

无法通过Selenium和C#使用Marionette驱动程序实例化Firefox。操作系统错误

无法通过Docker驱动程序在Minikube上使用GPU

使用ADB访问SPI驱动程序

无法通过JDBC连接到SQL Server。找不到适用于jdbc:sqlserver://的驱动程序

Spark:使用驱动程序内存参数

用于Cloud Spanner的Simba JDBC驱动程序与Spark JDBC DataFrame阅读器一起使用

JBOSS启动时出现错误无法实例化驱动程序类“ oracle.jdbc.OracleDriver”

SQL Server驱动程序错误无法找到或加载JDBC驱动程序:

无法使用Jmeter创建类'com.microsoft.sqlserver.jdbc.SQLServerDriver'的JDBC驱动程序

无法为连接URL创建类“”的JDBC驱动程序

我无法为MySQL加载JDBC驱动程序

dbcp2无法加载JDBC驱动程序类

无法使JDBC驱动程序在tomcat jsp中工作

无法加载驱动程序:com.mysql.jdbc.Driver

无法为 Apache Derby 加载 JDBC 驱动程序

无法获得Derby 10.15的驱动程序实例