Spark SQL JDBC仅返回列名称

阿比拉

我正在使用Scala 2.11中的Spark SQL查询数据库表。我遵循了Internet上给出的示例。

我正在使用的数据库:Ubuntu 14.04上的mariadb 5.5我正在查询的表(SOURCES)包含以下列:

`srcname` char(60) NOT NULL,
`endpoint` char(255) NOT NULL,
`pan` char(60) NOT NULL,
`vid` char(10)

这是我的代码:

val sparkSession = SparkSession.builder().master("local[*]").appName("somename").getOrCreate()
val df1 = sparkSession.read
.format("jdbc")
.option("driver", "org.mariadb.jdbc.Driver")
.option("url", url)
.option("dbtable", "SOURCES")
.option("user", username)
.option("password", password)
.load()   

df1.show()

这给了我以下输出:

+-------+--------+---+---+
|srcname|endpoint|pan|vid|
+-------+--------+---+---+
|srcname|endpoint|pan|vid|
|srcname|endpoint|pan|vid|
|srcname|endpoint|pan|vid|
+-------+--------+---+---+

即在不提供数据的情况下为每一行重复列名。我的桌子有3行。我尝试更改db中的行数,并相应地更改输出。

我还尝试了在各种站点中提到的另一种方法:

val prop = new java.util.Properties
prop.setProperty("user",username)
prop.setProperty("password",password)
prop.setProperty("driver","org.mariadb.jdbc.Driver")

val df2 = sparkSession.read.jdbc(url, "SOURCES", "srcname", 0, 5, 1, prop) 
df2.show()

这也提供相同的输出。

这是我的火花依赖项:

compile 'org.apache.spark:spark-core_2.11:2.0.0'
compile 'org.apache.spark:spark-sql_2.11:2.0.0'

关于这里出了什么问题有什么帮助吗?

阿比拉

找出问题。它是jdbc驱动程序

'org.mariadb.jdbc:'mariadb-java-client:1.5.4' 

这就是问题所在。用过的mysql驱动程序ie

'mysql: mysql-connector-java:5.1.6' 

它就像一个魅力

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章