我正在使用Scala 2.11中的Spark SQL查询数据库表。我遵循了Internet上给出的示例。
我正在使用的数据库:Ubuntu 14.04上的mariadb 5.5我正在查询的表(SOURCES)包含以下列:
`srcname` char(60) NOT NULL,
`endpoint` char(255) NOT NULL,
`pan` char(60) NOT NULL,
`vid` char(10)
这是我的代码:
val sparkSession = SparkSession.builder().master("local[*]").appName("somename").getOrCreate()
val df1 = sparkSession.read
.format("jdbc")
.option("driver", "org.mariadb.jdbc.Driver")
.option("url", url)
.option("dbtable", "SOURCES")
.option("user", username)
.option("password", password)
.load()
df1.show()
这给了我以下输出:
+-------+--------+---+---+
|srcname|endpoint|pan|vid|
+-------+--------+---+---+
|srcname|endpoint|pan|vid|
|srcname|endpoint|pan|vid|
|srcname|endpoint|pan|vid|
+-------+--------+---+---+
即在不提供数据的情况下为每一行重复列名。我的桌子有3行。我尝试更改db中的行数,并相应地更改输出。
我还尝试了在各种站点中提到的另一种方法:
val prop = new java.util.Properties
prop.setProperty("user",username)
prop.setProperty("password",password)
prop.setProperty("driver","org.mariadb.jdbc.Driver")
val df2 = sparkSession.read.jdbc(url, "SOURCES", "srcname", 0, 5, 1, prop)
df2.show()
这也提供相同的输出。
这是我的火花依赖项:
compile 'org.apache.spark:spark-core_2.11:2.0.0'
compile 'org.apache.spark:spark-sql_2.11:2.0.0'
关于这里出了什么问题有什么帮助吗?
找出问题。它是jdbc驱动程序
'org.mariadb.jdbc:'mariadb-java-client:1.5.4'
这就是问题所在。用过的mysql驱动程序ie
'mysql: mysql-connector-java:5.1.6'
它就像一个魅力
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句