当我尝试通过Spark（1.6）列出所有配置单元数据库时
scala> val tdf = sqlContext.sql("SHOW DATABASES");
tdf: org.apache.spark.sql.DataFrame = [result: string]
scala> tdf.show
+-------+
| result|
+-------+
|default|
+-------+
当我尝试通过Hive Shell列出所有Hive数据库时
hive> show databases;
OK
default
Time taken: 0.621 seconds, Fetched: 1 row(s)
在我的蜂巢中时，实际上我已经有很多数据库。我是否错过了Cloudera集群上的某些配置？也许我的蜂巢元存储库存在问题？
使用HiveContext从配置单元中获取数据。设定hive.metastore.uris者
火花代码-
System.setProperty("hive.metastore.uris","thrift://hostserver:9083")
val hivecontext = new HiveContext(sparkContext)
val tdf = hivecontext.sql("SHOW DATABASES");
火花壳
spark-shell --driver-java-options "-Dhive.metastore.uris=thrift://hostserver:9083"
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句