Hive JDBC客户端和Hive Metastore Java api有什么区别

缓存

大家好,我使用的是Hive jdbc,但是在那之后我才知道,这里有Hive Metastore Java api(这里),您可以通过它再次连接到Hive并操作Hive数据库

但是我想知道这两种方式到底有什么区别

抱歉,如果有人提出任何明显的要求,我们将不胜感激

阿梅特·肖巴尔

据我了解,有两种方法可以连接到Hive

  1. 使用配置单元metastore服务器,该服务器随后在后台连接到关系数据库(例如mysql)以进行架构表示。通常,它在端口9083上运行。
  2. 通常在端口10001上运行的名为hiveServer2的hive jdbc服务器...

现在,在较早的hive版本中,hiveserver2以前并不那么稳定,实际上,它对多线程的支持也受到限制。我想,那个领域的情况可能会有所改善。

因此,对于JDBC API-是的,它将允许您使用JDBC和sql进行通信。

对于metastore连接,似乎有2个功能。

  1. 实际运行SQL查询-DML
  2. 执行DDL操作。

DDL-

对于DDL,可以使用metastore API,org.apache.hadoop.hive.metastore.HiveMetaStoreClient HiveMetaStoreClient类可用于此目的。

DML-

我发现在这方面有用的是org.apache.hadoop.hive.ql.Driver https://hive.apache.org/javadocs/r0.13.1/api/ql/org/apache/hadoop/hive/ql /Driver.html hive.ql.Driver类此类具有一种名为的方法run()该方法使您可以执行SQL语句并将结果返回。例如,您可以执行以下操作

Driver driver = new Driver(hiveConf);
HiveMetaStoreClient client = new HiveMetaStoreClient(hiveConf);
SessionState.start(new CliSessionState(hiveConf));
driver.run("select  * from employee);
// DDL example
client.dropTable(db, table);

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

Java API和库之间有什么区别?

为什么pyspark失败并显示“无法找到配置单元jar连接到metastore。请设置spark.sql.hive.metastore.jars。”?

Use hive metastore service WITHOUT Hadoop/HDFS

Hive中的TRUNC和TO_DATE有什么区别

Hive Metastore列宽限制

没有使用Hive MySQL Metastore中的Spark构建

BigQuery中是否有类似“ hive metastore”的元数据存储?

Hive中的MetaStore的主要目的是什么?

如何将AWS Athena连接到现有的Hive Metastore

无法从Spark应用程序连接到Hive Metastore

Hive Metastore由具有相同HDInsight版本但集群类型不同的不同集群共享

查询具有很多列的Hive表时,是否可以减少MetaStore检查的次数?

Hadoop 3中的Spark和Hive 3:metastore.catalog.default和spark.sql.catalogImplementation之间的区别

Hive Metastore配置PostgreSQL

** / *。java和* .java有什么区别?

Hive-启动时的Metastore连接

为什么我无法使用Apache Spark与Hive Metastore连接?

如何使用Java在Apache Spark程序中指定Hive的metastore?

Hive PAM 无法使用 JDBC 打开客户端传输

带有 MySQL 的 Hive-2.3.2 Metastore 无法启动

获取 Spark 写入 Hive Metastore 的所有新分区

带有外部 mysql 的 hive Metastore 不起作用

镶木地板数据类型问题中带有 alluxio 存储的 Hive Metastore

在 Hive Metastore 错误中注册 Delta 表

查询 hive 和 Metastore

hive 独立 Metastore 读取 avro 数据,架构不起作用

spark不下载hive_metastore jars

Dataproc:本地 Hive Metastore 的主要用例是什么?

Spark 应用程序与 Hive Metastore 同步 - “UGI spark 没有主要组”错误