pyspark jdbc连接到SQL Server时出错

ITHelpGuy

我正在尝试使用下面的代码将存储在Azure Data Lake Gen2上的json文档导入到SQL Server数据库,但是遇到以下错误。但是,当我从SQL Server读取数据时,jdbc连接有效。

错误信息: The driver could not open a JDBC connection.

码:

df = spark.read.format('json').load("wasbs://<file_system>@<storage-account-name>.blob.core.windows.net/empDir/data";)
val blobStorage = "<blob-storage-account-name>.blob.core.windows.net"
val blobContainer = "<blob-container-name>"
val blobAccessKey =  "<access-key>"
val empDir = "wasbs://" + blobContainer + "@" + blobStorage +"/empDir"
val acntInfo = "fs.azure.account.key."+ blobStorage
sc.hadoopConfiguration.set(acntInfo, blobAccessKey)
val dwDatabase = "<database-name>"
val dwServer = "<database-server-name>"
val dwUser = "<user-name>"
val dwPass = "<password>"
val dwJdbcPort =  "1433"
val sqlDwUrl = "jdbc:sqlserver://" + dwServer + ":" + dwJdbcPort + ";database=" + dwDatabase + ";user=" + dwUser+";password=" + dwPass
spark.conf.set("spark.sql.parquet.writeLegacyFormat","true")
df.write.format("com.microsoft.sqlserver.jdbc.SQLServerDriver").option("url", sqlDwUrl).option("dbtable", "Employee").option( "forward_spark_azure_storage_credentials","True").option("tempdir", empDir).mode("overwrite").save()

还有如何将empDir目录中的所有json文档插入employee表中?

CHEEKATLAPRADEEP-MSFT

您将收到以下错误消息:org.apache.spark.sql.AnalysisException: Table or view not found: dbo.Employee没有引用的关联表或视图创建时。确保代码指向正确的数据库[Azure Databricks数据库(内部)或Azure SQL数据库(外部)]

您可以签出Microsoft Q&A-Azure Databricks论坛上解决的查询

将数据写入Azure Databricks数据库:

要将数据成功插入默认数据库,请确保创建一个表或视图。

在此处输入图片说明

检出写入默认数据库的数据框。

在此处输入图片说明

将数据写入Azure SQL数据库:

这是有关如何将数据从数据帧写入Azure SQL数据库的示例。

在此处输入图片说明

检出写入Azure SQL数据库的数据框。

在此处输入图片说明

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

从 pyspark 连接到 SQL Server 时出错

JDBC,连接到SQL Server

连接到SQL Server实例时出错

连接到SQL Server 2012时出错

连接到MS SQL Server时出错

连接到sql server时出错

使用密码从pyspark连接到mongodb时出错

使用JRuby和Microsoft JDBC Driver 4.0连接到SQL Server实例时出错

无法使用JDBC连接到SQL Server

在Docker容器中连接到SQL Server时出错

连接到SQL Server.PDOException对象时出错(Azure)

在 Linux 中使用 RODBC 连接到 SQL Server 时出错

使用PHP连接到MS SQL Server时出错

尝试连接到SQL Server数据库时出错

JDBC连接到SQL Server使用动态TCP端口

使用mssql-jdbc自由连接到Sql Server

无法使用 Spring JDBC 通过 SSL 连接到 SQL Server

无法使用JDBC连接到Sql Server数据库

建立与SQL Server的连接时出错

使用JDBC连接到SQL Server 2012时出现问题

如何在PySpark中连接到Presto JDBC?

在Shell中使用pyspark连接到Postgresql时出错-找不到org.postgresql.Driver类异常

尝试使用sqlcmd(从Ubuntu命令行)连接到SQL Server时出错?

尝试使用 pyodbc 使用 python 连接到 sql server 时出错

尝试使用 django-mssql-backend 将 Django 连接到 SQL Server 时出错

当以deno连接到SQL Server时出错:“找不到模块密码”

连接到远程SQL Server数据库Visual Studio 2017时出错

连接到SQL Server时出错。服务器未找到或无法访问

使用pyODBC,unixODBC和FreeTDS连接到MS SQL Server时出错(在Mac上)