以编程方式将 Databricks spark-csv 添加到 Spark 1.6.2 客户端

我正在使用 Spark 1.6.2，开发 Python Spark 客户端（它在yarn-client模式下运行）。这里重要的是，始终在客户端机器中，我无法触发提交我的 Python 脚本，但我需要将脚本作为 Python 脚本运行。

在代码的某个点，我需要在 HDFS 中加载一个 CSV 文件作为 Spark 数据帧（即使用 SQL 上下文）。您可能知道，Spark 1.6.2 没有对基于 CSV 的数据帧的本机支持，必须使用Databricks spark-csv。

数据加载语句如下：

df = sql_context.read.load(format='com.databricks.spark.csv', path=url, header=True, inferSchema=False, delimiter=',')

问题com.databricks.spark.csv是没有找到。

我知道必须下载 Databricks spark-csv jar 并将其放在某个地方。问题是：在哪里？这是客户端机器或集群中的要求吗？

由于我不知道，我在客户端机器上尝试过这个，但没有成功：

• export PYTHONPATH=/path/where/jars/were/downloaded/.
• conf = SparkConf().set('spark.jars', '/path/where/jars/were/downloaded/').
• conf = SparkConf().set('spark.driver.extraClassPath', '/path/where/jars/were/downloaded/'). [参考]

我也在 Spark 集群上尝试过这个，但也没有成功：

• spark.jars通过 Ambari设置自定义 spark-defaults 属性。
• spark.driver.extraClassPath通过 Ambari设置自定义 spark-defaults 属性。

我会记住你的命令行选项适合--jars或--packages不适合我，因为我没有运行任何 Spark 脚本:)

其他解决方案，例如在 Spark 上下文中设置 jar usingaddJar()将不起作用，因为 Spark 1.6.2 没有实现它。

那么，关于我的代码如何找到 Databricks spark-csv jar 的任何想法？

以防万一，这是错误跟踪：

java.lang.ClassNotFoundException: Failed to find data source: com.databricks.spark.csv. Please find packages at http://spark-packages.org
        at org.apache.spark.sql.execution.datasources.ResolvedDataSource$.lookupDataSource(ResolvedDataSource.scala:77)
        at org.apache.spark.sql.execution.datasources.ResolvedDataSource$.apply(ResolvedDataSource.scala:102)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:119)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:109)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:231)
        at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:381)
        at py4j.Gateway.invoke(Gateway.java:259)
        at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
        at py4j.commands.CallCommand.execute(CallCommand.java:79)
        at py4j.GatewayConnection.run(GatewayConnection.java:209)
        at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: com.databricks.spark.csv.DefaultSource
        at java.net.URLClassLoader$1.run(URLClassLoader.java:359)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:348)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:347)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        at org.apache.spark.sql.execution.datasources.ResolvedDataSource$$anonfun$4$$anonfun$apply$1.apply(ResolvedDataSource.scala:62)
        at org.apache.spark.sql.execution.datasources.ResolvedDataSource$$anonfun$4$$anonfun$apply$1.apply(ResolvedDataSource.scala:62)
        at scala.util.Try$.apply(Try.scala:161)
        at org.apache.spark.sql.execution.datasources.ResolvedDataSource$$anonfun$4.apply(ResolvedDataSource.scala:62)
        at org.apache.spark.sql.execution.datasources.ResolvedDataSource$$anonfun$4.apply(ResolvedDataSource.scala:62)
        at scala.util.Try.orElse(Try.scala:82)
        at org.apache.spark.sql.execution.datasources.ResolvedDataSource$.lookupDataSource(ResolvedDataSource.scala:62)
        ... 14 more

我读过的其他帖子...

• 将 jars 添加到 Spark 作业 - spark-submit
• Spark提交会自动将jar上传到集群吗？

提前致谢。