很抱歉，这太琐碎了，但对于Spark我还是很陌生。我使用Maven通过代码在Windows上构建了Apache Spark。我使用Cygwin进行构建，并且运行良好。现在，我无法使用sbin目录中的命令（./start-master.sh）启动它。
我收到以下错误：无法启动org.apache.spark.deploy.master.Master：
Error: Could not find or load main class org.apache.spark.launcher.Main
full log in /cygdrive/c/Spark/spark-1.5.1/sbin/../logs/spark-auser-org.apache.spark.deploy.master.Master-1.host
我知道它正在类路径中寻找spark-launcher_2.10-1.5.1.jar，但是我无法在脚本中标识它在哪里定义类路径或lib目录。
您可以按照Gimby提到的“构建可运行的分发”步骤进行操作，例如：
./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn
正如Patrick McGloin所述，您还可以在Windows本身上启动Spark集群，例如：
spark-class.cmd org.apache.spark.deploy.master.Master
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://localhost:7077
您可以在Spark Standalone模式下阅读更多内容，以及如何在Windows计算机上设置Spark群集？
最终，如OP所述，他能够构建可运行的发行版，从而在父目录中创建了一个新的Custom-spark tar文件。（S）他拿着这个文件，将其解压缩到另一个目录中，进入bin子目录，然后能够启动scala-shell。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句