如何查看Spark独立集群的聚合日志

通过Web界面：

Spark的独立模式提供了基于Web的用户界面来监视集群。主服务器和每个工作人员都有自己的Web UI，该Web UI显示群集和作业统计信息。默认情况下，您可以在端口8080上访问主服务器的Web UI。可以在配置文件中或通过命令行选项更改端口。

另外，每个作业的详细日志输出也将写入每个从属节点的工作目录（默认为SPARK_HOME / work）。您将看到每个作业的两个文件stdout和stderr，并将所有输出写入到控制台。

请在“监视和仪器”中找到更多信息。