我正在运行一个通过EMR控制台下拉列表安装了Spark（1.3.1）的AWS EMR集群。Spark是当前数据并正在处理数据，但是我正在尝试查找已分配给WebUI的端口。我尝试了在没有连接的情况下转发4040和8080的端口。我像这样转发
ssh -i ~/KEY.pem -L 8080:localhost:8080 hadoop@EMR_DNS
1）如何找出Spark WebUI分配的端口是什么？2）如何验证Spark WebUI正在运行？
EMR上的Spark已为YARN配置，因此YARN资源管理器（http://spark.apache.org/docs/latest/monitoring.html）提供的应用程序URL可使用Spark UI 。因此，最简单的方法是使用SSH通过SSH打开的端口为您的浏览器设置SOCKS，然后从EMR控制台打开“资源管理器”，然后单击正在运行的应用程序右侧提供的Application Master URL。可在默认端口18080上使用Spark History服务器。
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-web-interfaces.html上的带有EMR的袜子示例
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句