我正在通过SBT创建的IntelliJ中的Scala项目中工作。该项目将Spark作为其依赖项之一。我仍处于开发阶段,因此一切都在本地计算机上运行。
例如,如何更改Spark配置,例如日志记录级别?
如果您正在使用IDE进行本地开发,则可以通过以下方式在运行时更改日志级别:
LogManager.getRootLogger.setLevel(Level.ALL)
附言:在您的代码中创建SparkContext / SQLContext之后,请放置该行。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句