如何在AWS Glue上将消息写入输出日志?

杰西·克拉克(Jesse Clark)

AWS胶作业日志输出和错误两种不同的CloudWatch的日志,/aws-glue/jobs/error/aws-glue/jobs/output在默认情况下。当我print()在脚本中包含用于调试的语句时,它们将被写入错误日志(/aws-glue/jobs/error)。

我试过使用:

log4jLogger = sparkContext._jvm.org.apache.log4j 
log = log4jLogger.LogManager.getLogger(__name__) 
log.warn("Hello World!")

但是“ Hello World!” 没有在我运行的测试作业的任何日志中显示。

有谁知道如何将调试日志语句写入输出日志(/aws-glue/jobs/output)?

TIA!

编辑:

事实证明,上述方法确实有效。发生的事情是我在AWS Glue脚本编辑器窗口中运行该作业,该窗口捕获Command-F组合键,并且仅在当前脚本中进行搜索。因此,当我尝试在页面中搜索日志输出时,似乎好像没有对其进行记录。

注意:通过测试第一响应者的建议,我确实发现AWS Glue脚本似乎未输出任何级别低于WARN的日志消息!

阿列克谢·巴库林(Alexey Bakulin)

尝试使用logging模块中的内置python记录器,默认情况下它将消息写入标准输出流。

import logging

MSG_FORMAT = '%(asctime)s %(levelname)s %(name)s: %(message)s'
DATETIME_FORMAT = '%Y-%m-%d %H:%M:%S'
logging.basicConfig(format=MSG_FORMAT, datefmt=DATETIME_FORMAT)
logger = logging.getLogger(<logger-name-here>)

logger.setLevel(logging.INFO)

...

logger.info("Test log message")

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何在 Glue python 中延迟加载日志消息?

如何从 compileInFn 写入日志消息?

在 AWS Glue 中将 Python 日志消息路由到 Cloudwatch

如何将日志消息写入文件

如何在AWS Glue中运行查询

如何在AWS CloudWatch中轮换日志?

Shell脚本:如何在控制台上将字符串写入文件和标准输出?

AWS Glue-如何在Glue目录中查询LOCATION?

AWS Glue:如何在输出中添加带有源文件名的列?

如何在AWS控制台中将SNS主题写入CloudWatch日志中?

如何在AWS DynamoDB上将值附加到list属性?

如何在AWS EMR上将Graphsframe与pyspark结合使用?

如何将消息时间戳记写入日志文件?

如何在AWS Glue Python中导入RateLimiter

如何在AWS Glue PySpark中运行并行线程?

如何在AWS Glue中设置多个--conf表参数?

如何在AWS Glue中指定联接类型?

如何在控制台上显示PowerShell错误消息并将其写入日志?

如何将输出写入Android中的日志?

如何从rspec测试用例写入Rspec输出日志文件?

写入时的 AWS Glue 性能

我们如何在 AWS Glue 中的 PYSPARK 或 Dynamic Frames 中重命名生成/输出的镶木地板文件?

如何在AWS CLI SNS消息中提供JSON?

AWS SNS如何在消息中添加换行符

如何重定向AWS SDK日志输出

如何在Docker容器中写入日志

运行Spider时如何在日志中写入日志?

如何在Emacs中写入标准输出

如何在目标c中通过POST请求捕获stderr输出并将消息发送到远程日志文件?