Pytest 结果 JUnit 风格的 xml 文件测试用例计数

豪龙

源代码库由多个相互分离的 Python 库/模块组成。对于它们中的每一个,都存在一组测试,即:

  • 模块调用:foo,有几个文件,
  • 对应的测试文件test_foo.py,其中有两个使用 Pytest 编写的测试。

运行测试后,我确实得到了一个生成的 XML 文件,其内容类似于以下内容:

<?xml version="1.0" encoding="UTF-8"?>
<testsuites>
  <testsuite name="foo/test_foo" tests="1" failures="0" errors="0">
    <testcase name="foo/test_foo" status="run" duration="9" time="9"></testcase>
    <system-out><![CDATA[============================= test session starts ==============================
platform linux -- Python 3.6.6, pytest-3.10.1, py-1.7.0, pluggy-0.8.0 -- /usr/bin/python3
cachedir: .pytest_cache
rootdir: ..., inifile: pytest.ini
plugins: timeout-1.3.2, mock-1.10.0, cov-2.6.0
timeout: 60.0s
timeout method: thread
timeout func_only: False
collecting ... collected 2 items

::test_foo_test1
-------------------------------- live log setup --------------------------------
# ... some logging performed in the test...
PASSED                                                                   [ 50%]
::test_foo_test2
-------------------------------- live log call ---------------------------------
# ... some logging performed in the test...
PASSED                                                                   [100%]

=========================== 2 passed in 6.63 seconds ===========================]]></system-out>
  </testsuite>
</testsuites>

注意:未对齐的部分被system-out标记封装

我的pytest.ini文件相当简单,只包含有关日志记录 ( log_cli*, log_file*) 和timeout. 我使用 bazel 作为构建系统,它定义了py_test作业,我的假设是它以某种方式隐式添加了默认输出设置。但是,即使直接运行,这也应该类似地工作。

现在,我想处理一堆这些 XML 文件并提取测试运行的总计数、错误等。示例显示的问题是 XML 文件声称测试计数为tests="1",而标准输出来自日志显示至少收集了两个项目。

在我看来,该格式将整个文件视为测试用例,而不是在文件中收集的实际测试用例

Python 中是否有任何简单的方法可以使测试套件包含的计数collected items

奥肯

你在使用 --junitxml=something.xml 标志吗?https://docs.pytest.org/en/latest/usage.html#creating-junitxml-format-files

当我使用 --junitxml 标志并且生成的输出包含正确数量的测试时。我的猜测是 bazel 是生成 xml 输出的那个,而不是 pytest,并且它将整个 pytest 运行视为一个测试。

我认为这可能需要是一个 bazel 标记的问题,因为它实际上是“我如何让 bazel 读取额外的 xml 文件?”,然后使用 --junitxml 生成您自己的 xml。

还有一件事。如果您的 xml 文件因所有捕获的输出而变得很大,我建议您执行以下操作:

  1. 使用 -s 运行以不捕获输出
  2. 如果您需要会话日志,请将整个内容作为“pytest -s --junitxml=out.xml [其他标志、测试目录、文件等] > out.txt”运行

然后,您还需要存档 out.txt,但这样可以避免 xml 过大。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章