预期行为
{{./script/test}} 的任何失败都会导致非零退出码,并在摘要中显示失败的某种指示。
这并不意味着我们快速失败,我们像现在一样运行所有可用的目标环境。
实际行为
摘要报告了测试的环境数量(例如,{{测试了 6 个可能的 js 目标}}),但在摘要中没有提供这些环境中失败的指示。
也总是以 0 退出。
因为 {{./script/test}} 产生大量输出,并且失败被隐藏在该输出中,当有东西失败时,很容易假设成功。
相关
CLJS-3098 - 这项工作应与 Windows 的 Git Bash 兼容
另请参阅
{{./script/test-simple}}
分析
初步测试表明 {{./script/test-simple}} 没有运行,需要将 {{:main}} 添加到编译器选项中。
方法
- 将 {{./script/test}} 和 {{./script/test-simple}} 中的重复代码移动到共享的 {{./script/test-runner}}。
- 为每个测试目标产生一行摘要,传达通过、失败或跳过的状态。
- 如果没有失败并且至少有一个目标通过(考虑目标跳过,如果没有全部跳过,可以),则退出状态为 0(成功),否则退出状态为 1(失败)。
- 使用颜色突出显示关键输出以便快速解析。
- 尊重 NO_COLOR (\https://no-color.org/\), 为不喜欢彩色输出的用户
屏幕截图
为了帮助审阅者,我包括了一些新摘要部分的屏幕截图。
成功
以下将返回退出状态 0
!success.png(图片
)success-with-skip.png!
使用 NO_COLOR
!success-nocolor.png!
失败
以下将返回退出状态 1
!fail.png(图片
)fail-with-success-and-skip.png(图片
)fail-with-success.png(图片
)fail-with-skip.png(图片
)fail-skip.png!
实现说明
- 从
\!\#/bin/sh
切换到 \!\#/bin/env bash
以使生活更轻松。我不认为这有争议,但我认为值得提出。
- 未将 Windows {{script/test.ps1}} 纳入这项工作的范围。
- 应用于 GraalVM on Windows 的 CLSJ-3098 修复。
观察
- 持续集成不运行 {{./script/test}}。作为打补丁器,了解我正在执行与 CI 相同的测试会很好,但这将是另一个单独的工单的主题。
测试说明
在以下环境中脚本执行后的手动结果验证:
1. macOS Mojave
1. 通过本地 Docker 在 Linux 上
1. 通过 SSH 连接到本地 Windows VM 在 Windows 10 上
脚本人工测试和生成的日志已附加在 cljs-3075...zip 文件中。这些脚本针对我的设置,但也包括用于 Linux 的 Dockerfile。入口点是 {{verify.sh}}。
注意
1. 为了支持在 Windows 上运行,将 CLJS-3098 {{bin/cljsc}} 和 {{bin/classpath_conv}} 应用到测试中的修补版本中。副作用是,这也解决了我特定安装的 Linux 上的测试失败问题,因为文件编码不是 utf-8。
1. 在这次修补之前,{{script/test}} 在 Windows 上无法工作,并且直到 CLSJ-3098 应用后才能在 Windows 上工作。