paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Research on Test Flakiness: from Unit to System Testing

测试不稳定性(Test Flakiness)研究:从单元测试到系统测试
ASE Proceedings of the 37th IEEE/ACM International Conference on Automated Software Engineering2022匹配度 2/10 · 论文主题是 flaky test 的学术与工业综述,属于软件测试/调试工程,与用户核心方向(静态分析、Agentic/LLM 程序分析、浮点或贝叶斯程序分析)没有直接交集;仅在关注工业工具落地这一点上略有相关。引用 2 inbox
Kiet Ngo, Vu Nguyen, Tien Nguyen
crossref: 2026-09-12

AI 速览

一句话:综述学术界与工业界应对 flaky test 的方法,指出研究集中于单元测试而工业工具更关注系统级测试。

测试不稳定性(test flakiness)是软件自动化测试中的常见问题,会削弱测试自动化的有效性与生产力。本文对软件研究社区近期的相关方法以及主流工业测试自动化工具中处理测试不稳定性的能力进行了综述。作者从单元测试到端到端系统测试的范围内梳理现有工作,比较了学术研究与工业实践在关注点上的差异。综述发现,大量研究聚焦于单元测试层面的测试不稳定性问题,却少有工作处理端到端系统测试中的不稳定性;相反,工业测试自动化工具往往更关心系统层面的测试不稳定性。该工作揭示了学术研究与工业需求之间的错位,为后续面向系统级测试不稳定性研究指明了方向。

问题
测试不稳定性(flaky test)普遍存在,影响自动化测试的有效性与生产力,亟需了解现有应对方法的现状与空白。
方法
综述近期学术研究中的测试不稳定性处理方法,并分析流行工业测试自动化工具所提供的相关能力。
评估
通过对比性文献与工具综述,发现研究多集中于单元测试层面,而工业工具更侧重系统级测试,揭示两者之间的关注点差异。
原文摘要(Abstract)

Test flakiness has been a common problem in the software automation testing, affecting the effectiveness and productivity of test automation. Many studies have been published to tackle test flakiness in the software research community, and existing test automation tools provide capabilities to address issues related to test flakiness. This paper describes our review of recent approaches in the research community and popular industrial tools with capabilities to tackle test flakiness. Our review indicates that while many studies focus on test flakiness in unit testing, few address the problem in the end-to-end system testing. On the contrary, industrial test automation tools tend to be more concerned with test flakiness at the system level.

链接与引用

DOI 原文 · PDF(开放获取) ·

BibTeX
@inproceedings{paperbot7256,
  title = {Research on Test Flakiness: from Unit to System Testing},
  author = {Kiet Ngo and Vu Nguyen and Tien Nguyen},
  booktitle = {ASE},
  year = {2022},
  doi = {10.1145/3551349.3563242}
}