paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Learning user interface element interactions

学习 UI 元素交互方式
ISSTA Proceedings of the 28th ACM SIGSOFT International Symposium on Software Testing and Analysis2019匹配度 2/10 · 论文将强化学习/多臂老虎机用于 GUI 测试生成,属于机器学习与软件测试的交叉,但不涉及静态分析、LLM/Agentic 程序、浮点程序分析或贝叶斯程序分析,与用户核心研究方向较远。引用 50 inbox
Christian Degott, Nataniel P. Borges Jr., Andreas Zeller
crossref: 2026-09-12

AI 速览

一句话:将 UI 元素可交互方式的识别建模为多臂老虎机问题,用强化学习自动学习并引导 GUI 测试生成。

为图形用户界面生成测试时,一个核心难题是确定每个 UI 元素支持哪些交互方式——单击、长按、右键、滑动、拖拽、输入等。本文提出一种基于强化学习的方法,自动学习哪些交互可用于哪些元素,并用该信息引导测试生成。作者将问题建模为概率论中的多臂老虎机(MAB)问题,展示其经典解法如何在测试生成中工作,包括不依赖先前知识与复用先验知识两种情形。所得到的引导可带来更高覆盖率:在评估中,语句覆盖率提升 18%(不使用任何先前知识)至 20%(复用此前生成的模型)。

问题
在 GUI 测试生成中,难以确定每个界面元素究竟支持哪些交互方式,从而限制了测试的有效覆盖。
方法
将元素—交互的识别建模为多臂老虎机问题,采用强化学习自动学习可用交互,并以此引导测试生成过程,支持利用或不利用先验模型。
评估
在 GUI 测试生成场景下评估语句覆盖率,结果显示不使用先前知识时提升 18%,复用先前生成的模型时提升 20%。
原文摘要(Abstract)

When generating tests for graphical user interfaces, one central problem is to identify how individual UI elements can be interacted with—clicking, long- or right-clicking, swiping, dragging, typing, or more. We present an approach based on reinforcement learning that automatically learns which interactions can be used for which elements, and uses this information to guide test generation. We model the problem as an instance of the multi-armed bandit problem (MAB problem) from probability theory, and show how its traditional solutions work on test generation, with and without relying on previous knowledge. The resulting guidance yields higher coverage. In our evaluation, our approach shows improvements in statement coverage between 18% (when not using any previous knowledge) and 20% (when reusing previously generated models).

链接与引用

DOI 原文 · PDF(开放获取) ·

BibTeX
@inproceedings{paperbot5373,
  title = {Learning user interface element interactions},
  author = {Christian Degott and Nataniel P. Borges Jr. and Andreas Zeller},
  booktitle = {ISSTA},
  year = {2019},
  doi = {10.1145/3293882.3330569}
}