paperbot · PL 论文追踪

全部论文 待读 收藏

P2 QATest: A Uniform Fuzzing Framework for Question Answering Systems

QATest:面向问答系统的统一模糊测试框架
ASE Proceedings of the 37th IEEE/ACM International Conference on Automated Software Engineering2022匹配度 2/10 · 论文聚焦问答系统的模糊测试与测试用例生成,属于NLP/ML系统测试,与用户核心方向(静态分析、LLM/Agent交叉、浮点/贝叶斯程序分析)无直接关系;模糊测试为动态分析,也非静态分析在ML系统中的应用。引用 16 inbox
Zixi Liu, Yang Feng, Yining Yin, Jingyu Sun, Zhenyu Chen, Baowen Xu
crossref: 2026-09-12

AI 速览

一句话:提出统一的模糊测试框架 QATest,为不同主题与任务格式的问答系统自动化生成并标注测试用例。

深度学习技术的进步使问答系统能够处理多种任务,Siri、Google Home、Alexa 等商业问答系统已进入日常应用。然而,现代问答系统通常面向不同主题与任务格式设计,导致测试用例的收集与标注都十分困难,从而威胁其质量。为应对这一问题,作者提出 QATest——一个面向问答系统的统一模糊测试框架。该框架旨在为不同主题、不同任务格式的 QA 系统提供一致的模糊测试流程,以自动化方式完成测试用例的生成与标注,从而降低测试成本并提升问答系统的质量保障能力。摘要未报告具体实现细节与实验评估结果。

问题
现代问答系统面向不同主题与任务格式设计,测试用例的收集与标注困难,难以有效保障其质量。
方法
提出统一的模糊测试框架 QATest,为多种主题与任务格式的问答系统提供一致的测试用例生成与标注流程。
评估
给出的摘要未描述具体评估方式、基准或实验指标。
原文摘要(Abstract)

The tremendous advancements in deep learning techniques have empowered question answering(QA) systems with the capability of dealing with various tasks. Many commercial QA systems, such as Siri, Google Home, and Alexa, have been deployed to assist people in different daily activities. However, modern QA systems are often designed to deal with different topics and task formats, which makes both the test collection and labeling tasks difficult and thus threats their quality.

链接与引用

DOI 原文 · PDF(开放获取) ·

BibTeX
@inproceedings{paperbot7268,
  title = {QATest: A Uniform Fuzzing Framework for Question Answering Systems},
  author = {Zixi Liu and Yang Feng and Yining Yin and Jingyu Sun and Zhenyu Chen and Baowen Xu},
  booktitle = {ASE},
  year = {2022},
  doi = {10.1145/3551349.3556929}
}