paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Semantic Data Augmentation for Deep Learning Testing Using Generative AI

使用生成式 AI 进行深度学习测试的语义数据增强
ASE 2023 38th IEEE/ACM International Conference on Automated Software Engineering (ASE)2023匹配度 3/10 · 论文关注深度学习模型测试、覆盖率引导数据增强与模糊测试,属于机器学习系统测试与软件测试交叉,但与用户核心方向(静态分析、LLM/Agent 程序分析、浮点程序分析、贝叶斯程序分析)无直接关系。其生成式 AI 主要用于构造测试数据,而非分析程序或改进程序分析工具。引用 9 inbox
Sondess Missaoui, Simos Gerasimou, Nicholas Matragkas
crossref: 2026-09-12dblp: 2026-09-12

AI 速览

一句话:提出 GENFUZZER,一种生成式 AI 驱动的覆盖率引导数据增强模糊测试技术,为深度学习模型生成语义丰富、信息量高的测试数据集。

最先进的深度学习模型性能高度依赖于能够充分覆盖运行域的高质量训练与测试数据集,而数据采集与标注耗时且昂贵,数据增强因而成为缓解数据稀缺的有效手段。然而现有数据增强技术主要局限于噪声、翻转、缩放等简单几何与颜色空间变换,生成的数据集多样性有限,用于测试深度学习模型时所得结果往往无法反映模型的鲁棒性。为填补这一空白,作者提出 GENFUZZER:一种由生成式 AI 支撑、以覆盖率引导的深度学习模型数据增强模糊测试技术。该工作在图像分类任务中广泛采用的数据集与模型上进行验证,表明其能够生成更具信息量的数据集,使常用覆盖率准则最高提升 26%。

问题
现有数据增强方法仅使用简单的几何与颜色变换,生成的数据集多样性不足,导致据此得到的深度学习模型测试结果无法有效反映模型鲁棒性。
方法
提出 GENFUZZER,一种基于生成式 AI、以覆盖率引导的模糊测试式数据增强技术,为深度学习模型生成语义层面更丰富的数据集。
评估
在图像分类领域广泛使用的数据集与模型上进行实验,以常用覆盖率准则衡量所生成数据集的信息量,结果显示覆盖率最高提升 26%。
原文摘要(Abstract)

The performance of state-of-the-art Deep Learning models heavily depends on the availability of well-curated training and testing datasets that sufficiently capture the operational domain. Data augmentation is an effective technique in alleviating data scarcity, reducing the time-consuming and expensive data collection and labelling processes. Despite their potential, existing data augmentation techniques primarily focus on simple geometric and colour space transformations, like noise, flipping and resizing, producing datasets with limited diversity. When the augmented dataset is used for testing the Deep Learning models, the derived results are typically uninformative about the robustness of the models. We address this gap by introducing GENFUZZER, a novel coverage-guided data augmentation fuzzing technique for Deep Learning models underpinned by generative AI. We demonstrate our approach using widely-adopted datasets and models employed for image classification, illustrating its effectiveness in generating informative datasets leading up to a 26% increase in widely-used coverage criteria.

链接与引用

DOI 原文 · PDF(开放获取) · DBLP

BibTeX
@inproceedings{MissaouiGM23,
  title = {Semantic Data Augmentation for Deep Learning Testing Using Generative AI},
  author = {Sondess Missaoui and Simos Gerasimou and Nicholas Matragkas},
  booktitle = {ASE},
  year = {2023},
  doi = {10.1109/ase56229.2023.00194}
}