paperbot · PL 论文追踪

全部论文 待读 收藏

P2 LLMs and Prompting for Unit Test Generation: A Large-Scale Evaluation

面向单元测试生成的大语言模型与提示工程：一项大规模评估
ASE Proceedings of the 39th IEEE/ACM International Conference on Automated Software Engineering2024匹配度 3/10 · 该论文属于 LLM 用于软件测试生成，与 PL+AI 有较宽泛交集，但并非用户核心关注的静态分析、形式化验证、Agentic 程序分析、浮点或贝叶斯程序分析。其重点是评估 LLM 与提示策略在单元测试生成中的效果，也较接近用户不感兴趣的“LLM 本身/提示技巧”类研究。引用 12 inbox
Wendkuuni C. Ouedraogo, Kader Kabore, Haoye Tian, Yewei Song, Anil Koyuncu, Jacques Klein, David Lo, Tegawende F. Bissyande
测试、调试与修复机器学习与程序语言
crossref: 2026-09-12

AI 速览

一句话：大规模评估大语言模型与提示策略在单元测试生成中的效果与局限。

单元测试是发现缺陷的关键手段，但因时间限制常被忽视；现有自动生成工具生成的测试可读性差，且需要开发者干预。以 GPT、Mistral 为代表的大语言模型在测试生成方面显示出潜力，但其有效性尚不明确。为此，本文开展大规模评估，系统研究大语言模型与提示（prompting）在单元测试生成中的表现。该工作通过大规模实验对比不同模型和提示策略对生成测试质量的影响，旨在为实践者选择方案和后续研究提供依据。具体结果需参阅原文。

问题
单元测试常因时间限制被忽视，自动生成工具可读性差且需人工干预，而 LLM 用于单元测试生成的有效性仍不明确。
方法
对 GPT、Mistral 等大语言模型及提示策略在单元测试生成中的表现开展大规模评估。
评估
通过大规模实验评估不同 LLM 与提示方法生成单元测试的效果。
原文摘要（Abstract）

Unit testing, essential for identifying bugs, is often neglected due to time constraints. Automated test generation tools exist but typically lack readability and require developer intervention. Large Language Models (LLMs) like GPT and Mistral show potential in test generation, but their effectiveness remains unclear.

链接与引用

DOI 原文 · PDF（开放获取） ·

BibTeX 
@inproceedings{paperbot8329,
  title = {LLMs and Prompting for Unit Test Generation: A Large-Scale Evaluation},
  author = {Wendkuuni C. Ouedraogo and Kader Kabore and Haoye Tian and Yewei Song and Anil Koyuncu and Jacques Klein and David Lo and Tegawende F. Bissyande},
  booktitle = {ASE},
  year = {2024},
  doi = {10.1145/3691620.3695330}
}