paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Research: A Tool and Workflow for Benchmarking LLM-Based Code Improvements

Research：基于 LLM 的代码改进基准测试工具与工作流
FSE Proceedings of the 33rd ACM International Conference on the Foundations of Software Engineering2025匹配度 3/10 · 论文聚焦于用 LLM 进行代码改进的基准测试工具与工作流，属于 LLM 辅助软件工程，但未涉及静态分析、形式化验证、Agentic 程序、浮点或贝叶斯程序分析等核心方向；且仅使用较旧的 CodeLlama 7B，与画像中偏好的当前强模型和 PL 交叉方向关联较弱。引用 0 inbox
Zeineb Rejiba, Raphael Eidenbenz, Johnny Borkhoche
机器学习与程序语言
crossref: 2026-09-12

AI 速览

一句话：提出管理基于LLM代码改进完整工作流的工具，并在开源C++/C#项目上基准测试CodeLlama 7B。

本文针对如何系统化管理和评估基于大语言模型（LLM）的代码改进这一问题，提出了一个支持完整工作流的工具。该工具面向真实代码片段，可组织从代码选取、LLM自动改进到质量度量与结果可视化的流程。作者使用一组开源 C++ 与 C# 代码库，以 Meta 的 CodeLlama 7B 为对象进行基准测试，通过计算并可视化自动代码改进前后的多项软件质量指标，展示该工具如何用于比较模型改进效果。论文强调工作流与基准测试能力，为后续 LLM 代码改进研究提供可复用实践。

问题
如何为基于 LLM 的代码改进建立可管理、可复现的基准测试工作流，并在真实代码片段上衡量改进效果。
方法
提出一个工具，管理使用真实代码片段进行 LLM 代码改进的完整工作流，并集成改进前后软件质量指标的计算与可视化。
评估
在开源 C++ 和 C# 代码库上，对 Meta CodeLlama 7B 进行基准测试，比较自动代码改进前后的质量指标。
原文摘要（Abstract）

This paper introduces a tool for managing a comprehensive workflow for Large Language Model (LLM)-based code improvements using real-world code snippets. Using a set of open source C++ and C# codebases, we showcase how the tool can be used to benchmark Meta's Codellama 7B model by calculating and visualizing various software quality metrics before and after the automated code improvement.

链接与引用

DOI 原文 ·

BibTeX 
@inproceedings{paperbot9069,
  title = {Research: A Tool and Workflow for Benchmarking LLM-Based Code Improvements},
  author = {Zeineb Rejiba and Raphael Eidenbenz and Johnny Borkhoche},
  booktitle = {FSE},
  year = {2025},
  doi = {10.1145/3696630.3728703}
}