paperbot · PL 论文追踪

全部论文 待读 收藏

P2 DePro: Understanding the Role of LLMs in Debugging Competitive Programming Code

DePro：理解 LLM 在竞赛编程代码调试中的作用
FSE Proceedings of the 34th ACM International Conference on the Foundations of Software Engineering2026匹配度 3/10 · 该论文聚焦于用 LLM 辅助修复竞赛编程代码，属于程序调试与程序修复方向，与用户关注的静态分析、形式化验证、浮点程序分析及 Agentic 程序分析等核心问题关联较弱。虽然涉及 LLM 与程序语言的交叉，但研究目标更偏向评估 LLM 调试能力，而非用户画像中强调的 PL→AI 或 AI→PL 的静态分析/验证改进。引用 2 inbox
Nabiha Parvez, Md. Tanvin Sarkar Pallab, Mia Mohammad Imran, Tarannum Shaila Zaman
测试、调试与修复机器学习与程序语言
crossref: 2026-09-12dblp: 2026-09-12arxiv: 2026-09-12

AI 速览

一句话：提出测试用例驱动的 DePro 方法，结合暴力参考解、压力测试与迭代 LLM 精修来修复竞赛代码，显著减少调试次数与时间。

调试占据了软件开发周期的相当大比重，但研究者对大型语言模型（LLM）在调试任务中的有效性仍缺乏深入理解。竞赛编程因问题域多样且对效率要求严格，为这类评估提供了理想的基准。本文对竞赛编程问题上的 LLM 调试展开实证研究，并提出 DePro——一种测试用例驱动的调试方法：它不要求模型重新生成新解，而是辅助程序员修正已有代码。DePro 融合了暴力法参考解生成、压力测试（stress testing）以及迭代式 LLM 引导精修，从而高效地定位并消除错误。作者在来自 Codeforces 的 13 份错误用户提交上进行实验，结果表明 DePro 能稳定产出正确解，相比人类程序员与零样本 LLM 调试，调试尝试次数最多降低 64%，平均每题节省 7.6 分钟调试时间。

问题
LLM 在调试任务中的实际效果尚不明确，尤其缺乏在竞赛编程这类问题域多样、效率要求严格的场景下的系统评估。
方法
提出 DePro：以测试用例为驱动，先由暴力法生成参考解，再通过压力测试暴露错误输入，并迭代地让 LLM 引导精修现有错误代码而非重写新解。
评估
在 Codeforces 的 13 份错误用户提交上开展实验，与人类程序员及零样本 LLM 调试进行对比，报告正确性、调试尝试次数与调试时间。
原文摘要（Abstract）

Debugging consumes a substantial portion of the software development lifecycle, yet researchers do not yet understand well the effectiveness of Large Language Models (LLMs) in this task. Competitive programming offers a rich benchmark for such evaluation, given its diverse problem domains and strict efficiency requirements. We present an empirical study of LLM-based debugging on competitive programming problems and introduce DePro, a test-case-driven approach that assists programmers by correcting existing code rather than generating new solutions. DePro combines brute-force reference generation, stress testing, and iterative LLM-guided refinement to efficiently identify and resolve errors. Experiments on 13 faulty user submissions from Codeforces demonstrate that DePro consistently produces correct solutions, reducing debugging attempts by up to 64% and debugging time by an average of 7.6 minutes per problem compared to human programmers and zero-shot LLM debugging.

链接与引用

DOI 原文 · arXiv · PDF（开放获取） · DBLP

BibTeX 
@inproceedings{abs-2603-19399,
  title = {DePro: Understanding the Role of LLMs in Debugging Competitive Programming Code},
  author = {Nabiha Parvez and Md. Tanvin Sarkar Pallab and Mia Mohammad Imran and Tarannum Shaila Zaman},
  booktitle = {FSE},
  year = {2026},
  doi = {10.1145/3803437.3805561}
}