paperbot · PL 论文追踪

全部论文 待读 收藏

P2 When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions

何时回答、何时弃权：面向可靠代码预测的决策框架
ICSE Proceedings of the IEEE/ACM 48th International Conference on Software Engineering2026匹配度 3/10 · 论文关注代码语言模型的可靠性、正确性估计、弃权与外部验证/修复，更偏向提升LLM自身预测可靠性；与用户核心的静态分析/形式化验证、浮点程序分析、贝叶斯程序分析及其与LLM的交叉方向关联较弱，未体现将静态分析用于ML/Agent系统或用LLM改进静态分析。引用 0 inbox
Ravishka Rathnasuriya, Wei Yang
机器学习与程序语言测试、调试与修复
crossref: 2026-09-12

AI 速览

一句话：提出一套决策框架，通过正确性估计、不确定时弃权和外部验证/修复，提升代码语言模型预测的可靠性。

代码语言模型已广泛用于代码理解与生成任务，但常出现过度自信的错误预测和信心不足的正确预测，导致部署可靠性不足。论文针对实际部署所需的三项能力展开：准确估计预测正确的可能性、在不确定时弃权、以及调用外部机制验证或修复弃权输出。其核心是提出一个决策框架，统一决定何时直接回答、何时弃权，并衔接外部验证与修复，从而减少高置信错误并避免浪费正确预测。摘要未给出具体方法与实验细节。

问题
代码语言模型常产生过度自信的错误预测和信心不足的正确预测，影响部署可靠性；实际部署需要正确性估计、弃权与外部验证/修复能力。
方法
论文提出一个决策框架，用于判断何时回答、何时弃权，并调用外部机制验证或修复弃权输出。
评估
摘要未具体说明评估方式；其目标能力包括准确估计正确性、在不确定时弃权以及对弃权输出进行外部验证或修复。
原文摘要（Abstract）

Code language models are increasingly adopted for both understanding and generative tasks. Despite their success, these models frequently produce overconfident incorrect predictions and underconfident correct predictions, undermining their reliability in deployment. Practical deployment demands three capabilities: accurately estimating the likelihood of correctness, abstaining on uncertain predictions, and invoking external mechanisms to validate or repair abstained outputs.

链接与引用

DOI 原文 · PDF（开放获取） ·

BibTeX 
@inproceedings{paperbot12051,
  title = {When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions},
  author = {Ravishka Rathnasuriya and Wei Yang},
  booktitle = {ICSE},
  year = {2026},
  doi = {10.1145/3786582.3786845}
}