paperbot · PL 论文追踪

全部论文 待读 收藏

P1 Evaluating LLMs Code Reasoning Under Real-World Context

在真实世界上下文中评估 LLM 的代码推理
ICSE Proceedings of the 2026 IEEE/ACM 48th International Conference on Software Engineering2026匹配度 5/10 · 该论文提出基于真实Python项目的代码推理基准，评估LLM在复合与自定义类型上的表现，与用户对编码智能体的关注以及“在重要场景下设计基准”的兴趣有一定重合；但研究目标本身是评估LLM，不涉及静态分析、形式化验证、浮点程序分析或贝叶斯程序分析等核心方向。引用 0 inbox
Changshu Liu
机器学习与程序语言
crossref: 2026-09-12dblp: 2026-09-12arxiv: 2026-09-12

AI 速览

一句话：提出 R2Eval 基准，用真实 Python 项目中的复合与自定义类型问题评估 LLM 代码推理。

代码推理任务对评估大语言模型日益重要，但现有基准多依赖简化的、LLM 生成的代码片段或人工编写的编程题解答，并且常将输入输出限制为原始类型，无法反映真实项目的结构与依赖关系。这些简化限制了基准衡量实际泛化能力的效果。本文提出 R2Eval，一个包含 135 个代码推理问题的基准，问题取自十个广泛使用的 Python 项目。与先前工作不同，R2Eval 对复合类型和自定义类型进行序列化，从而保留真实世界的数据复杂度，支持对 LLM 进行更现实的评估。

问题
现有代码推理基准多基于简化片段或编程题解答，且输入输出常限于原始类型，无法反映真实项目的结构与依赖，难以衡量实际泛化能力。
方法
构建 R2Eval 基准，从十个广泛使用的 Python 项目中抽取 135 个代码推理问题，并序列化复合类型与自定义类型以保留真实数据复杂度。
评估
使用 R2Eval 对 LLM 进行代码推理评估，在更接近真实项目的数据复杂度下考察模型表现与泛化能力。
原文摘要（Abstract）

Code reasoning tasks are increasingly crucial to evaluating large language models (LLMs). Yet most existing benchmarks rely on simplistic, LLM-generated snippets or human-written solutions to code challenges and often restrict inputs and outputs to primitive types, failing to reflect the structure and dependencies of real-world projects. These simplifications limit their ability to measure practical generalizability. We present R2Eval 1, a benchmark of 135 code reasoning problems drawn from ten widely used Python projects. Unlike prior work, R2Eval serializes compound and custom types, preserving real-world data complexity and enabling a more realistic assessment of LLMs.

链接与引用

DOI 原文 · arXiv · PDF（开放获取） · DBLP

BibTeX 
@inproceedings{abs-2604-12881,
  title = {Evaluating LLMs Code Reasoning Under Real-World Context},
  author = {Changshu Liu},
  booktitle = {ICSE},
  year = {2026},
  doi = {10.1145/3774748.3787747}
}