paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Big code != big vocabulary

大代码（Big Code）不等于大词汇表（Big Vocabulary）
ICSE Proceedings of the ACM/IEEE 42nd International Conference on Software Engineering2020匹配度 3/10 · 论文关注源代码神经语言模型的词表增长、OOV与扩展性问题，属于机器学习与程序语言的基础交叉，但未涉及静态分析、Agentic程序、形式化验证、浮点程序分析或贝叶斯程序分析，与用户核心研究方向关联较弱。引用 143 inbox
Rafael-Michael Karampatsis, Hlib Babii, Romain Robbes, Charles Sutton, Andrea Janes
机器学习与程序语言
crossref: 2026-09-12

AI 速览

一句话：指出源代码词汇增长远快于自然语言，导致神经语言模型面临大词表与OOV问题并难以扩展。

统计语言模型已被成功应用于大规模源代码语料，催生代码建议、可读性改进和 API 迁移等开发工具。然而，源代码引入新词汇的速度远高于自然语言，新标识符名称不断增殖，导致词汇表迅速膨胀并产生大量词表外（OOV）词。该文指出，大代码并不等于大词汇表；大词表和 OOV 问题会严重影响源代码神经语言模型（NLM）的性能，使其难以扩展。摘要未披露具体方法或评估结果，主要贡献在于揭示并强调这一词汇瓶颈。

问题
源代码语料中标识符等新词高速增长，带来大词汇表和 OOV 问题，影响源代码神经语言模型的性能与可扩展性。
方法
摘要未披露具体方法；论文的核心是提出源代码语言建模中的词汇增长与 OOV 瓶颈。
评估
摘要未报告评估方式或实验结果；仅指出大词表与 OOV 会降低 NLM 性能并阻碍其扩展。
原文摘要（Abstract）

Statistical language modeling techniques have successfully been applied to large source code corpora, yielding a variety of new software development tools, such as tools for code suggestion, improving readability, and API migration. A major issue with these techniques is that code introduces new vocabulary at a far higher rate than natural language, as new identifier names proliferate. Both large vocabularies and out-of-vocabulary issues severely affect Neural Language Models (NLMs) of source code, degrading their performance and rendering them unable to scale.

链接与引用

DOI 原文 · PDF（开放获取） ·

BibTeX 
@inproceedings{paperbot5568,
  title = {Big code != big vocabulary},
  author = {Rafael-Michael Karampatsis and Hlib Babii and Romain Robbes and Charles Sutton and Andrea Janes},
  booktitle = {ICSE},
  year = {2020},
  doi = {10.1145/3377811.3380342}
}