paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Logprobs Know Uncertainty: Fighting LLM Hallucinations

Logprobs 知晓不确定性：对抗 LLM 幻觉
FSE Proceedings of the 33rd ACM International Conference on the Foundations of Software Engineering2025匹配度 1/10 · 该论文的目标是直接改进 LLM 本身（缓解幻觉），属于用户明确不感兴趣的方向；其 logprob 不确定性度量与静态分析、浮点程序分析、贝叶斯程序分析及 Agentic 程序分析均无实质关联。引用 2 inbox
Mengyao Xu, Qiaoyin Gan, Zhenyu Zhu, Haojun Qin
机器学习与程序语言
crossref: 2026-09-12

AI 速览

一句话：提出基于 logprob 的框架，通过反义词候选与 token 级不确定性度量主动抑制 LLM 幻觉。

大语言模型在文本生成方面表现优异，但仍容易产生幻觉。现有缓解方法如检索增强生成（RAG）和自评估存在效率与偏差方面的局限。论文提出一种新的基于 logprob 的框架，主动量化模型不确定性，包含两项创新：一是在 token 预测中融入反义词候选，二是从 token 级 logprobs 推导不确定性度量。实验表明，该方法能有效抑制幻觉，同时保持计算效率与透明度，为可靠 LLM 输出提供了一种可扩展方案。

问题
现有 RAG 与自评估等幻觉缓解方法存在效率与偏差局限，LLM 仍容易生成幻觉。
方法
提出基于 logprob 的框架，在 token 预测中引入反义词候选，并从 token 级对数概率导出不确定性度量，以主动量化模型不确定性。
评估
实验表明该方法能有效抑制幻觉，同时保持计算效率与透明度，并提供可扩展的可靠 LLM 输出方案。
原文摘要（Abstract）

Large Language Models (LLMs) excel in text generation but remain prone to hallucinations. Existing mitigation methods like Retrieval-Augmented Generation (RAG) and self-assessment face efficiency and bias limitations. We propose a novel logprob-based framework that proactively quantifies model uncertainty through two innovations: (1) integrating antonym candidates in token predictions, and (2) deriving uncertainty metrics from token-level logprobs. Experiments demonstrate our method effectively suppresses hallucinations while maintaining computational efficiency and transparency, offering a scalable solution for reliable LLM outputs.

链接与引用

DOI 原文 · PDF（开放获取） ·

BibTeX 
@inproceedings{paperbot9165,
  title = {Logprobs Know Uncertainty: Fighting LLM Hallucinations},
  author = {Mengyao Xu and Qiaoyin Gan and Zhenyu Zhu and Haojun Qin},
  booktitle = {FSE},
  year = {2025},
  doi = {10.1145/3696630.3731433}
}