paperbot · PL 论文追踪

全部论文 待读 收藏

P1 An Empirical Study on Numerical Bugs in Deep Learning Programs

深度学习程序中数值错误的实证研究
ASE Proceedings of the 37th IEEE/ACM International Conference on Automated Software Engineering2022匹配度 5/10 · 论文研究深度学习程序中的数值错误（NaN/INF），与浮点/数值程序分析及 ML 系统可靠性有交叉，其错误分类可为后续检测方法或 benchmark 提供基础；但论文本身是实证分类研究，不涉及静态分析、LLM/Agent 或贝叶斯程序分析，因此与当前研究核心方向只是部分相关。引用 16 inbox
Gan Wang, Zan Wang, Junjie Chen, Xiang Chen, Ming Yan
测试、调试与修复机器学习与程序语言
crossref: 2026-09-12

AI 速览

一句话：首次对深度学习程序中的数值错误开展大规模实证研究，收集400个错误并按根因归为九类。

深度学习程序需要执行大量数值计算，其数值计算的鲁棒性与稳定性直接决定程序质量。然而数值错误在深度学习程序中十分常见，会产生 NaN（Not-a-Number）与 INF（Infinite），进而使模型失准、应用不可用。本文首次针对深度学习程序中的数值错误开展实证研究，分析基于两个主流深度学习库（TensorFlow 与 PyTorch）实现的程序。作者构建了一个包含 400 个数值错误的数据集，依据根因将这些错误划分为九类，并在此基础上总结出两点发现。最后，论文给出了该研究对深度学习程序中数值错误检测的启示，为后续检测工具的设计提供了实证依据。

问题
深度学习程序普遍依赖大规模数值计算，数值错误（NaN/INF）多发且会严重损害模型精度与可用性，但社区对其根因与分布缺乏系统性认识。
方法
从基于 TensorFlow 和 PyTorch 的深度学习程序中收集 400 个数值错误，构建数据集并按根因进行人工分类，归纳得出九类错误与两点发现。
评估
通过对所收集的 400 个真实数值错误数据集进行分类统计与实证分析，并在分类结果基础上提炼对数值错误检测的启示。
原文摘要（Abstract）

The task of a deep learning (DL) program is to train a model with high precision and apply it to different scenarios. A DL program often involves massive numerical calculations. Therefore, the robustness and stability of the numerical calculations are dominant in the quality of DL programs. Indeed, numerical bugs are common in DL programs, producing NaN (Not-a-Number) and INF (Infinite). A numerical bug may render the DL models inaccurate, causing the DL applications unusable. In this work, we conduct the first empirical study on numerical bugs in DL programs by analyzing the programs implemented on the top of two popular DL libraries (i.e., TensorFlow and PyTorch). Specifically, We collect a dataset of 400 numerical bugs in DL programs. Then, we classify these numerical bugs into nine categories based on their root causes and summarize two findings. Finally, we provide the implications of our study on detecting numerical bugs in DL programs.

链接与引用

DOI 原文 · PDF（开放获取） ·

BibTeX 
@inproceedings{paperbot7204,
  title = {An Empirical Study on Numerical Bugs in Deep Learning Programs},
  author = {Gan Wang and Zan Wang and Junjie Chen and Xiang Chen and Ming Yan},
  booktitle = {ASE},
  year = {2022},
  doi = {10.1145/3551349.3559561}
}