paperbot · PL 论文追踪

全部论文 待读 收藏

P2 An Empirical Study of Issues in Large Language Model Training Systems

大语言模型训练系统问题的一项实证研究
FSE Proceedings of the 33rd ACM International Conference on the Foundations of Software Engineering2025匹配度 4/10 · 论文关注 LLM 训练系统中的缺陷与崩溃问题，与“机器学习系统 + 程序语言”有间接关联，可能为在 ML 系统中应用静态分析提供问题背景；但它不涉及静态分析、Agentic 程序、浮点程序分析或贝叶斯程序分析等核心方向，因此匹配度有限。引用 1 inbox
Yanjie Gao, Ruiming Lu, Haoxiang Lin, Yueguo Chen
机器学习与程序语言
crossref: 2026-09-12

AI 速览

一句话：对 LLM 训练系统中导致崩溃、异常行为及资源浪费的问题进行实证研究。

近年来，大语言模型（LLM）在各类应用中取得显著进展，其训练与评估高度依赖专门的 LLM 训练系统。这类系统通常部署在大量 GPU 上，对 LLM 进行划分并处理大规模数据集。然而，训练系统自身的问题可能导致程序崩溃或出现非预期行为，从而降低开发效率，并浪费 GPU、存储等宝贵资源。本文对 LLM 训练系统中的问题开展实证研究，旨在刻画这些问题的表现与影响。摘要未展开具体的问题分类、数据来源或定量结果。

问题
LLM 训练系统在大量 GPU 上运行并处理大规模数据和模型，其自身问题会造成程序崩溃或非预期行为，降低开发效率并浪费 GPU 与存储资源。
方法
对 LLM 训练系统中的问题开展实证研究，关注这些问题的表现与影响；摘要未给出具体的数据收集与分类方法。
评估
评估方式为对实际 LLM 训练系统问题进行实证分析，考察其导致的崩溃、异常行为及资源浪费；摘要未提供具体实验设置或定量结果。
原文摘要（Abstract）

Large language models (LLMs) have gained significant traction in recent years, driving advancements in various applications. The training and evaluation of these models depend heavily on specialized LLM training systems, which are deployed across numerous GPUs, partition LLMs, and process large datasets. However, issues in LLM training systems can lead to program crashes or unexpected behavior, reducing development productivity and wasting valuable resources such as GPUs and storage.

链接与引用

DOI 原文 ·

BibTeX 
@inproceedings{paperbot9172,
  title = {An Empirical Study of Issues in Large Language Model Training Systems},
  author = {Yanjie Gao and Ruiming Lu and Haoxiang Lin and Yueguo Chen},
  booktitle = {FSE},
  year = {2025},
  doi = {10.1145/3696630.3728538}
}