paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Decoding CI/CD Practices in Open-Source Projects with LLM Insights

用 LLM 洞察解码开源项目中的 CI/CD 实践
FSE Proceedings of the 33rd ACM International Conference on the Foundations of Software Engineering2025匹配度 2/10 · 该论文主要是用LLM对GitHub CI/CD配置进行大规模经验性挖掘，属于LLM辅助软件工程实证研究，并未涉及静态分析、形式化验证、Agentic程序或浮点/贝叶斯程序分析等核心方向；LLM仅作为解析工具，研究目标也不是改进PL/静态分析技术。引用 7 inbox
Łukasz Chomątek, Jakub Papuga, Przemyslaw Nowak, Aneta Poniszewska-Marańda
机器学习与程序语言
crossref: 2026-09-12dblp: 2026-09-12

AI 速览

一句话：用 DeepSeek-V2 与 GPT-4o 大规模解析 28,770 个 GitHub 仓库的 CI/CD 流水线定义，量化各类实践的采纳率与系统差异。

CI/CD 流水线配置是理解现代软件开发实践的重要窗口，但面对数量庞大、写法各异的流水线定义文件，传统方法难以规模化地解析与归类。本文利用 DeepSeek-V2 和 GPT-4o 两个大语言模型，对 28,770 个流行 GitHub 仓库的流水线定义文件进行解析与语义解读，统计各类 CI/CD 实践的采纳趋势，并比较不同 CI 系统的侧重。结果显示，构建（80.0%）与测试（80.2%）阶段近乎普及，而静态应用安全测试 SAST（12.1%）、容器化（17.9%）和云部署（4.2%）等专门实践的采用率明显偏低；系统层面差异显著，Travis CI 在构建自动化上领先（99.2%），GitHub Actions 则在 linting（44.9%）与 SAST（16.5%）上表现突出。研究不仅刻画了 CI/CD 实践全景，也展示了 LLM 在软件工程实证研究中的潜力，并提出改进 LLM 流水线分析工具、弥合采用差距的未来方向。

问题
如何在大规模范围内理解并量化开源项目中 CI/CD 流水线配置的实践采纳情况，而多样且复杂的流水线定义文件难以用传统解析方法处理。
方法
使用 DeepSeek-V2 与 GPT-4o 两个大语言模型，对 28,770 个流行 GitHub 仓库的流水线定义文件进行解析与语义分类，统计各实践的采纳率并比较不同 CI 系统的特点。
评估
基于 28,770 个 GitHub 仓库开展大规模实证统计，报告构建、测试、SAST、容器化、云部署等实践的采用比例，以及 Travis CI、GitHub Actions 等系统的差异化表现。
原文摘要（Abstract）

The analysis of continuous integration and continuous deployment (CI/CD) pipeline configurations offers critical insights into modern software development practices. This paper leverages advanced large language models (LLMs) — DeepSeek-V2 and GPT-4o — to examine pipeline definition files from 28,770 popular GitHub repositories, uncovering adoption trends across CI/CD practices. Our LLM-driven approach reveals near-universal implementation of build (80.0%) and test (80.2%) stages, contrasted by lower adoption of specialized practices like static application security testing (SAST) (12.1%), containerization (17.9%), and cloud deployment (4.2%). System-specific patterns emerge, with Travis CI leading in build automation (99.2%) and GitHub Actions excelling in linting (44.9%) and SAST (16.5%), reflecting distinct system strengths. By harnessing LLMs to parse and interpret complex pipeline files at scale, this study not only maps the CI/CD landscape but also demonstrates the transformative potential of artificial intelligence in software engineering research. We propose future work to refine LLM-based tools for pipeline analysis and address adoption gaps, aiming to enhance CI/CD accessibility and effectiveness across diverse projects.

链接与引用

DOI 原文 · DBLP

BibTeX 
@inproceedings{ChomatekPNP25,
  title = {Decoding CI/CD Practices in Open-Source Projects with LLM Insights},
  author = {Łukasz Chomątek and Jakub Papuga and Przemyslaw Nowak and Aneta Poniszewska-Marańda},
  booktitle = {FSE},
  year = {2025},
  doi = {10.1145/3696630.3728699}
}