paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Detecting and Repairing Incomplete Software Requirements with Multi-LLM Ensembles

用多 LLM 集成检测并修复不完整的软件需求
ASE 2025 40th IEEE/ACM International Conference on Automated Software Engineering (ASE)2025匹配度 2/10 · 该论文聚焦需求工程中软件需求规格(SRS)的完整性检测与修复,使用多 LLM 集成与提示策略,与用户核心方向——程序静态分析、形式化验证、浮点程序分析、贝叶斯程序分析以及 Agentic 程序分析——没有直接关联;虽涉及 LLM 作为工具,但目标不是程序分析或验证。引用 0 inbox
Mohamad Kassab, Marwan AbdElhameed
crossref: 2026-09-12

AI 速览

一句话:用三个互补 LLM 组成集成,通过结构化领域模型与并行完整性检查检测并修复 SRS 中的需求遗漏。

软件需求规格说明(SRS)中的需求遗漏会带来高昂的下游修复成本,而单个 LLM 的检测能力有限。本文提出一个工具,将 DeepSeek Chat、GPT-4o Mini 与 Claude Sonnet 4 三个互补 LLM 组成集成:先生成结构化领域模型,再以定制提示并行执行外部与内部完整性检查,发现缺失需求并给出补救建议,用户可选参与模型与聚合方式(多数、加权、元融合)。作者在四个不同领域的 SRS 上注入人工遗漏,系统比较各聚合策略:单模型召回率仅 0–52%,集成稳定超过 75% 乃至 100%,建议合理性达 95–100%。这表明多 LLM 集成可辅助而非替代分析师,支持交互式需求精化。

问题
软件需求规格说明中的需求遗漏难以被及时发现,而单个 LLM 检测缺失需求的召回率很低。
方法
将 DeepSeek Chat、GPT-4o Mini 与 Claude Sonnet 4 三个 LLM 集成为工具,生成结构化领域模型,并通过定制提示并行执行外部与内部完整性检查,支持多种模型选择与聚合策略。
评估
在四个不同领域的 SRS 上注入人工遗漏,系统比较单模型与不同聚合策略的检测效果;单模型召回率 0–52%,集成超过 75% 且最高达 100%,建议合理性 95–100%。
原文摘要(Abstract)

Ensuring complete software requirements specifications (SRS) is critical to preventing costly downstream errors. We present a tool that ensembles three complementary LLMs—DeepSeek Chat, GPT-4o Mini, and Claude Sonnet 4—to detect and suggest remedies for missing requirements. The tool generates a structured domain model and applies parallel external and internal completeness checks through tailored prompts. Users can select LLMs and aggregation methods (majority, weighted, or meta-fusion). Unlike prior single-model approaches, we systematically evaluate aggregation strategies across four diverse SRS domains. In experiments with seeded omissions, single models achieved only 0–52% recall, whereas our ensemble consistently exceeded 75%—reaching up to 100%—with 95–100% plausibility. These results demonstrate the feasibility of multi-LLM ensembles as practical aids—complementing rather than replacing human analysts—and supporting interactive refinement workflows.

链接与引用

DOI 原文 ·

BibTeX
@inproceedings{paperbot9379,
  title = {Detecting and Repairing Incomplete Software Requirements with Multi-LLM Ensembles},
  author = {Mohamad Kassab and Marwan AbdElhameed},
  booktitle = {ASE},
  year = {2025},
  doi = {10.1109/ase63991.2025.00328}
}