paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Prompt-with-Me: in-IDE Structured Prompt Management for LLM-Driven Software Engineering

Prompt-with-Me:面向 LLM 驱动软件工程的 IDE 内结构化提示管理
ASE 2025 40th IEEE/ACM International Conference on Automated Software Engineering (ASE)2025匹配度 2/10 · 该论文聚焦IDE内提示管理与提示质量提升,属于LLM驱动软件工程中的提示工程/开发者工具,并不涉及静态分析、程序分析、形式化验证、浮点程序分析或贝叶斯程序分析。虽然与LLM/Agent开发工具有一定交集,但研究目标本身更接近提示管理,与用户核心方向不匹配。引用 0 inbox
Ziyou Li, Agnia Sergeyuk, Maliheh Izadi
crossref: 2026-09-12

AI 速览

一句话:在 IDE 内实现结构化提示管理,自动分类、改写、脱敏并抽取可复用模板,提升提示质量与复用效率。

论文关注 LLM 驱动软件开发中提示(prompt)管理缺乏规范、难以复用并融入工业流程的问题,提出嵌入开发环境的结构化提示管理工具 Prompt-with-Me。该系统基于涵盖意图、作者角色、软件开发生命周期阶段与提示类型的四维分类体系自动对提示进行分类,并提供语言改写建议、敏感信息遮蔽以及从开发者提示库中抽取可复用模板的功能。评估包括两部分:对 1108 条真实提示的分类研究,表明现代 LLM 能较准确地对软件工程提示分类;以及 11 名参与者的用户研究,结果显示开发者接受度高(SUS 均值 73)、认知负荷低(NASA-TLX 均值 21),并自报提示质量与效率提升、重复劳动减少。论文最后给出构建下一代提示管理与维护工具的可操作建议。

问题
实践中 LLM 提示管理零散随意,缺乏可靠性与复用性,难以融入工业软件工程工作流。
方法
实现 IDE 内嵌的 Prompt-with-Me,用四维分类体系自动分类提示,并提供语言改写、敏感信息遮蔽与模板抽取。
评估
对 1108 条真实提示做分类研究验证 LLM 分类能力,并对 11 名开发者开展用户研究,测量 SUS、NASA-TLX 及主观收益。
原文摘要(Abstract)

Large Language Models are transforming software engineering, yet prompt management in practice remains ad hoc, hindering reliability, reuse, and integration into industrial workflows. We present Prompt-with-Me, a practical solution for structured prompt management embedded directly in the development environment. The system automatically classifies prompts using a four-dimensional taxonomy that encompasses intent, author role, software development lifecycle stage, and prompt type. To improve prompt reuse and quality, Prompt-with-Me suggests language refinements, masks sensitive information, and extracts reusable templates from a developer’s prompt library.Our taxonomy study of 1,108 real-world prompts demonstrates that modern LLMs can accurately classify software engineering prompts. Furthermore, our user study with 11 participants shows strong developer acceptance, with high usability (Mean SUS=73), low cognitive load (Mean NASA-TLX=21), and reported gains in prompt quality and efficiency through reduced repetitive effort. Lastly, we offer actionable insights for building the next generation of prompt management and maintenance tools for software engineering workflows.

链接与引用

DOI 原文 ·

BibTeX
@inproceedings{paperbot9364,
  title = {Prompt-with-Me: in-IDE Structured Prompt Management for LLM-Driven Software Engineering},
  author = {Ziyou Li and Agnia Sergeyuk and Maliheh Izadi},
  booktitle = {ASE},
  year = {2025},
  doi = {10.1109/ase63991.2025.00276}
}