paperbot · PL 论文追踪

全部论文 待读 收藏

P2 RIDER: Evolutionary Prompt Optimization with Adaptive Operator Selection for Software Engineering

RIDER:面向软件工程的带自适应算子选择的进化式提示优化
FSE Proceedings of the 34th ACM International Conference on the Foundations of Software Engineering2026匹配度 2/10 · 该论文研究的是面向软件工程任务的提示词自动优化,核心目标是提升 LLM/Agent 的提示质量,而非将静态分析用于 Agentic 程序,也不是用 LLM 改进静态分析、形式化验证、浮点程序分析或贝叶斯程序分析。其属于用户明确不太感兴趣的方向:以提示词技巧提升 LLM 能力。引用 1 inbox
Daglar Dragomirov, Nikita Kulin, Sergey Muravyov, Ilya Makarov, Daniil Sukhorukov, Mikhail Mozikov
crossref: 2026-09-12dblp: 2026-09-12

AI 速览

一句话:RIDER 是一个进化式提示优化框架,通过自适应算子选择与错误导向进化,显著提升 LLM 辅助软件工程任务的提示质量。

LLM 辅助的软件工程工具高度依赖提示质量,但提示通常依靠手工反复试错构造。本文提出 RIDER,一个元启发式框架:它维护一个提示种群,使用基于 LLM 的算子进行进化,并以验证集反馈驱动搜索。其核心贡献包括三点:(1)将自适应算子选择建模为多臂老虎机问题,在九种算子上采用窗口化 Thompson 采样;(2)错误导向进化,将误分类样例反馈回生成过程;(3)evaluate-first 的 (μ+λ) 保留策略,并以多样性打破平局。作者在覆盖分类、问答、生成与代码智能的六个基准上评估 RIDER,在约 3500 次 API 调用的可比预算下,RIDER 在全部六个基准上均排名第一,平均超过最佳基线 14.5%。

问题
LLM 辅助的软件工程工具性能严重依赖提示质量,而现有提示大多由人工试错手工设计,缺乏系统化、自动化的优化手段。
方法
提出元启发式提示进化框架 RIDER,利用基于 LLM 的九种算子进化提示种群,结合验证集反馈、多臂老虎机式自适应算子选择、错误导向进化以及 evaluate-first 的 (μ+λ) 保留与多样性打破平局策略。
评估
在涵盖分类、问答、生成和代码智能的六个基准上,与最佳基线在约 3500 次 API 调用的可比预算下比较,RIDER 在全部六个基准上排名第一,平均提升 14.5%。
原文摘要(Abstract)

LLM-assisted SE tools depend critically on prompt quality, yet prompts are typically hand-crafted via trial and error. We present RIDER, a metaheuristic framework that evolves a population of prompts using LLM-based operators and validation-set feedback. RIDER contributes (1) adaptive operator selection as a multi-armed bandit with Windowed Thompson Sampling over nine operators, (2) error-directed evolution that feeds misclassified examples back into generation, and (3) evaluate-first (μ+λ) retention with diversity tiebreaking. On six benchmarks spanning classification, QA, generation, and code intelligence, RIDER ranks first on all six, outperforming the best baseline by 14.5% on average at a comparable ~3,500 API-call budget.

链接与引用

DOI 原文 · PDF(开放获取) · DBLP

BibTeX
@inproceedings{DragomirovKMMSM26,
  title = {RIDER: Evolutionary Prompt Optimization with Adaptive Operator Selection for Software Engineering},
  author = {Daglar Dragomirov and Nikita Kulin and Sergey Muravyov and Ilya Makarov and Daniil Sukhorukov and Mikhail Mozikov},
  booktitle = {FSE},
  year = {2026},
  doi = {10.1145/3803437.3807393}
}