paperbot · PL 论文追踪

全部论文 待读 收藏

P1 Unsupervised Approaches to Futile Cycle Detection in AI Agents

AI 智能体中徒劳循环(futile cycle)检测的无监督方法
ICSE Proceedings of the 2026 IEEE/ACM 48th International Conference on Software Engineering2026匹配度 7/10 · 论文面向 LLM 智能体执行轨迹的分析与失败检测,属于“PL/分析技术应用于 Agentic 程序”这一核心方向,且提出了新概念(futile cycle)并构建了 1575 条轨迹的数据集,具有问题驱动的特征。但其方法是基于轨迹表示的无监督检测(偏 ML 异常检测),既不是静态分析,也缺乏形式化刻画,且只在单一 LangGraph 股票应用上评估,泛化性与理论深度有限。引用 0 inbox
Felix George, Harshit Kumar, Divya Pathak, Kaustabha Ray, Mudit Verma, Pratibha Moogi
crossref: 2026-09-12

AI 速览

一句话:提出智能体执行轨迹中“徒劳循环”的概念,并用结构加语义的无监督混合方法检测,F1 达 0.72。

与传统软件类似,基于 LLM 的 AI 智能体也会失败,其中一类是“徒劳循环”:由无产出行为构成的循环,难以被察觉。本文首次提出徒劳循环概念,并将其与智能体执行轨迹中的有效循环相区分。作者基于 LangGraph 构建的股票市场多智能体应用,采集了 1575 条轨迹构成的大规模数据集,提出利用轨迹的结构表示与语义表示的无监督检测方法,并进一步将二者结合为混合方法。实验显示,混合方法取得 0.72 的 F1(精确率 0.62,召回率 0.86),明显优于单用结构表示(F1 0.08)或单用语义表示(F1 0.28)的方法,说明结构与语义信号具有互补性。

问题
AI 智能体在运行中会陷入重复且无产出的“徒劳循环”,这类失败模式难以与传统软件中的错误一样被检测出来。
方法
在大规模智能体执行轨迹数据集上,分别提取轨迹的结构表示与语义表示,并以无监督方式检测徒劳循环,最后将两类信号融合为混合检测器。
评估
在 LangGraph 股票市场多智能体应用的 1575 条执行轨迹上进行评估,报告精确率、召回率与 F1,并与结构法、语义法两种单模态方法对比。
原文摘要(Abstract)

Like traditional software, AI agents are prone to failure; specifically, they can enter ‘repetitive futile cycles’—loops of unproductive behavior that are particularly difficult to detect. This paper introduces the concept of futile cycles and distinguishes them from productive cycles in agent execution trajectories. We propose unsupervised approaches for detecting futile cycles that leverage both structural and semantic representations of agent trajectories evaluated on a large dataset of 1575 trajectories for a LangGraph-based stock market multi-Agent application. Our hybrid approach achieves an F1 score of 0.72 (precision: 0.62, recall: 0.86), significantly outperforming individual structural (F1: 0.08) and semantic (F1: 0.28) methods.

链接与引用

DOI 原文 · PDF(开放获取) ·

BibTeX
@inproceedings{paperbot11644,
  title = {Unsupervised Approaches to Futile Cycle Detection in AI Agents},
  author = {Felix George and Harshit Kumar and Divya Pathak and Kaustabha Ray and Mudit Verma and Pratibha Moogi},
  booktitle = {ICSE},
  year = {2026},
  doi = {10.1145/3774748.3795682}
}