paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Algorithms for some infinite-state MDPs and stochastic games

若干无限状态 MDP 与随机博弈的算法
LICS 2017 32nd Annual ACM/IEEE Symposium on Logic in Computer Science (LICS)2017匹配度 3/10 · 该论文属于概率程序与形式验证的基础理论,涉及无限状态 MDP/随机博弈及其在递归概率程序上的模型检查,与用户关注的形式化验证/程序分析有间接关联;但它不涉及 LLM/Agent、静态分析工具在 ML/Agentic 程序中的应用、浮点程序分析或贝叶斯程序分析,也无工程落地与 LLM 交叉内容。引用 4 inbox
Kousha Etessami
crossref: 2026-09-12dblp: 2026-09-12

AI 速览

一句话:综述无限状态 Markov 链、MDP 与随机博弈的算法与复杂度,统一递归/计数器式概率程序模型。

该报告综述过去十余年关于可数无限状态 Markov 链、Markov 决策过程(MDP)与随机博弈的分析和模型检测算法及其计算复杂度的研究。此类模型通过在有限状态模型上加入递归、分支或计数器得到,可视为下推自动机、上下文无关文法和单计数器自动机的概率/控制/博弈扩展。它们覆盖多类型分支过程、拟生灭过程等经典随机过程,并为带递归的概率过程式程序提供自然模型。报告关注这些无限状态概率系统的算法设计与复杂度刻画,连接自动机理论、随机过程与程序验证。

问题
如何为带递归、分支或计数器的可数无限状态 Markov 链、MDP 与随机博弈设计分析和模型检测算法,并确定其计算复杂度?
方法
综述过去十余年的工作,以自动机理论为统一框架,将有限状态模型进行概率、控制与博弈扩展,并讨论相应算法与复杂度结果。
评估
评估方式以理论分析为主,核心是算法复杂度刻画;作者通过展示模型可涵盖多类型分支过程、拟生灭过程以及带递归的概率过程式程序来说明其通用性。
原文摘要(Abstract)

I will survey a body of work, developed over the past decade or so, on algorithms for, and the computational complexity of, analyzing and model checking some important families of countably infinite-state Markov chains, Markov decision processes (MDPs), and stochastic games. These models arise by adding natural forms of recursion, branching, or a counter, to finite-state models, and they correspond to probabilistic/control/game extensions of classic automata-theoretic models like pushdown automata, context-free grammars, and one-counter automata. They subsume some classic stochastic processes such as multi-type branching processes and quasi-birth-death processes. They also provide a natural model for probabilistic procedural programs with recursion.

链接与引用

DOI 原文 · PDF(开放获取) · DBLP

BibTeX
@inproceedings{Etessami17,
  title = {Algorithms for some infinite-state MDPs and stochastic games},
  author = {Kousha Etessami},
  booktitle = {LICS},
  year = {2017},
  doi = {10.1109/lics.2017.8005063}
}