paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Conditional Value-at-Risk for Reachability and Mean Payoff in Markov Decision Processes

马尔可夫决策过程中面向可达性与平均收益的条件风险价值(CVaR)
LICS Proceedings of the 33rd Annual ACM/IEEE Symposium on Logic in Computer Science2018匹配度 2/10 · 论文研究MDP中CVaR风险约束的决策复杂度与策略结构,属于概率形式验证/决策过程理论,与用户核心关注的LLM/Agent与静态分析交叉、浮点程序分析、贝叶斯程序分析均无明显关联;仅在“形式化验证”大类上有较弱联系。引用 3 inbox
Jan Křetínský, Tobias Meggendorfer
crossref: 2026-09-12

AI 速览

一句话:研究MDP中可达与平均收益目标下CVaR及其与期望、VaR约束组合的决策复杂度与策略结构。

论文将条件风险价值(CVaR)引入马尔可夫链和马尔可夫决策过程,目标涵盖可达性与平均收益。CVaR通过最差p分位的期望来量化风险,可用于设计风险规避系统。作者不仅考虑CVaR约束,还引入其与期望约束、分位数约束(风险价值VaR)的合取。针对相应决策问题,论文给出了计算复杂度的下界与上界,并从记忆和随机化两个维度刻画了最优策略的结构。该工作为概率系统中的风险感知验证与控制器综合提供了理论复杂度边界和策略可实现性认识。

问题
如何定义并求解马尔可夫链/MDP中可达性与平均收益目标下的CVaR约束,以及CVaR与期望、VaR约束的组合决策问题。
方法
引入CVaR及与期望、分位数(VaR)约束的合取,分析相应决策问题的计算复杂度上下界,并刻画策略在记忆与随机化方面的结构。
评估
通过计算复杂度上下界证明和策略在记忆与随机化上的结构分析进行评估,未报告实验评估。
原文摘要(Abstract)

We present the conditional value-at-risk (CVaR) in the context of Markov chains and Markov decision processes with reachability and mean-payoff objectives. CVaR quantifies risk by means of the expectation of the worst p-quantile. As such it can be used to design risk-averse systems. We consider not only CVaR constraints, but also introduce their conjunction with expectation constraints and quantile constraints (value-at-risk, VaR). We derive lower and upper bounds on the computational complexity of the respective decision problems and characterize the structure of the strategies in terms of memory and randomization.

链接与引用

DOI 原文 · PDF(开放获取) ·

BibTeX
@inproceedings{paperbot4363,
  title = {Conditional Value-at-Risk for Reachability and Mean Payoff in Markov Decision Processes},
  author = {Jan Křetínský and Tobias Meggendorfer},
  booktitle = {LICS},
  year = {2018},
  doi = {10.1145/3209108.3209176}
}