paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Themis: automatically testing software for discrimination

Themis:自动测试软件中的歧视(discrimination)
FSE Proceedings of the 2018 26th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering2018匹配度 2/10 · 该论文属于软件公平性测试与自动测试生成,主题是度量软件歧视并辅助调试,与用户关注的静态分析、LLM/Agent、浮点程序分析和贝叶斯程序分析等方向几乎没有交集。它虽涉及程序行为与因果分析,但并非面向 ML/Agent 系统的静态分析或 LLM 与程序分析的交叉研究。引用 97 inbox
Rico Angell, Brittany Johnson, Yuriy Brun, Alexandra Meliou
crossref: 2026-09-12

AI 速览

一句话:提出 Themis,一个自动生成测试套件来度量软件歧视(含敏感输入与程序行为的因果关系)并辅助调试的工具。

现代软件系统在决策中可能表现出对特定群体的歧视(bias),这一问题日益普遍且严重,但缺乏自动化的检测与调试手段。本文提出 Themis——一个自动化的测试套件生成器,用于度量两类歧视,其中一类刻画敏感输入(如种族、性别)与程序行为之间的因果关系,从而判断程序是否因敏感属性而产生不同输出;Themis 同时支持对歧视问题的调试。为应对组合爆炸,Themis 采用了一系列优化来缩减测试套件规模,在保持检测能力的同时降低开销。作者在多个开源软件上验证了 Themis 的有效性。Themis 已开源,全部评估数据与演示视频均可公开获取。

问题
现代软件决策中的歧视(bias)问题普遍且严重,却缺少自动化的度量与调试手段。
方法
Themis 自动生成测试套件,度量两类歧视,包括敏感输入与程序行为之间的因果关系,并使用多种优化缩减测试套件规模。
评估
在开源软件上评估 Themis 的有效性,并公开工具源码与全部评估数据。
原文摘要(Abstract)

Bias in decisions made by modern software is becoming a common and serious problem. We present Themis, an automated test suite generator to measure two types of discrimination, including causal relationships between sensitive inputs and program behavior. We explain how Themis can measure discrimination and aid its debugging, describe a set of optimizations Themis uses to reduce test suite size, and demonstrate Themis' effectiveness on open-source software. Themis is open-source and all our evaluation data are available at http://fairness.cs.umass.edu/. See a video of Themis in action: https://youtu.be/brB8wkaUesY

链接与引用

DOI 原文 · PDF(开放获取) ·

BibTeX
@inproceedings{paperbot4626,
  title = {Themis: automatically testing software for discrimination},
  author = {Rico Angell and Brittany Johnson and Yuriy Brun and Alexandra Meliou},
  booktitle = {FSE},
  year = {2018},
  doi = {10.1145/3236024.3264590}
}