paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Automating Bias Testing of LLMs

自动化 LLM 偏见测试
ASE 2023 38th IEEE/ACM International Conference on Automated Software Engineering (ASE)2023匹配度 2/10 · 论文关注LLM偏见测试套件的自动生成，研究对象是LLM本身，而非将静态分析/形式化验证用于ML或Agentic程序，也未涉及浮点程序分析、贝叶斯程序分析或AI→PL改进静态分析等核心方向。引用 6 inbox
Sergio Morales, Robert Clarisó, Jordi Cabot
测试、调试与修复机器学习与程序语言
crossref: 2026-09-12dblp: 2026-09-12

AI 速览

一句话：提出自动生成测试套件以评估大语言模型潜在偏见的方法，测试由提示和检测偏见的 oracle 组成。

大语言模型正被快速集成到各类软件应用中，可能引入性别、年龄、族裔等偏见，影响应用行为。为应对该挑战，本文探索自动生成测试套件以评估 LLM 的潜在偏见。方法将每个测试定义为两部分：作为输入的提示（prompt）和用于分析 LLM 输出的测试 oracle；oracle 判断输出中是否存在偏见。通过自动生成提示与相应 oracle，目标是系统化、可扩展地开展 LLM 偏见测试。摘要未报告具体实验结果，主要贡献是提出自动化偏见测试的框架与方向。

问题
LLM 快速集成到软件应用中可能带来性别、年龄、族裔等偏见，但目前缺乏自动化评估其偏见的方法。
方法
探索自动生成测试套件，其中每个测试由作为输入的 prompt 和用于分析 LLM 输出是否包含偏见的 test oracle 组成。
评估
摘要未报告具体实验或评估结果；工作定位为提出自动化偏见测试框架，需后续实验验证其有效性。
原文摘要（Abstract）

Large Language Models (LLMs) are being quickly integrated in a myriad of software applications. This may introduce a number of biases, such as gender, age or ethnicity, in the behavior of such applications. To face this challenge, we explore the automatic generation of tests suites to assess the potential biases of an LLM. Each test is defined as a prompt used as input to the LLM and a test oracle that analyses the LLM output to detect the presence of biases.

链接与引用

DOI 原文 · DBLP

BibTeX 
@inproceedings{MoralesCC23,
  title = {Automating Bias Testing of LLMs},
  author = {Sergio Morales and Robert Clarisó and Jordi Cabot},
  booktitle = {ASE},
  year = {2023},
  doi = {10.1109/ase56229.2023.00018}
}