paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Are We Ready to Embrace Generative AI for Software Q&A?

我们是否已准备好拥抱面向软件问答的生成式 AI？
ASE 2023 38th IEEE/ACM International Conference on Automated Software Engineering (ASE)2023匹配度 1/10 · 该论文研究 ChatGPT 在 Stack Overflow 软件问答中的答案质量，与用户关注的静态分析、形式化验证、浮点程序分析、贝叶斯程序分析以及 LLM 与这些方向的交叉均无直接关系，更偏向于评估 LLM 本身在问答任务上的表现，而非将 LLM/Agent 作为改进程序分析的工具。引用 19 inbox
Bowen Xu, Thanh-Dat Nguyen, Thanh Le-Cong, Thong Hoang, Jiakun Liu, Kisub Kim, Chen Gong, Changan Niu, Chenyu Wang, Bach Le, David Lo
机器学习与程序语言
crossref: 2026-09-12dblp: 2026-09-12arxiv: 2026-09-12

AI 速览

一句话：比较 Stack Overflow 人类答案与 ChatGPT 生成答案，发现语义相似但人类答案整体质量高约 10%。

Stack Overflow 因生成式 AI 冲击出现流量下降，并在 ChatGPT 发布 6 天后因其答案质量低而禁止使用。本文通过自动比较与人工研究，系统评估人类撰写答案与 ChatGPT 生成答案的质量。结果显示，两类答案在语义上相似，但人类答案在多个维度上持续优于 ChatGPT，总体得分高出约 10%。作者公开了数据、分析脚本与详细结果，为软件问答社区是否应接纳生成式 AI 提供实证依据。

问题
生成式 AI 给软件问答带来冲击，Stack Overflow 因认为 ChatGPT 答案质量低而封禁它，但该判断缺乏系统实证验证。
方法
收集 Stack Overflow 问题，比较人类撰写答案与 ChatGPT 生成答案，结合自动指标和人工评分/分析。
评估
在整体与多维度质量评分上，人类答案均优于 ChatGPT，总体得分高约 10%，但两者语义相似。
原文摘要（Abstract）

Stack Overflow, the world's largest software Q&A (SQA) website, is facing a significant traffic drop due to the emergence of generative AI techniques. ChatGPT is banned by Stack Overflow after only 6 days from its release. The main reason provided by the official Stack Overflow is that the answers generated by ChatGPT are of low quality. To verify this, we conduct a comparative evaluation of human-written and ChatGPT-generated answers. Our methodology employs both automatic comparison and a manual study. Our results suggest that human-written and ChatGPT-generated answers are semantically similar, however, human-written answers outperform ChatGPT-generated ones consistently across multiple aspects, specifically by 10% on the overall score. We release the data, analysis scripts, and detailed results at https://github.com/maxxbw54/GAI4SQA.

链接与引用

DOI 原文 · arXiv · PDF（开放获取） · DBLP

BibTeX 
@inproceedings{XuNLHLKGNWLL23,
  title = {Are We Ready to Embrace Generative AI for Software Q&A?},
  author = {Bowen Xu and Thanh-Dat Nguyen and Thanh Le-Cong and Thong Hoang and Jiakun Liu and Kisub Kim and Chen Gong and Changan Niu and Chenyu Wang and Bach Le and David Lo},
  booktitle = {ASE},
  year = {2023},
  doi = {10.1109/ase56229.2023.00023}
}