paperbot · PL 论文追踪

全部论文 待读 收藏

P1 Are Machine Learning Cloud APIs Used Correctly?

机器学习云 API 是否被正确使用?
ICSE 2021 IEEE/ACM 43rd International Conference on Software Engineering (ICSE)2021匹配度 6/10 · 论文将程序分析/静态检查应用于机器学习云 API 的使用正确性,与画像中“在机器学习系统中应用静态分析”有交集;但对象是传统 ML 云 API 调用而非 Agentic/LLM 程序,也未涉及浮点或贝叶斯程序分析,因此匹配度中等。引用 47 inbox
Chengcheng Wan, Shicheng Liu, Henry Hoffmann, Michael Maire, Shan Lu
crossref: 2026-09-12dblp: 2026-09-12

AI 速览

一句话:人工研究 360 个使用 ML 云 API 的开源应用,发现 70% 存在误用,归纳出 8 类反模式并实现自动检查器。

机器学习(ML)云 API 让开发者能够方便地把学习能力集成进软件系统,但这类 API 语义独特、对数据有特殊要求,并涉及精度与性能之间的权衡,因此难以被正确、高效地使用。已有工作多聚焦于如何设计 ML API 或云服务,而缺少对开源应用实际使用方式的实证研究。本文人工分析了 360 个使用 Google 或 AWS 云 ML API 的代表性开源应用,发现其中 70% 在其最新版本中存在 API 误用,损害了软件的功能质量、性能或经济性。作者据此归纳出 8 类反模式,并实现了相应的自动检查器,在更大范围的应用集合上又识别出数百个存在 ML API 误用的应用,表明该问题普遍存在且可通过自动化手段检测。

问题
ML 云 API 语义独特、数据要求特殊且存在精度与性能权衡,开发者难以正确使用,而现有研究缺乏对开源应用实际使用 ML API 情况的实证了解与自动检测手段。
方法
人工审阅 360 个使用 Google 或 AWS 云 ML API 的代表性开源应用,总结其误用模式并归纳出 8 类反模式,进而实现自动检查器进行大规模检测。
评估
人工研究发现 70% 的应用在其最新版本中存在 ML API 误用;自动检查器在更大应用集合上又识别出数百个含误用的应用。
原文摘要(Abstract)

Machine learning (ML) cloud APIs enable developers to easily incorporate learning solutions into software systems. Unfortunately, ML APIs are challenging to use correctly and efficiently, given their unique semantics, data requirements, and accuracy-performance tradeoffs. Much prior work has studied how to develop ML APIs or ML cloud services, but not how open-source applications are using ML APIs. In this paper, we manually studied 360 representative open-source applications that use Google or AWS cloud-based ML APIs, and found 70% of these applications contain API misuses in their latest versions that degrade functional, performance, or economical quality of the software. We have generalized 8 anti-patterns based on our manual study and developed automated checkers that identify hundreds of more applications that contain ML API misuses.

链接与引用

DOI 原文 · DBLP

BibTeX
@inproceedings{WanLHM021,
  title = {Are Machine Learning Cloud APIs Used Correctly?},
  author = {Chengcheng Wan and Shicheng Liu and Henry Hoffmann and Michael Maire and Shan Lu},
  booktitle = {ICSE},
  year = {2021},
  doi = {10.1109/icse43902.2021.00024}
}