paperbot · PL 论文追踪

全部论文 待读 收藏

P2 When Should I Run My Application Benchmark?

何时运行应用程序基准测试?
FSE Proceedings of the 33rd ACM International Conference on the Foundations of Software Engineering2025匹配度 1/10 · 论文关注云环境下性能基准测试的时间变异性与运行时机选择,属于软件性能工程与测量方法,与用户研究的静态分析、LLM/Agentic 程序、浮点程序分析及贝叶斯程序分析等核心方向无直接交集;仅“基准测试可靠性”与用户对 benchmark 设计的关注有极弱关联。引用 2 inbox
Sören Henning, Adriano Vogel, Esteban Perez-Wohlfeil, Otmar Ertl, Rick Rabiser
crossref: 2026-09-12

AI 速览

一句话:研究云环境中应用程序基准测试结果的时间变异性,探讨何时运行才能获得可靠结果。

性能基准测试在软件工程中应用广泛,尤其针对大规模、分布式和数据密集型系统。云环境为运行基准测试提供了诸多优势,但已有报告指出,基准测试结果在重复运行之间可能产生显著差异,导致难以对真实性能得出可靠结论。本文针对这一问题,探讨应用程序基准测试应在何时运行,以提升结果的可靠性与可重复性。摘要未提供具体的研究方法、实验设置及关键结果。

问题
云环境中重复运行应用程序基准测试时结果差异显著,难以据此得出关于真实性能的可靠结论。
方法
摘要未提供具体方法,论文以“何时运行应用程序基准测试”为核心研究问题。
评估
摘要未提供评估方式与结果。
原文摘要(Abstract)

Performance benchmarking is a common practice in software engineering, particularly when building large-scale, distributed, and data-intensive systems. While cloud environments offer several advantages for running benchmarks, it is often reported that benchmark results can vary significantly between repetitions—making it difficult to draw reliable conclusions about real-world performance.

链接与引用

DOI 原文 · PDF(开放获取) ·

BibTeX
@inproceedings{paperbot9084,
  title = {When Should I Run My Application Benchmark?},
  author = {Sören Henning and Adriano Vogel and Esteban Perez-Wohlfeil and Otmar Ertl and Rick Rabiser},
  booktitle = {FSE},
  year = {2025},
  doi = {10.1145/3696630.3728563}
}