paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Symbolic execution-driven extraction of the parallel execution plans of Spark applications

符号执行驱动的 Spark 应用并行执行计划抽取
FSE Proceedings of the 2019 27th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering2019匹配度 3/10 · 论文使用符号执行等静态分析技术抽取 Spark 应用的并行执行计划,与用户在程序分析/符号执行方法上有一定交集;但应用对象是 Spark 大数据应用,并非用户核心关注的 ML 系统或 Agentic 程序,也未涉及 LLM、浮点程序分析或贝叶斯程序分析。引用 4 inbox
Luciano Baresi, Giovanni Denaro, Giovanni Quattrocchi
crossref: 2026-09-12

AI 速览

一句话:提出符号执行驱动方法,抽取带分支或循环的 Spark 应用可能的多条并行执行计划,替代唯一计划假设。

Spark 应用的执行顺序与并行度由作业间依赖决定,Spark 将这些依赖具体化为并行执行计划图。已有执行时间估计和动态资源供给工作通常假设:给定计算资源,应用的执行计划唯一。本文指出,该假设对含条件分支或循环的应用过于简化,会限制预测精度,因为不同数据可能触发不同执行计划。为此,论文提出以符号执行驱动的方法抽取 Spark 应用的并行执行计划,显式获得可能的多条计划而非单一计划。摘要未报告具体评估结果与实验数据。

问题
现有 Spark 应用执行时间估计与动态资源供给方法假设给定计算资源下并行执行计划唯一,但含条件分支或循环的应用会因数据不同产生多条执行计划,从而限制预测精度。
方法
提出以符号执行驱动的方法抽取 Spark 应用的并行执行计划,以显式表示条件分支或循环导致的多条可能执行计划。
评估
摘要未给出实验评估信息,仅说明既有方法因唯一执行计划假设而受限;因此无法从摘要判断其评估方式与量化结果。
原文摘要(Abstract)

The execution of Spark applications is based on the execution order and parallelism of the different jobs, given data and available resources. Spark reifies these dependencies in a graph that we refer to as the (parallel) execution plan of the application. All the approaches that have studied the estimation of the execution times and the dynamic provisioning of resources for this kind of applications have always assumed that the execution plan is unique, given the computing resources at hand. This assumption is at least simplistic for applications that include conditional branches or loops and limits the precision of the prediction techniques.

链接与引用

DOI 原文 · PDF(开放获取) ·

BibTeX
@inproceedings{paperbot5073,
  title = {Symbolic execution-driven extraction of the parallel execution plans of Spark applications},
  author = {Luciano Baresi and Giovanni Denaro and Giovanni Quattrocchi},
  booktitle = {FSE},
  year = {2019},
  doi = {10.1145/3338906.3338973}
}