paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Fast Fine-Grained Global Synchronization on GPUs

GPU 上的快速细粒度全局同步
ASPLOS Proceedings of the Twenty-Fourth International Conference on Architectural Support for Programming Languages and Operating Systems2019匹配度 0/10 · 该论文研究 GPU 上的细粒度全局同步与消息传递架构,属于并行体系结构与运行时系统,与用户关注的静态分析、LLM/Agent、浮点程序分析或贝叶斯程序分析均无直接关联。引用 15 inbox
Kai Wang, Don Fussell, Calvin Lin
crossref: 2026-09-12

AI 速览

一句话:提出一种把全局同步转化为全局通信的软件架构,借消息传递与块内 scratchpad 实现高效的 GPU 细粒度全局同步。

通用 GPU 编程长期难以支持全局内存上的高效细粒度同步,这限制了不规则问题的并行化。本文提出一种新的软件架构:其核心思想是把全局同步转化为全局通信,使冲突在线程块(thread block)粒度上被串行化,而每个线程块内部的线程则通过低延迟、高带宽的本地 scratchpad memory 完成同步。为支撑该架构,作者实现了一个可扩展且高效的消息传递库,并据此把细粒度全局同步能力引入通用 GPU 编程。评估在 Nvidia GTX 1080 Ti GPU 上进行,作者用该架构求解五个不规则问题并在多种工作负载下与经过仔细调优的最新方案对比,平均取得 3.6 倍的性能提升。

问题
通用 GPU 编程中,跨全局内存的细粒度同步缺乏高效支持,导致不规则问题难以获得良好性能。
方法
将全局同步转化为全局通信,使冲突在线程块级别串行化,块内线程改用低延迟高带宽的本地 scratchpad memory 同步,并实现可扩展的高效消息传递库来支撑该架构。
评估
在 Nvidia GTX 1080 Ti 上,用五个不规则问题在多种工作负载下与精心调优的最新方案对比,平均性能提升 3.6 倍。
原文摘要(Abstract)

This paper extends the reach of General Purpose GPU programming by presenting a software architecture that supports efficient fine-grained synchronization over global memory. The key idea is to transform global synchronization into global communication so that conflicts are serialized at the thread block level. With this structure, the threads within each thread block can synchronize using low latency, high-bandwidth local scratchpad memory. To enable this architecture, we implement a scalable and efficient message passing library. Using Nvidia GTX 1080 ti GPUs, we evaluate our new software architecture by using it to solve a set of five irregular problems on a variety of workloads. We find that on average, our solutions improve performance over carefully tuned state-of-the-art solutions by 3.6×.

链接与引用

DOI 原文 · PDF(开放获取) ·

BibTeX
@inproceedings{paperbot4898,
  title = {Fast Fine-Grained Global Synchronization on GPUs},
  author = {Kai Wang and Don Fussell and Calvin Lin},
  booktitle = {ASPLOS},
  year = {2019},
  doi = {10.1145/3297858.3304055}
}