paperbot · PL 论文追踪

全部论文 待读 收藏

P2 STARC: Selective Token Access with Remapping and Clustering for Efficient LLM Decoding on PIM Systems

STARC：面向 PIM 系统高效 LLM 解码的选择性 Token 访问、重映射与聚类
ASPLOS Proceedings of the 31st ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 22026匹配度 1/10 · 该论文研究 PIM 体系结构下的 LLM 解码与 KV cache 稀疏性优化，属于体系结构/ML 系统方向，与用户关注的静态分析、Agentic 程序、浮点程序分析、贝叶斯程序分析及 LLM 与 PL 交叉均无直接关系。引用 3 inbox
Zehao Fan, Yunzhen Liu, Garrett Gagnon, Zhenyu Liu, Yayue Hou, Hadjer Benmeziane, Kaoutar El Maghraoui, Liu Liu
语言与体系结构机器学习与程序语言
crossref: 2026-09-12dblp: 2026-09-12arxiv: 2026-09-12

AI 速览

一句话：提出 STARC，通过 KV 对聚类与 PIM bank 内连续共置，将细粒度稀疏注意力映射为行级 PIM 操作，降低 LLM 解码延迟与能耗。

大语言模型服务因频繁访问与随上下文增长的键值（KV）缓存而给内存系统带来巨大压力。PIM 虽提供高内部带宽与近存计算，但现有设计面向稠密注意力，难以应对动态 KV 稀疏的不规则访问。STARC 提出面向 PIM 上高效 LLM 解码的稀疏优化数据映射：将语义相似的 KV 对聚类并在 PIM bank 内连续共置，使查询通过与预计算质心匹配实现簇粒度检索，从而衔接细粒度稀疏注意力与行级 PIM 操作。在模拟 HBM-PIM 系统、受限 KV 预算下，相比 token 级稀疏方法，注意力层延迟和能耗最多降低 78% 与 65%，相比全注意力最多降低 93% 与 92%，并保持模型精度。

问题
LLM 解码因频繁访问和随上下文增长的 KV 缓存而承受巨大内存压力；PIM 虽有高带宽与近存计算优势，但现有设计面向稠密注意力，难以适应动态 KV 稀疏的不规则访问。
方法
STARC 将语义相似的 KV 对聚类，并在 PIM bank 内连续共置，通过查询与预计算质心匹配实现簇粒度检索，从而把细粒度稀疏注意力对齐到行级 PIM 操作。
评估
在模拟 HBM-PIM 系统、受限 KV 预算下评测；相比 token 级稀疏方法，注意力层延迟与能耗最多降低 78% 和 65%，相比全注意力最多降低 93% 和 92%，同时保持模型精度。
原文摘要（Abstract）

Serving large language models (LLMs) places significant pressure on memory systems due to frequent accesses and growing key–value (KV) caches as context lengths increase. Processing-in-memory (PIM) architectures offer high internal bandwidth and near-data compute parallelism, but current designs target dense attention and perform poorly under the irregular access patterns of dynamic KV cache sparsity. To mitigate this limitation, we propose STARC, a sparsity-optimized data mapping scheme for efficient LLM decoding on PIM. STARC clusters semantically similar KV pairs and co-locates them contiguously within PIM banks, enabling retrieval at cluster granularity by matching queries against precomputed centroids. This bridges the gap between fine-grained sparse attention and row-level PIM operations, improving utilization while minimizing overhead. On a simulated HBM-PIM system, under constrained KV budgets, STARC achieves up to 78% and 65% reductions in attention-layer latency and energy over token-wise sparsity methods, and up to 93% and 92% reductions relative to full attention, while preserving model accuracy.

链接与引用

DOI 原文 · arXiv · PDF（开放获取） · DBLP

BibTeX 
@inproceedings{abs-2505-05772,
  title = {STARC: Selective Token Access with Remapping and Clustering for Efficient LLM Decoding on PIM Systems},
  author = {Zehao Fan and Yunzhen Liu and Garrett Gagnon and Zhenyu Liu and Yayue Hou and Hadjer Benmeziane and Kaoutar El Maghraoui and Liu Liu},
  booktitle = {ASPLOS},
  year = {2026},
  doi = {10.1145/3779212.3790226}
}