一句话：提出 RMCBench 基准，用于评估大语言模型抵抗生成恶意代码的能力。
大语言模型在代码生成任务中表现出强大能力，但也可能被滥用来生成恶意代码，因此评估模型对恶意代码的抵抗能力成为重要问题。本文提出 RMCBench，一个面向大语言模型的基准，用于系统性地评测其抵抗恶意代码的能力。论文摘要给出内容警告，指出可能包含有害或冒犯性内容，但强调这些内容仅用于对 LLM 的评估与分析，并不代表鼓励犯罪活动。由于提供的摘要未包含具体基准构造、评测指标与实验结果，无法进一步总结技术细节。总体而言，该工作关注 LLM 代码生成的安全性与滥用风险，为后续恶意代码抵抗评测提供基准平台。
Warning: Please note that this article contains potential harmful or offensive content. This content is only for the evaluating and analysis of LLMs and does not imply any intention to promote criminal activities.
@inproceedings{paperbot8441,
title = {RMCBench: Benchmarking Large Language Models' Resistance to Malicious Code},
author = {Jiachi Chen and Qingyuan Zhong and Yanlin Wang and Kaiwen Ning and Yongkun Liu and Zenan Xu and Zhe Zhao and Ting Chen and Zibin Zheng},
booktitle = {ASE},
year = {2024},
doi = {10.1145/3691620.3695480}
}