paperbot · PL 论文追踪

全部论文 待读 收藏

P2 Scaling Assessment of Student Models with LLMs: Integrating Feedback into Practice

用 LLM 规模化评估学生模型：把反馈融入教学实践
ICSE Proceedings of the IEEE/ACM 48th International Conference on Software Engineering2026匹配度 2/10 · 论文将 LLM 用于 UML 建模练习的自动反馈与教学评估，属于教育场景的 LLM 应用；与用户关注的静态分析、Agentic 程序分析、浮点/贝叶斯程序分析及其与 LLM 的交叉均无直接关联。引用 1 inbox
Maximilian Sölch, Stephan Krusche
机器学习与程序语言领域特定语言与建模
crossref: 2026-09-12

AI 速览

一句话：将基于 LLM 的反馈系统 Athena 与学习平台 Artemis 集成，使开放式 UML 建模练习的自动评估可规模化落地。

学生建模任务的自动评估难以规模化，原因在于 UML 图是开放式的、图形化的且高度依赖上下文，传统自动判分难以覆盖其多样性与语义歧义。本文报告了 Athena 的一个面向生产环境的扩展：Athena 是一个开源反馈系统，直接与学习平台 Artemis 集成，为建模练习提供 human-in-the-loop 的反馈支持。其核心思路是把 LLM 引入评估流程，用自动生成的反馈辅助而非完全替代人工评价，从而在保证反馈质量的同时提升评估的可扩展性。论文的贡献主要在于工程与系统层面——把 LLM 反馈机制真正嵌入到实际教学平台的使用流程中，形成可部署、可日常使用的评估方案。摘要侧重系统描述与集成方式，未给出量化的教学实验或准确率评估结果。

问题
UML 等学生建模练习的自动评估难以规模化，因为模型是开放式、图形化且高度依赖上下文的，传统自动判分难以适用。
方法
扩展开源反馈系统 Athena，将其与学习平台 Artemis 直接集成，引入 LLM 生成反馈，并保留 human-in-the-loop 的人工介入环节。
评估
摘要仅说明该扩展是面向生产环境、可直接在 Artemis 中使用的系统，未报告量化实验结果或用户研究数据。
原文摘要（Abstract）

Automated assessment of student modeling tasks is difficult to scale because UML diagrams are open-ended, graphical, and highly contextual. This paper presents a production-ready extension of Athena, an open-source feedback system that integrates directly with the learning platform Artemis to provide human-in-the-loop support for modeling exercises.

链接与引用

DOI 原文 · PDF（开放获取） ·

BibTeX 
@inproceedings{paperbot12045,
  title = {Scaling Assessment of Student Models with LLMs: Integrating Feedback into Practice},
  author = {Maximilian Sölch and Stephan Krusche},
  booktitle = {ICSE},
  year = {2026},
  doi = {10.1145/3786580.3786985}
}