多专家日语作文评分:结合评分标准增强提示与LoRA高效微调的MoE架构

《ACM Transactions on Asian and Low-Resource Language Information Processing》:Multi-Expert Japanese Essay Scoring: MoE Architecture with Rubric-Augmented Prompts and LoRA-Efficient Fine-Tuning

【字体: 大 中 小 】 时间:2026年09月26日 来源:ACM Transactions on Asian and Low-Resource Language Information Processing 2.7

编辑推荐:

   摘要AI摘要摘要摘要日本语的自动作文评分(AES)传统上依赖单分类器方法,性能有限。本文提出了一种多专家日本语作文评分系统,将混合专家模型(Mixture of Experts, MoE)与参数高效的LoRA微调以及评分标准增强的提示相结合,在低资源场景下将MoE应用于日本语

  

摘要

摘要

日本语的自动作文评分(AES)传统上依赖单分类器方法,性能有限。本文提出了一种多专家日本语作文评分系统,将混合专家模型(Mixture of Experts, MoE)与参数高效的LoRA微调以及评分标准增强的提示相结合,在低资源场景下将MoE应用于日本语AES。我们采用了一种稠密MoE头部,用多个轻量级专家MLP和一个小规模路由网络来替代标准的单一线性分类器,由该路由网络执行依赖于输入的专家选择。在针对每个GSK提示词分别进行5折交叉验证,并将该提示词的评分标准包含在输入中的设置下,我们的CALM2-7B MoE模型取得了92.7%的准确率和0.915的二次加权Kappa系数(QWK),相比同样使用评分标准输入的受控CALM2-7B单头部基线模型有了提升。MoE带来的提升主要出现在包含评分标准模板的情况下,并且依赖于模型。结果表明,该路由头部在保持LoRA适配参数效率的同时,相比单头部基线模型提升了评分效果。

AI摘要

AI生成摘要(实验性)

本摘要由自动化工具生成,未经文章作者撰写或审阅。它旨在支持文献发现,帮助读者评估相关性,并协助相邻研究领域的读者理解本文工作。它用于补充作者提供的摘要,后者仍是论文的权威总结。全文仍是权威版本。

点击此处,对本摘要的准确性、清晰度和实用性发表评论。这将有助于改进未来重新生成的版本。

AI生成摘要

由自动系统根据已发表的文章正文生成。

版本创建于2026年9月23日。

本文提出了一种日本语自动作文评分系统,旨在克服传统模型将所有作文质量方面交由单一分类头部处理的局限性。所提出的系统将日本语大语言模型与双专家混合专家评分头部、评分标准增强提示以及参数高效的低秩适配(LoRA)微调相结合。提示中包含主题特定的评分标准、评估指南、学生作文,以及要求给出1到5分评分的请求。模型共同处理作文和评分标准,然后使用路由网络为两个轻量级专家多层感知机分配依赖于输入的权重。其加权输出被组合以产生最终分数。

骨干参数保持冻结,并使用4位量化存储,而LoRA适配器、专家网络、路由网络和分类器则进行训练。这种设计降低了内存和计算需求,使得在单个24GB GPU上训练70亿参数的模型成为可能。实验使用了大约3700篇作文,涵盖来自12个日本语提示词,主题包括全球化、科学、东亚研究以及批判性思考。作文由人工评分员在多个特质上评分,但以理解力作为预测目标。每个提示词都单独使用分层5折交叉验证进行评估,使用准确率、二次加权Kappa和加权F1分数作为指标。

最佳结果由使用评分标准提示和混合专家头部的CALM2-70亿参数模型取得。其准确率达到92.7%,二次加权Kappa系数为0.915,而使用评分标准提示和单一头部的同一模型准确率为91.0%,Kappa系数为0.907。大多数错误与标准分数的差异仅为一级,差异超过一级的少于2%。在所有主题上,性能Kappa系数均超过90%,尽管全球化提示词最易,而批判性思考提示词更具挑战性。

消融研究表明,混合专家的优势取决于骨干模型和评分标准信息的存在与否。对于CALM2-70亿参数模型,当包含评分标准模板时路由能提升结果,而缺少评分标准时没有明显提升。较小的模型也能受益,但某些较大的替代模型在使用单一头部时表现更好。因此,研究结果支持条件专家路由作为一种有用但并非普遍有效的增强手段。局限性包括仅在单一数据集、单一语言和单一评分特质上进行评估,以及可能过度给非常短的作文打分。未来的工作可以研究专家专业化、长度感知路由、更广泛的数据集、跨语言迁移和多特质监督。

相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号