大语言模型科威特阿拉伯语方言分词效率与成本评估研究

《Big Data and Cognitive Computing》:Evaluating LLM Tokenization Efficiency on Kuwaiti Dialect, MSA and Other Arabic Dialects

【字体: 大 中 小 】 时间:2026年10月21日 来源:Big Data and Cognitive Computing 5.3

编辑推荐:

   摘要

  

摘要

分词方式影响大语言模型(LLM)的效率与成本,对于阿拉伯方言尤为显著。据我们所知,这是首项评估科威特阿拉伯方言大语言模型分词性能的研究。我们使用 MADAR 多方言阿拉伯语平行数据集,并结合由母语者验证的科威特阿拉伯语(KA)构建数据集,评估了十二种大语言模型的分词器,共计 57,805 句语义对齐句子,涵盖现代标准阿拉伯语(MSA)及四种方言:科威特语(KA)、卡塔尔语(QA)、埃及语(EA)和黎巴嫩语(LA)。我们采用了四个主要的效率与退化指标:压缩率(CR)、生育率(FR)、方言退化差值以及分词开销(TO%)。此外,我们还报告了词表外比率(OOV)作为额外的诊断指标。现代标准阿拉伯语的分词效率最高(CR = 2.71,FR = 1.98),而所有方言的分词效率均较低。科威特语表现出中等程度的退化(CR = 2.55,FR = 2.12),而黎巴嫩语的退化最为严重。科威特语平均比现代标准阿拉伯语多消耗约 6.7% 的令牌数,其中 GPT-4o 高达 8.6%,而 ALLaM-7B-Instruct-preview 仅为 2.7%,这在基于令牌计费的场景下将提高推理成本。在八个微调的开源权重大语言模型中,分词效率与两个科威特阿拉伯语短文本分类任务上的宏 F1 分数之间没有明显的或一致的相关性。总体而言,结果表明分词效率与分词器设计、词表适配及分词行为有关,而仅凭词表覆盖率无法解释观察到的压缩率和生育率差异。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号