结合主动学习的多任务学习用于阿拉伯语冒犯性言论检测

《ACM Transactions on Asian and Low-Resource Language Information Processing》:Multi-task Learning with Active Learning for Arabic Offensive Speech Detection

【字体: 大 中 小 】 时间:2026年09月26日 来源:ACM Transactions on Asian and Low-Resource Language Information Processing 2.7

编辑推荐:

   摘要AI摘要摘要摘要社交媒体的迅速增长加剧了攻击性、暴力性和粗俗言论的传播,这引发了严重的社会与网络安全问题。在阿拉伯语文本中检测此类内容尤为复杂,原因包括标注数据有限、方言差异以及该语言本身的固有复杂性。本文提出了一种新颖的框架,将多任务学习(MTL)与主动学习相结合,以增

  

摘要

摘要

社交媒体的迅速增长加剧了攻击性、暴力性和粗俗言论的传播,这引发了严重的社会与网络安全问题。在阿拉伯语文本中检测此类内容尤为复杂,原因包括标注数据有限、方言差异以及该语言本身的固有复杂性。本文提出了一种新颖的框架,将多任务学习(MTL)与主动学习相结合,以增强对阿拉伯语社交媒体文本中攻击性言论的检测。通过在两个辅助任务——暴力言论和粗俗言论——上进行联合训练,该模型利用共享表示来提高攻击性言论的检测准确率。我们的方法在训练过程中动态调整任务权重,以平衡各任务的贡献并优化性能。为应对标注数据的稀缺问题,我们通过多种不确定性采样技术采用主动学习策略,迭代选择最具信息量的样本用于模型训练。我们还引入了加权表情符号处理,以更好地捕获语义线索。使用OSACT2022数据集的实验结果表明,所提出的框架达到了85.42%的先进宏F1分数,在显著减少微调样本的情况下超越了现有方法。本研究的结果凸显了将多任务学习与主动学习相结合,在资源受限环境中高效且准确地检测攻击性语言的潜力。

AI摘要

AI生成的摘要(实验性)

本摘要由自动化工具生成,并非由文章作者撰写或审核。旨在支持发现、帮助读者评估相关性,并协助相邻研究领域的读者理解本文工作。它是对作者提供摘要的补充,后者仍然是论文的主要摘要。全文仍为权威记录版本。 点击此处了解更多。

点击此处对此摘要的准确性、清晰度和实用性发表评论。这有助于改进并优化未来重新生成的版本。

AI生成的摘要

基于已发表的文章文本,由自动系统生成。

版本创建于2026年9月22日。

本研究提出了一种检测阿拉伯语社交媒体攻击性言论的框架,通过结合多任务学习与主动学习来实现。该方法联合预测攻击性、暴力和粗俗语言,使模型能够从相关任务中学习共享的语言表示。此设计应对了标注阿拉伯语数据有限、方言差异、正字法不一致、上下文歧义以及表情符号频繁使用等问题。攻击性言论被视为主要任务,而暴力和粗俗言论提供辅助学习信号。

该框架使用带有共享参数的AraBERT Twitter编码器,并为三个任务设置独立的分类头。阿拉伯语社交媒体文本通过移除URL、提及、数字、变音符号、拉长效应字符和不必要的空格进行规范化,同时处理重复字符和特殊字符边界。本研究评估了等权、静态和动态任务损失加权。动态加权给予损失较大的任务更高权重,而静态加权则为攻击性任务分配较大的固定贡献。模型还使用基于熵的不确定性采样来在每个训练批次中选择最具信息量的示例。等权、加权和动态调整方法组合来自三个任务的不确定性估计。仅选择高不确定性样本用于进一步的微调,在不改变推理复杂性的情况下提高数据效率。

实验使用OSACT2022数据集,该数据集包含标注了攻击性、暴力、粗俗和仇恨言论的阿拉伯语社交媒体帖子。仇恨言论被排除,因为其标注依赖于攻击性分类,因此不是独立标注的。该数据集包含多种方言且严重不平衡,以非暴力和非粗俗示例为主。引入了加权表情符号处理,以强调与攻击性内容频繁相关的表情符号。

结果表明,在使用有限选择样本的情况下,多任务学习始终优于可比的单任务基线。最佳配置将动态任务加权与等权不确定性采样和加权表情符号相结合,在使用大幅减少的微调样本的情况下达到了85.42%的宏F1分数。增加选择样本数量通常仅带来有限的额外收益,而过度加重攻击性任务的权重则会因削弱辅助任务而降低性能。加权表情符号总体上改善了结果,尽管表情符号也可能在原本中立的帖子中导致误判为攻击性言论。

误差分析识别出讽刺、幽默、文化引用、隐含侮辱、不完整的对话上下文以及表情符号含义不一致等方面的持续困难。局限性包括类别不平衡、依赖单一骨干网络、经验选择的任务权重以及在单一数据集上进行评估。作者建议进行外部验证、更广泛的Transformer比较、采样与任务加权的联合优化以及多样性感知的主动学习。

相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号