《SoftwareX》:An agentic-style, confidence-aware multimodal system for Arabic hate speech detection in memes
编辑推荐:
数字媒体中仇恨言论(hate speech)的扩散,尤其是通过模因(meme,图像与短文本组合的多模态内容)等多模态内容传播,对自动化审核系统构成重大挑战。仇恨言论往往仅在图像与文本的交汇处出现,使单模态模型失效。研究人员提出一种开源的多模态仇恨言论检测流程(
数字媒体中仇恨言论(hate speech)的扩散,尤其是通过模因(meme,图像与短文本组合的多模态内容)等多模态内容传播,对自动化审核系统构成重大挑战。仇恨言论往往仅在图像与文本的交汇处出现,使单模态模型失效。研究人员提出一种开源的多模态仇恨言论检测流程(multimodal hate speech detection pipeline),并针对阿拉伯语翻译语境进行专门优化。该系统利用NLLB-200将模因文本翻译为阿拉伯语,利用MARBERTv2进行文本编码,并利用CLIP ViT-B/32进行图像表示。上述模态通过跨模态投影与拼接(cross-modal projection and concatenation)进行融合。研究人员在Facebook Hateful Memes数据集的翻译版本上实现0.78的AUROC(area under the receiver operating characteristic curve,受试者工作特征曲线下面积)。此外,该软件包含基于Gradio的代理式、置信度感知内容审核演示(agentic-style, confidence-aware content moderation demo),当主要分类置信度较低时,采用回退至视觉语言模型(Vision-Language Model, VLM;经Groq调用meta-llama/llama-4-scout-17b-16e-instruct)的策略。
论文解读:面向阿拉伯语模因仇恨言论检测的代理式置信度感知多模态系统
随着社交媒体用户生成内容规模扩张,仇恨言论(hate speech)自动审核面临挑战。模因(meme,图像与短文本组合的多模态内容)中的仇恨表达常仅由图像与文本交汇产生,单模态(unimodal)模型在该任务上接近随机水平。现有研究几乎集中于英语,阿拉伯语作为全球第五大语言、拥有超过4亿母语者且社交媒体参与率高,存在关键空白。阿拉伯语形态丰富、方言差异显著,现代标准阿拉伯语与多地区方言并存,模因常混合方言、音译外来词和非标准拼写;同时缺乏大规模阿拉伯语多模态仇恨言论数据集。因此,作者将成熟的Facebook Hateful Memes基准经神经机器翻译扩展到阿拉伯语,并构建端到端系统。
Mohamed Ali Boulaamail等提出端到端阿拉伯语多模态仇恨言论检测系统,组合MARBERTv2(面向阿拉伯语社交媒体文本的BERT类预训练模型)与CLIP ViT-B/32(Contrastive Language–Image Pretraining视觉Transformer模型),通过跨模态投影与拼接(cross-modal projection and concatenation)融合;使用NLLB-200-distilled-600M(No Language Left Behind 200,多语言神经机器翻译模型)生成阿拉伯语翻译版Facebook Hateful Memes数据集;发布开源软件及基于Gradio(Web应用框架)的代理式、置信度感知内容审核演示(agentic-style, confidence-aware content moderation demo)。在翻译版测试集上,系统取得0.78的AUROC(area under the receiver operating characteristic curve,受试者工作特征曲线下面积)和0.71的宏平均F1(macro F1),表明跨模态融合在机器翻译噪声下仍提供判别信号;代理式路由将高、低置信度案例直接处理,仅将模糊案例升级至视觉语言模型(VLM,vision-language model),并以REMOVE作为API失败时的安全失败默认。其意义在于提供可复现的阿拉伯语多模态审核端到端工具和一种分级审核集成模式。
关键技术方法:研究基于Facebook Hateful Memes数据集(9000样本,按70%/20%/10%分层划分为训练、验证和测试集),使用facebook/nllb-200-distilled-600M将英文模因文本批量翻译为阿拉伯语并序列化为CSV;文本分支采用UBC-NLP/MARBERTv2,以注意力掩码加权均值池化得到768维文本表示;图像分支采用冻结的openai/clip-vit-base-patch32,输出512维图像表示;二者经线性投影、层归一化和GELU映射至共享512维空间,拼接为1024维后输入三层MLP分类头;训练采用AdamW差分学习率2×10
?5与1×10
?3、10%线性预热、梯度裁剪、基于验证宏平均F1的早停及验证集[0.30,0.60]阈值搜索;审核演示集成EasyOCR(OCR,optical character recognition,光学字符识别)、融合分类器和Groq托管的VLM。
研究结果如下。3.1 模型训练细节:研究人员在阿拉伯语翻译版Hateful Memes约9000样本上按70%/20%/10%分层划分,使用AdamW、差分学习率、10%线性预热、梯度裁剪、最多50轮训练、验证宏平均F1早停和验证集阈值搜索;在测试集阈值0.53下,非仇恨类精确率0.77、召回率0.82、F1为0.79,仇恨类精确率0.66、召回率0.59、F1为0.62,宏平均精确率0.72、召回率0.70、F1为0.71,说明融合模型在翻译数据上取得可用分类性能,但仇恨类召回相对较低。3.2 代理式内容审核演示:Gradio应用部署于Hugging Face Spaces,启动时初始化MARBERTv2、CLIP、EasyOCR和Groq API客户端,展示8个预载模因,用户点击标记即触发完整代理流程,说明系统无需本地安装即可演示审核工作流。3.3 代理推理轨迹:对代表性模因依次执行EasyOCR文本提取、融合模型仇恨概率输出和阈值路由(p≥0.53判REMOVE,p<0.4判ALLOW,0.4≤p<0.53升级VLM judge),并记录决策、置信度、判断者和解释;一例41.7%落入升级带,VLM裁定REMOVE并覆盖初判ALLOW,说明升级案例可产生不同于且覆盖第一阶段分类器的最终决策。3.4 讨论:示例表明置信度感知路由(confidence-aware routing)避免对明确案例调用VLM API,将额外处理留给模糊案例,类似实际审核工作流;分类流程从OCR到推理使用阿拉伯语、审核决策以英语呈现,便于阿拉伯语信任与安全团队解释,构成阿拉伯语多模态审核流程的一种设计模式。影响方面,系统在翻译版测试集取得AUROC 0.78、宏平均F1 0.71;原始Hateful Memes中BERT文本-only AUROC为0.65、ViLBERT为0.70,均低于本系统0.78;Hate-CLIPper英文结果为0.858 AUROC和0.811宏平均F1;MAHED 2025最佳原生阿拉伯语系统宏平均F1为0.796;YassirEA采用MARBERTv2与CLIP ViT-L/14及四种融合策略,在MAHED上宏平均F1为0.75,但因数据集和设置不同仅作背景参考;同划分消融中文本-only MARBERTv2宏平均F1仅0.62,比融合模型低9分,说明跨模态融合提供额外判别信号,但翻译设置限制性能。
讨论与结论:论文将主要贡献定位为软件工件本身,即包括数据集翻译、模型训练和交互式代理审核界面的端到端可复现流程,将Hateful Memes基准经神经机器翻译扩展到阿拉伯语;融合架构遵循多模态分类研究的既有模式,其新颖性在于阿拉伯语应用和开源软件集成,而非建模技术本身。研究结论部分可概括为:在阿拉伯语翻译版Hateful Memes留出测试集上,系统取得AUROC 0.78和宏平均F1 0.71,融合模型优于文本-only MARBERTv2的0.62,说明跨模态融合在机器翻译引入的噪声下仍提供有意义判别信号;上述结果应限于翻译数据设置,原生阿拉伯语模因内容(如MAHED基准)上的性能尚未建立。代理式演示展示置信度感知路由:高、低置信度案例直接处理,仅0.40–0.53的模糊案例升级至VLM judge,API失败时默认REMOVE;该工作被定位为概念验证工作流而非经过验证的生产部署,未对推理延迟、VLM升级开销和真实流量下的审核准确率进行正式评估。局限性包括:NLLB-200翻译引入语义噪声,习语、俚语和文化嵌入仇恨言论不一定忠实翻译;训练数据规模和文化的范围限制模型对域外阿拉伯语模因的泛化;训练用干净翻译字幕与推理时噪声OCR文本存在差距,EasyOCR在风格化字体、低分辨率和混合阿拉伯语-拉丁文字上性能下降;未正式基准推理延迟或计算成本;翻译后图文对齐未独立评估;翻译后仇恨/非仇恨标签有效性未通过正式重标注研究验证;当前仅在翻译版英语基准上评估。未来工作将聚焦融入原生阿拉伯语视觉语言模型以消除翻译依赖,扩展来自阿拉伯语社交媒体社区的文化特定模因数据,并在MAHED基准上评估以直接比较先进阿拉伯语多模态仇恨言论检测系统。