基于 Transformer 模型与主动学习的阿拉伯语移动应用评论自动安全二分类
《Information Processing & Management》:Automatic binary security classification of arabic mobile app reviews using transformer models and active learning
【字体:
大
中
小
】
时间:2026年09月28日
来源:Information Processing & Management 8.1
编辑推荐:
## 摘要
- 构建了用于安全审查检测的大型阿拉伯语移动应用评论数据集。
- 结合专家验证与语义嵌入的迭代主动学习提升了检测效果。
- 针对阿拉伯语评论的准确分类,微调了Transformer模型。
- Web界面提供与安全性相关评论的预测结果和解释说明。
- 该系统为开发
## 摘要
- 构建了用于安全审查检测的大型阿拉伯语移动应用评论数据集。
- 结合专家验证与语义嵌入的迭代主动学习提升了检测效果。
- 针对阿拉伯语评论的准确分类,微调了Transformer模型。
- Web界面提供与安全性相关评论的预测结果和解释说明。
- 该系统为开发者和应用用户提供具有可操作性的见解。
## 引言
安全性是移动应用开发中至关重要的一个方面,因为漏洞可能导致重大的财务、运营和声誉损失(Mind, 2025)。在软件与需求工程领域,在开发生命周期早期整合安全考量对于构建健壮且可信的系统至关重要(Yusop等, 2025)。在此背景下,移动应用用户评论代表了有价值却尚未被充分利用的信息来源,因为它们往往包含用户报告的问题,其中包括潜在的安全隐患、可用性问题以及功能局限性。系统性地分析这些评论可以将非结构化的文本数据转化为结构化的、具有可操作性的信息,从而支持软件工程领域更广泛的信息处理和决策活动(D?browski, 2022; Wang & Strong, 1996)。
移动应用中与安全性相关的问题可能以多种形式出现,包括身份验证失败、未授权访问、数据泄露、隐私侵犯以及数据完整性问题(Sommerville, 2016)。这些问题通常在用户评论中以非正式或模糊的语言隐式描述,使其难以被自动检测。对此问题的一种实用且有效的形式化方法是二分类,即确定一条评论是否包含与安全性相关的关注点。这种形式化方式为在大规模用户反馈中识别与安全性相关的内容提供了一种结构化的方法。
尽管关于挖掘用户评论的研究不断增多,但现有研究主要聚焦于英语数据集(Alzhrani等, 2022; Bagies, 2026; Besmer等, 2020; Ebrahimi & Mahmoud, 2022; Kong等, 2015; Nema等, 2022; Tao等, 2020)。相比之下,针对阿拉伯语用户评论的研究仍然有限。此前方法通常依赖基于关键词的技术或传统特征提取方法,如词频-逆文档频率(TF-IDF)和词袋模型(BoW),这些方法往往不足以捕捉用户生成文本的语义复杂性(Almubarak等, 2022)。此外,在软件工程领域,现有研究通常使用小型数据集,缺乏以软件工程安全需求为基础的理论驱动标注方法,这限制了其可扩展性和实际应用性(Aljeezani等, 2025; Alshamani & Alsarem, 2023; Wael & Alsaeedi, 2024)。
除了上述局限性之外,在阿拉伯语用户评论中识别与安全性相关的关注点仍然极具挑战性,原因在于语言变体多样以及使用不同的方言。用户经常以非正式的、依赖上下文的方式来描述问题,使得传统方法难以捕捉其意图。因此,软件工程师往往缺乏有效的工具来系统性地从用户反馈中提取和解释与安全性相关的信息,阻碍了将这些见解整合到安全需求分析和决策过程中。
用户评论中包含的与安全性相关的反馈是了解移动应用安全问题的有价值用户生成信息来源,这些问题包括身份验证失败、隐私侵犯、未授权访问和数据泄露(Mukherjee等, 2020)。此类反馈可能对用户信任和满意度产生负面影响,并可能影响用户对应用质量和安全性的感知(Aljedaani等, 2021; Saeed等, 2024)。因此,系统性地识别和分析与安全性相关的反馈可以为软件维护、安全需求获取和持续改进工作提供有价值的见解。
为应对这些挑战,我们开发了一种集成方法,用于对阿拉伯语移动应用评论中与安全性相关的和非安全性相关内容进行自动化二分类。该方法基于从软件工程文献(如Sommerville, 2016)中衍生出的一套结构化安全需求类别,这些类别指导专家标注和验证过程,并支持一致的、以理论为基础的标注工作。
所开发的方法遵循一系列步骤。首先,使用基于情感的过滤对用户评论进行预处理和筛选,以保留有信息量的内容。接下来,应用一种标注方法,包括基于关键词的样本选择、专家标注以及使用基于一致性协议的主动学习策略进行迭代数据集优化。在主动学习阶段,使用带有低秩适应(LoRA)增强的句向量转换器生成语义特征表示,并与传统机器学习(ML)分类器结合,以识别各分类器达成一致意见的候选样本,供专家进行验证。主动学习过程最终生成了一个包含10,632条经专家验证评论的训练数据集,该数据集被用于微调三个Transformer模型,即CAMeLBERT、MARBERT和Paraphrase,进行安全性二分类。模型性能进一步使用10折交叉验证和独立的留出测试集(包含此前未见过的评论)进行了评估。性能最佳的模型随后被部署到一个基于Web的图形界面(WGI)中,并与大语言模型(LLM)集成,以提供实时预测和可解释的说明。
使用10折交叉验证的实验结果显示,三个微调模型达到94.78%至95.76%的准确率,F1分数在94.78%至95.77%之间,其中CAMeLBERT取得了最高的准确率和F1分数。在留出测试集上,三个模型的准确率为90.90%至91.20%,F1分数在90.88%至91.16%之间,CAMeLBERT再次取得最佳表现。
本研究的主要贡献是一种统一的、用于阿拉伯语移动应用评论中与安全性相关的和非安全性相关内容自动化二分类的方法。该方法集成了阿拉伯语移动应用评论数据集的构建、以理论为基础的基于一致性协议的主动学习标注框架、基于Transformer的分类以及基于Web的图形界面(WGI),以支持分类模型的实际应用。具体贡献如下:
本研究的主要贡献是开发了一种用于阿拉伯语移动应用评论中与安全性相关的和非安全性相关内容自动化二分类的方法。该方法集成了阿拉伯语移动应用评论数据集的构建、以理论为基础的基于一致性协议的主动学习标注过程、基于Transformer的分类以及基于Web的图形界面(WGI),以支持分类模型的实际应用。具体贡献如下:
- 我们提出了阿拉伯语移动应用评论中与安全性相关的和非安全性相关关注点的二分类任务,以支持需求分析和系统设计等软件工程活动。
- 我们开发了一种以理论为基础的标注方法,该方法建立在公认的安全需求类别之上,结合了基于关键词的样本选择、专家标注和基于一致性协议的主动学习,以支持对与安全性相关的用户反馈的一致识别。
- 我们构建了一个包含10,632条经专家验证评论的带标签阿拉伯语移动应用评论数据集,用于模型开发。该数据集涵盖56个移动应用,横跨多个应用领域和平台,为未来关于阿拉伯语安全相关评论分析的研究提供了资源。
- 我们实现了一种基于一致性协议的主动学习策略,该策略集成了LoRA增强的句向量转换器和传统ML分类器,以识别供专家验证的候选样本。该方法保留了专家对最终标注决定的监督,同时使自动化模型能够支持从大量未标注评论池中选取候选评论。
- 我们微调并比较了三个基于Transformer的模型,即CAMeLBERT、MARBERT和Paraphrase,用于与安全性相关内容的二分类,并使用10折交叉验证和独立的留出测试集(包含此前未见过的评论)评估其性能。
- 我们进行了混淆矩阵分析和定性错误分析,以检查误分类模式并识别导致阿拉伯语移动应用评论分类错误的语言和上下文因素。
- 我们将所开发的方法与传统的基于TF-IDF的分类器以及LoRA增强的Transformer表示结合经典分类器进行了比较评估,为阿拉伯语安全相关评论分析的分类方法提供了更广泛的实证比较。
- 我们开发了一个集成了LLM(Qwen3-8B)的WGI,以支持实时分类并生成预测分类的自然语言解释,为检查与安全性相关的用户反馈提供了实用的界面。
## 章节摘要
### 研究目标
本研究的主要目标是开发一种对阿拉伯语移动应用评论中与安全性相关的和非安全性相关内容进行自动化二分类的方法,并支持软件工程决策。本研究遵循以下目标:
- 开发一种可靠的方法,通过专家指导的标注和主动学习来构建高质量的带标签阿拉伯语移动应用评论数据集。
- 设计一种有效的方法,用于对与安全性相关和与安全性无关的内容进行二分类。
### 相关工作
阿拉伯语移动应用用户评论在自然语言处理和软件工程研究中日益受到关注。如表1所述,先前的研究可大致分为两个主要方向:(1) 针对阿拉伯语移动应用用户评论的情感分析和评论挖掘;(2) 针对阿拉伯语移动应用评论的软件工程任务,如需求问题提取和缺陷分类。这些研究为理解阿拉伯语用户反馈提供了重要基础。
### 方法论
图1展示了所开发方法的整体工作流程。该方法论包括多个阶段,涉及数据集构建与预处理、数据标注、模型开发和系统部署。用户评论从Google Play和App Store收集,并经过预处理以保留阿拉伯语文本内容。为聚焦于可能描述问题的评论,仅使用基于情感的过滤选取中性评论和负面评论。所开发的方法采用……
### 评估
在主动学习阶段(第4.4.3节),使用领域专家标注的初始300条用户评论数据集评估了五个阿拉伯语句向量转换器模型和十个ML分类器。这些专家标注的评论作为评估候选转换器-分类器配置的基准真值。我们采用10折交叉验证,这能够有效利用可用的标注数据,并为相对较小的标注集提供更稳定的性能估计。
### 结果
本节介绍了所提出方法各主要阶段的实验结果。首先,我们报告了评估转换器-分类器组合的结果,以识别主动学习阶段表现最佳的模型。接着,我们介绍了主动学习过程的结果,突出了其在扩展标注数据集方面的有效性。然后,我们评估了微调模型在最终训练数据集上的性能。最后,我们评估了……
### 讨论
本研究通过开发一种从大规模用户生成反馈中识别与安全性相关内容的方法,回应了对阿拉伯语移动应用用户评论进行自动化分析的日益增长的需求。通过一种混合标注策略,集成了基于关键词的选择、专家验证和主动学习,我们构建了一个高质量数据集,并训练了基于Transformer的模型进行安全性二分类。实验结果表明……
### 结论
本文开发了一种集成方法,用于对阿拉伯语移动应用评论中与安全性相关的和非安全性相关内容进行自动化二分类。所开发的方法结合了大规模评论收集、基于自然语言处理的预处理、情感过滤以及一个三阶段标注过程,包括基于关键词的样本选择、专家标注以及使用基于一致性协议的主动学习策略进行迭代数据集优化。在主动学习阶段,句向量……
### CRediT作者贡献声明
Taghreed Bagies:写作 – 审阅与编辑、监督、资源、方法论、调查研究。
### 生成式AI和AI辅助技术在写作过程中的声明
在准备本作品期间,作者使用了ChatGPT v5.0来辅助语法、拼写检查和提升稿件的可读性。在使用该工具后,作者对内容进行了彻底审阅和必要的编辑,并对已发表文章的最终内容承担全部责任。
### 利益冲突声明
作者声明,他们没有已知的可能影响本研究中报告工作的竞争性财务利益或个人关系。
### 致谢
作者感谢阿卜杜勒阿齐兹国王大学计算与信息技术学院信息技术系的Manal Bayousef博士和Aishah Aseeri博士,感谢他们对本研究中所使用数据集验证工作的宝贵支持。作者还感谢阿卜杜勒阿齐兹国王大学计算与信息技术学院计算机科学系的毕业生Abdullah Ebrahim Baqais,感谢他在数据收集和整理方面提供的协助。
Taghreed Bagies
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号