基于语言模型的移动应用权限请求合法性评估:一种文本蕴含方法的隐私风险量化研究

《Journal of Cybersecurity and Privacy》:Statistical and Multivariate Analysis of the IoT-23 Dataset: A Comprehensive Approach to Network Traffic Pattern Discovery

【字体: 大 中 小 】 时间:2025年12月26日 来源:Journal of Cybersecurity and Privacy CS9.1

编辑推荐:

  本文创新性地将移动应用权限风险评估建模为文本蕴含任务,利用BERT、RoBERTa等语言模型分析应用描述与权限需求的语义关系。研究通过系统评估不同损失函数(如Focal Loss)和数据增强策略对处理不平衡数据集的影响,揭示了现有方法在AUROC指标上最高仅达0.8221的局限性,为隐私保护领域的自然语言处理应用提供了重要基准。

  
研究背景与意义
随着智能手机成为现代生活的延伸,移动应用在获取权限时可能过度收集用户隐私信息。传统权限风险评估多基于简单分类方法,缺乏对应用功能与权限需求语义关联的深入分析。本研究提出将权限合法性判定转化为自然语言处理中的文本蕴含任务,通过语言模型量化隐私风险。
方法论创新
研究团队将应用描述作为文本,权限说明作为假设,构建“文本蕴含假设”的二元判定框架。该设计避免了对描述文本的预处理需求,直接利用语言模型理解整体语义。针对数据高度不平衡的挑战(如某些权限的合法请求占比极低),实验系统对比了交叉熵损失、Focal Loss、监督对比损失和InfoNCE损失等四种损失函数的效果。
数据集与评估指标
研究收集了216,711个移动应用的317种权限记录,由计算机专业背景的标注团队对38个权限进行人工标注。为避免单一指标偏差,采用Fβ分数(β=0.5,1)、马修斯相关系数(MCC)、P4指标和受试者工作特征曲线下面积(AUROC)等多维度评估体系。其中P4指标综合考量精确度、召回率、特异性和阴性预测值,更适合不平衡数据评估。
语言模型性能对比
基线实验显示,DeBERTa在多数指标上略优于BERT、RoBERTa和ERNIE模型。当使用33个权限联合训练时,DeBERTa在交叉熵损失函数下达到最高AUROC值0.8221,对应真正率0.7982和假正率0.1540。这表明模型虽具备一定判别能力,但每100个恶意权限请求中仍有约15个被误判为合法,存在明显安全风险。
技术策略效果验证
对比实验发现:1)对比损失函数(SCL、InfoNCE)会导致模型输出极端化,性能显著下降;2)数据增强方法(SMOTE、同义词替换)因文本空间的高维特性收效甚微;3)多权限联合训练未带来稳定提升;4)使用详细权限描述反而可能降低模型性能。任务自适应预训练策略也因数据量不足和文本通用性未能显现优势。
结论与展望
研究表明,现有语言模型在权限风险评估任务中尚未达到理想性能。未来可探索大语言模型(LLM)的链式思维、少样本学习等技术,通过增强语义理解能力提升判别精度。该工作为隐私计算领域的自然语言处理应用建立了重要基准,凸显了语义理解在网络安全中的核心价值。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号