企业云对象识别服务的跨区域基准测试:AWS、Azure、Google Cloud Vision与YOLO12的比较分析

《Big Data and Cognitive Computing》:Cross-Regional Benchmarking of Enterprise Cloud Object Recognition Services: A Comparative Analysis of AWS, Azure, Google Cloud Vision, and YOLO12

【字体: 大 中 小 】 时间:2026年09月27日 来源:Big Data and Cognitive Computing 5.3

编辑推荐:

  本文在GeoDE的预定子集上对AWS Rekognition、Azure Computer Vision、Google Cloud Vision和YOLO12进行了基准测试,该子集包含12个对象类别、16个国家和6个区域。将相同的国家排除规则应用于完整的导出数

  
本文在GeoDE的预定子集上对AWS Rekognition、Azure Computer Vision、Google Cloud Vision和YOLO12进行了基准测试,该子集包含12个对象类别、16个国家和6个区域。将相同的国家排除规则应用于完整的导出数据后,每个系统的图像总数为17,676张。图像加权精确加相关(exact-plus-related)识别准确率分别为:AWS 94.93%,Azure 84.25%,Google 85.03%,YOLO12 58.32%。仅精确匹配评分将这些值分别降至83.89%、76.79%、72.74%和58.01%,使Azure与Google的排序发生反转,表明对语义匹配(semantic matching)的敏感性。在五个既定词汇重叠类别(7524张图像)上,YOLO12达到95.28%,而AWS为99.22%。报告显示本地CPU推理时间低于云API往返时间,但计时边界不同。欧洲图像在云服务中具有最高的描述性准确率;YOLO12在东南亚图像上最高。聚合导出数据无法建立图像级配对或bootstrap单元,因此无法验证的原始推断结果被撤回,而不作为图像级证据。没有功效分析(power analysis)确定早期区域结果不显著的原因。摊位(stall)和打火机(lighter)的较低合并识别率不能确立文化或地理机制。专有训练数据未进行分析。单独报告的人类基线(500张图像)达到97.2%的准确率,Fleiss' κ为……结果结合了2025年11月的记录与2026年9月10日的补全运行,应指导特定部署的验证,而非普遍的服务商排名。
对象识别已成为现代人工智能系统的基础能力,云API的普及降低了其采用门槛。然而,地理多样化的评估显示,识别性能会随区域和文化情境变化,引发泛化担忧。GeoDE数据集通过全球众包收集,提供了更平衡的地理表示。现有研究缺乏对通用对象识别在跨区域条件下针对商业云API的系统性基准测试。为此,研究人员利用GeoDE的预定子集(12类、16国、6区域),对AWS Rekognition、Azure Computer Vision、Google Cloud Vision和本地部署的YOLO12进行了描述性基准研究,并通过明确的聚合权重、标签映射协议和匹配敏感性审计,区分地理性能、标签集覆盖和语义匹配的影响。

研究结果显示,在共同排除两个阿联酋图像后,每个系统共17,676张图像。图像加权精确加相关识别准确率:AWS为94.93%,Azure为84.25%,Google为85.03%,YOLO12为58.32%。仅精确匹配时,AWS仍最高,但Azure超过Google,表明排序依赖语义容差。在五个词汇重叠类别(7524张图像)上,YOLO12达到95.28%,AWS为99.22%。欧洲图像在云服务中准确率最高,YOLO12在东南亚图像最高。单独报告的人类基线(500张图像)准确率为97.2%。该研究提供了一个可复现的聚合审计框架,强调了部署前进行特定场景验证的重要性。

关键技术方法:研究人员使用GeoDE数据集(来源:Ramaswamy等收集,含61,940张图、40类、6区域),选取12类、16国、6区域共17,676张图像。评估系统为三种云API和YOLO12(COCO预训练)。采用预注册的同义词/上位词映射字典(语义距离≤2)实现标签统一。主要指标为图像加权包含标签准确率,区分“仅精确匹配”和“精确加相关匹配”。通过聚合CSV进行细胞唯一性、模型覆盖、分母一致性审计,并计算区域、类别及词汇重叠子集的加权汇总。人类基线由三名标注者对500张分层随机子集进行标注,使用Fleiss' κ衡量一致性;延迟测量区分云API往返时间和本地CPU前向传播时间。

4.1 总体模型性能
在共同17,676图像子集上,重新计算的图像加权准确率与摘要一致:AWS为94.93%,Azure为84.25%,Google为85.03%,YOLO12为58.32%。早期数值差异源于聚合权重,例如未加权的193个细胞平均值(包括阿联酋两图像细胞)得到94.49%,与早期AWS报道一致。区域结果中,三种云服务对欧洲图像的描述性准确率最高,YOLO12对东南亚图像最高,但未建立统计显著性。

4.2 对象类别分析
按类别汇总,云服务在car(99.74–100%)和truck(97.27–99.91%)上识别率很高;在stall上,AWS/Azure/Google的准确率分别为0.8158/0.3754/0.4526(人类估计0.87),在lighter上分别为0.8586/0.4636/0.4825(人类估计0.91)。这些结果仅表明类别间存在差异,不能证明文化或地理机制。

4.3 YOLO12词汇公平比较
在五个既定重叠类别(car、truck、dog、toothbrush、chair,共7524张图像)上,YOLO12的图像加权准确率为95.28%,AWS为99.22%,描述性差距为3.93个百分点。报告的本地CPU延迟低于云API往返时间,但两者计时边界不同,不能直接比较。

4.4 语义匹配敏感性
仅精确匹配与精确加相关匹配的对比显示,AWS在两种规则下均最高,但Azure与Google的排序反转。例如Azure的jug准确率从24.39%(精确)升至69.17%(含相关),Google的house从53.55%升至68.12%。这表明提供商排序部分取决于语义容差。

4.5 公平性与一致性指标
六个区域的未加权标准差:AWS为0.0118,Azure为0.0174,Google为0.0207,YOLO12为0.0328;最大最小差异为3.16、4.62、6.65和10.50个百分点。描述性上AWS的区域间变异最小,但不构成公平性排序或因果证据。

讨论部分确认:RQ1中AWS描述性最高,但显著性未解决;RQ2中区域差异为描述性,欧洲对云服务最高,但无统计支持;RQ3中词汇公平比较显示YOLO12接近云服务,但延迟定义不同;RQ4中人类-算法差距在stall和lighter上较大,但不支持文化解释。研究结论:该研究在GeoDE的12个类别上对企业云对象识别服务进行了基准测试,所有系统在共同排除后均汇总为17,676张图像。图像加权语义准确率为AWS 94.93%、Azure 84.25%、Google 85.03%、YOLO12 58.32%。AWS在精确评分下仍最高,但Azure与Google排序反转。在五个重叠类别上,YOLO12为95.28%,AWS为99.22%。这些是描述性发现,聚合文件无法验证图像级配对或推断结果。未来需发布评分后的图像级记录、评估其余28个类别、扩展国家和标注者覆盖,并在时间上重复匹配图像测量。这些发现支持部署特定验证,不应直接外推为全球生产性能。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号