歧义反馈主动成对增强感知用于无图像的单像素识别

《Optics & Laser Technology》:Ambiguity-feedback active pairwise enhanced sensing for image-free single-pixel recognition

【字体: 大 中 小 】 时间:2026年10月22日 来源:Optics & Laser Technology 4.6

编辑推荐:

   摘要无图像单像素识别直接在空间压缩测量中推断语义标签,而无需重建图像,提供了一种高效的感知范式,大幅降低了从采集到决策的开销。现有的基于学习的方法通常依赖于全局固定的感知模式,这些模式针对所有样本的平均判别能力进行优化,从而限制了识别精度。我们提出了一种歧义反馈主动成对增强感

  

摘要

无图像单像素识别直接在空间压缩测量中推断语义标签,而无需重建图像,提供了一种高效的感知范式,大幅降低了从采集到决策的开销。现有的基于学习的方法通常依赖于全局固定的感知模式,这些模式针对所有样本的平均判别能力进行优化,从而限制了识别精度。我们提出了一种歧义反馈主动成对增强感知(AFAP)方法,该方法利用初始测量作为反馈来自适应地选择后续感知模式,使感知过程具有自适应性,并针对每个样本进行更好的优化。在第一阶段中,跨样本共享的全局感知模式获取初始测量,这些测量与其对应的模式一起进行标记化,并通过标记交互处理以估计类别置信度并识别最可能的歧义类别对。预测出的类别对随后指导选择针对区分这两个候选类别而专门设计的成对专用感知模式,将后续测量集中在已识别的歧义上。在第二阶段中,类别-查询交叉注意力从成对条件下的测量标记中提取并比较候选类别特定的证据,以产生最终预测。在四个数据集上的实验表明,AFAP 在低测量预算下持续优于现有的无图像识别方法和匹配的全局模式基线。

引言

单像素成像(SPI)是一种计算成像范式,通过序贯光学调制和桶探测来获取空间信息 [1], [2], [3]。SPI 不通过像素阵列传感器记录场景,而是投影一系列感知模式,并为每个模式记录一个标量响应。这种采集机制在硬件简洁性 [4]、光谱灵活性 [5], [6] 和低光照感知 [7] 方面具有优势。经典 SPI 方法主要旨在使用随机、基于哈达玛变换 [8], [9]、基于傅里叶变换 [10] 或学习的感知模式,从欠采样测量中重建目标图像。然而,当最终目标是语义识别而非视觉观测时,重建人类可理解的图像并不总是必要的,并且可能会在光学感知和决策之间引入不必要的采集和计算开销。
无图像单像素感知直接从桶测量中估计语义信息,而无需重建空间图像 [12], [13]。其发展经历了从压缩域决策规则到光学特征测量和端到端学习感知的演进。早期的压缩分类确立了可以从随机投影中进行识别 [14]。光学实现随后将单像素响应与传统决策模型相结合,如幽灵细胞术和非相干光学机器学习所证明的那样,或者通过相似性、矩不变量和特征信息测量将解析描述符纳入测量过程 [15], [16], [17], [18], [19]。这些研究证实了判别性证据可以直接在测量域中获取和处理。然而,它们的感知算子是基于预定义统计量构建的,或者与识别模型分开优化的,这限制了它们与分类器联合学习任务特定测量的能力。
最近的无图像识别方法用光学编码器和测量域分类器的联合优化取代了手工设计的测量方法。学习结构化照明(LSI)[20] 建立了用于快速移动物体分类的学习灰度结构化照明,而最优二值调制(OBM)[21] 引入了与 DMD 基感知兼容的优化二值调制。半监督优化 [22] 将该框架扩展到有限标注数据的半监督学习,而测量到标记(M2T)[23] 开发了基于标记的测量表示,用于任意采样率下的识别。除单物体分类外,测量域感知也已扩展到多字符识别、目标检测、语义分割和隐私保护的人体关键点估计 [24], [25], [26], [27]。尽管这些方法针对不同的下游任务和学习设置,但其感知算子通常在训练分布上进行优化,并在推理前固定。对于无图像分类,相同的全局模式集或有序序列被应用于每个样本。即使测量数量可以变化,中间识别结果也不会改变后续感知模式的内容。一旦早期测量将预测缩小到几个竞争类别,剩余的经过全局优化的模式就无法将感知预算集中在当前输入的未决类别边界上。
当残余歧义集中在两个强竞争类别之间时,这一局限性尤为相关。因为全局共享的模式库是为支持完整标签空间上的判别而训练的,它无法针对单个样本的未决类别边界专门化后续采集。为解决这一局限性,我们提出了一种歧义反馈主动成对增强感知(AFAP)方法,该方法利用从初始测量中推断出的歧义来条件化选择后续感知模式。与仅改变停止时间、数量或全局模式顺序的方法不同,AFAP 允许中间识别结果直接改变后续的物理感知算子。因此,剩余的测量预算被分配到与当前输入最相关的类别边界上,从而实现了样本条件化的歧义引导采集。本文的主要贡献总结如下:
  • (1)
    我们为无图像单像素识别开发了一种歧义反馈机制,实现了样本自适应的测量选择。
  • (2)
    我们设计了一种成对条件化感知与判别机制,从预测的候选类别对中选择成对专用模式并比较候选特定的证据。
  • (3)
    我们构建了 AP-10,一个面向歧义的十类基准,并在 MNIST、Fashion-MNIST、ORL 和 AP-10 上验证了 AFAP,展示了在低测量预算下相对于代表性已发表方法和全局模式基线的提升。

各章节摘录

方法

AFAP 由全局歧义估计阶段和反馈条件化成对感知阶段组成,如图 1 所示。第一阶段使用全局共享的二值模式获取初始测量,并从测量域表示中估计主导的歧义类别对。该中间预测被反馈到感知过程中,以确定用于获取针对性额外测量的成对专用模式。第二阶段

结果

我们进行了模拟实验以评估歧义反馈主动成对感知是否在有限测量预算下提升了单像素测量的无图像识别能力,并进一步进行了光学实验以验证其在物理单像素感知系统中的可行性。

与最先进方法的比较

我们将 AFAP 与代表性的无图像单像素识别方法进行比较,包括 LSI [20]、OBM [21]、SSO [22] 和 M2T [23]。LSI 使用灰度感知模式,而 OBM、SSO、M2T 和 AFAP 使用二值模式。表 6 报告了在不同采样率下 MNIST 和 Fashion-MNIST 上的识别准确率。所有比较方法的准确率值均直接取自其原始出版物中对应数据集和采样率的结果,未经独立

结论

本文提出了 AFAP,一种用于无图像单像素识别的歧义反馈主动成对感知方法。该方法首先使用全局二值测量估计每个样本的候选类别对,然后选择相应的成对专用模式库进行针对性感知和基于证据的判别。该方法在公开的 MNIST、Fashion-MNIST 和 ORL 数据集上进行了评估,以及 AP-10,一个自建的面向歧义的十类数据集,其

CRediT 作者贡献声明

米家帅:撰写——初稿、验证、方法论、调查、概念设计。耿文彬:软件、形式化分析、数据整理。徐文彪:可视化、数据整理。张慧娟:撰写——审阅与编辑、监督、调查、形式化分析。余元金:撰写——审阅与编辑、撰写——初稿、监督、资源、项目管理、资助获取、概念设计。

资助

本工作得到了国家自然科学基金(NSFC)优秀青年科学基金项目(编号:62222304)的资助。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
米家帅|耿文彬|徐文彪|张慧娟|余元金
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号