超宽神经网络启用的基于超构表面(metasurface)的高可扩展机器视觉系统

《eLight》:Highly scalable machine vision enabled with meta-optics-based ultra-wide neural network

【字体: 大 中 小 】 时间:2026年03月19日 来源:eLight 31.4

编辑推荐:

  光学神经网络(Optical Neural Network,ONN)为实现低延迟、高能效的人工智能提供了一条途径,但将其扩展至现代模型规模受限于两个实际瓶颈:训练大规模ONN在计算上难以承受,以及实现或调谐数百万个光学元件时对加工缺陷和对准误差高度敏感。本文报

  
光学神经网络(Optical Neural Network,ONN)为实现低延迟、高能效的人工智能提供了一条途径,但将其扩展至现代模型规模受限于两个实际瓶颈:训练大规模ONN在计算上难以承受,以及实现或调谐数百万个光学元件时对加工缺陷和对准误差高度敏感。本文报道一种基于超构表面的光学学习机器,通过工作在超宽(ultra-wide)机制规避上述障碍。研究人员采用含4100万个光学参数的超构表面(metasurface)形成超宽神经网络(NN),并证明在此尺度下,固定的、未经训练的超构表面可紧密近似全训练超构表面。残余失配由仅含102–104个可训练参数的紧凑数字后端补偿,实现任务适配而无需重新训练或重制超构表面。实验上,所得混合系统在六项任务上实现可扩展机器视觉,准确率与包括ResNet和Vision Transformer在内的先进模型相当,同时对加工缺陷和对准误差具有容忍性。该方法具有高可扩展性、对加工误差容忍,且在相干与非相干照明下均可工作,为大规模高性能光学人工智能计算提供了实用路径。
论文解读:基于超构表面超宽神经网络的高可扩展机器视觉系统
本文发表于《eLight》。光学神经网络(Optical Neural Network,ONN)利用光波固有的并行性有望实现低延迟、高能效的人工智能计算,超越互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)电路的发展瓶颈。然而当前ONN规模化面临两大障碍:一是大规模ONN通过梯度下降训练需复杂物理建模,计算代价极高;二是集成或调谐百万量级光学元件对加工瑕疵和亚波长对准误差极敏感,且大多数超构表面(metasurface)不可编程,更换任务需重新设计与流片。此外已有自由空间衍射ONN参数量仅约105量级,远低于现代人工智能模型。为此,研究人员提出将超宽极限学习机(Extreme Learning Machine,ELM)框架与大规模非训练超构表面结合,利用神经正切核(Neural Tangent Kernel,NTK)理论证明超宽固定随机前端可逼近全训练性能,仅用极少数字参数补偿残差,构建混合光-电机器学习系统——超构表面光学学习机(Metasurface-based Optical Learning Machine,MOLM)。该系统在多项机器视觉任务中达到与ResNet、Vision Transformer(ViT)相当精度,且对加工与对准误差具强鲁棒性,为实用化大规模光学AI计算开辟道路。
主要关键技术方法:
研究人员设计制备了含6400×6400=4100万个硅纳米圆柱元原子(meta-atom,周期500 nm,直径100–400 nm按零均值高斯分布σ=0.4π采样相位映射)的单层反射式超构表面作为固定光学前端;输入光场经超构表面复振幅调制及衍射后由傅里叶透镜做光学傅里叶变换,CMOS传感器探测强度(平方律非线性激活);传感器输出经下采样送入仅含全连接层的紧凑数字神经网络(可训练权重1024个)用逻辑回归训练。实验采用SLM加载图像,532 nm激光或宽带LED照明,并在MNIST、CIFAR-10、COVID-19胸片、NIH ChestX-ray8、RSNA颅内出血CT、KTH动作识别及CAMELYON16全切片病理图像等多数据集验证。部分实验构建以MOLM为隐藏层的循环神经网络(Recurrent Neural Network,RNN,即meta-RNN)处理视频序列。
研究结果
1 Working principle and device design(工作原理与器件设计)
系统由超构表面光学前端加数字后端构成,等价于ELM架构:超构表面实现随机初始化固定的隐层权重(复数传输矩阵与衍射矩阵Hadamard积后经傅里叶变换),CMOS平方律探测提供非线性激活,数字层为待训输出层。随元原子数N增至4100万,超构表面输出信息熵从8.4 bit升至13 bit,变换图像高频分量增强;未训练超构表面与全训练参数间均方根误差(Root Mean Square Error,RMSE)降至0.018,MNIST分类达99.2%(加透镜后),接近全训练99.6%;CIFAR-10达91.6%(7440数字参数),媲美ResNet-50,证明超宽机制下固定前端可替代训练。
2.2 Experimental demonstration of high performance, versatility, and practicability(高性能、通用性与实用性实验演示)
2.2.1 Image classification with ultra-compact digital NN(基于超紧凑数字NN的图像分类)
COVID-19胸片二分类:SLM载入299×299图像,MOLM处理后下采样至12×16像素,仅192权重的数字回归层给出准确率98.0%、精确率96.8%、灵敏度99.2%、特异度96.9%,优于既往ONN实验,与ResNet-50(97.0%)和SAM(97.2%)相当,数字模型压缩4.9×105倍(vs ResNet-50)。
2.2.2 Capability for end-to-end processing of high-resolution images(端到端处理高分辨率图像能力)
NIH ChestX-ray8八类胸疾病检测:直接处理1024×1024像素X光片无预处理,平均准确率85.4%(9600数字权重),与ViT(85.8%,8580万参数)相当,为ONN最高分辨率端到端处理演示。
2.2.3 Multi-task ability for classification and detection(分类与检测的多任务能力)
RSNA颅内出血CT:二分类准确率98.8%;出血区域定位(边界框)交并比(Intersection over Union,IoU)达0.61(ResNet-50为0.64),同一固定超构表面仅需更换轻量数字后端适配不同子任务。
2.3 Scalable to complex NN models for high-accuracy video sequence processing(扩展至复杂NN模型实现高精度视频序列处理)
构建meta-RNN处理KTH人体动作识别:帧经MOLM压缩后递归累加隐状态,逻辑回归分类。帧准确率97.5%,动作(序列投票)准确率99.1%(9180可训权重,训练4.01 s),超LSTM数字NN(90.7%)及已有ONN(96.3%),处理速度1968帧/秒。轴向错位10 μm致精度降16.7%,重训数字层45 epoch(234 ms)恢复至96.3%,展现对扰动快速恢复能力;平均每复数乘法仅需0.078光子维持>95%准确率。
2.4 Solving real-world challenge: accelerating the analysis of multi-gigapixel whole slide images for cancer diagnosis(解决实际挑战:加速多十亿像素全切片图像癌症诊断分析)
CAMELYON16乳腺淋巴结转移检测:全切片(>2.2×1010像素)Otsu预处理分块为1000×1000 Patch,MOLM单帧处理下采样后140–1200权重单层NN分类,Patch级AUC 96.0%–97.0%,训练1.46 s。肿瘤区域概率热图IoU=0.60(SAM为0.63),单张WSI推断1.02 s(SAM需1.48 h)。
讨论与结论总结
研究人员指出该系统架构等价于标准ELM但具平方律非线性与复数衍射权重;可在非相干宽带LED(带宽20–100 nm)下MNIST>98.3%,略低于532 nm激光因相干光支持复值变换;三批次不同加工误差芯片(元原子直径偏差?8 nm至+13 nm)MNIST精度波动<1%,证明对加工变异强容忍;相较随机散射介质前端(MNIST 92.0%)超构表面纳米级可控元原子密度更高、编码效率更优;若将反射式改为透射式并集成高数值孔径(Numerical Aperture,NA≈0.99)超透镜(metalens),系统体积极可缩至56 mm3,较现有自由空间ONN缩小102–104倍。当前局限为数字后端仅全连接层及傅里叶域不利于逐像素分割,未来可通过任务定制数字后端与去除透镜改善。结论:含4100万无序工程元原子的单层固定超构表面耦合小规模数字NN可与ResNet、ViT等深度NN竞争;>99.99%计算由被动超构表面完成,数字后端训练缩至秒级,具高 fabrication/alignment 容错性及相干/非相干双模式工作能力,为大规模高性能光学AI计算提供实用路径。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号