基于时间、波长和空间交织调制的集成光子三维张量处理引擎

《Light-Science & Applications》:Integrated photonic 3D tensor processing engine

【字体: 大 中 小 】 时间:2026年03月08日 来源:Light-Science & Applications 24.0

编辑推荐:

  光学计算凭借高带宽、低延迟和高能效等优势,被认为是加速深度学习任务的最有效解决方案之一。然而,主流的光子硬件加速器主要针对二维(2D)矩阵向量乘法(MVM)进行了优化。为了实现三维(3D)卷积神经网络(CNN),在计算前必须根据加速器尺寸在电域内对高阶张量进行

  
光学计算凭借高带宽、低延迟和高能效等优势,被认为是加速深度学习任务的最有效解决方案之一。然而,主流的光子硬件加速器主要针对二维(2D)矩阵向量乘法(MVM)进行了优化。为了实现三维(3D)卷积神经网络(CNN),在计算前必须根据加速器尺寸在电域内对高阶张量进行重塑,这导致了额外的内存占用和时间开销。此外,多通道间的同步依赖于外部电子时钟,增加了系统的复杂性。在这项工作中,研究人员提出了一种基于时间、波长和空间交织调制的集成光子三维张量处理引擎(3D-TPE)。数据缓存、通道同步和计算完全在光域内实现,从而减少了内存和时间消耗,并简化了系统。光缓存和同步通过支持高达200 GHz多功能时钟频率的光可调延迟线(OTDL)芯片实现,而光学计算则通过3 dB通带宽度为50 GHz的双耦合微环谐振器(MRR)交叉开关芯片完成。研究人员在10 GHz至30 GHz的时钟频率范围内验证了3D-TPE的处理能力,并在20 GHz运行下进行了LiDAR三维点云图像识别任务的原理验证实验,实现了97.06%的识别准确率。所提出的3D-TPE有望促进高阶张量卷积的发展,在自动驾驶、医疗保健、视频分析和虚拟现实等领域发挥重要作用。

论文解读

研究背景

随着深度学习驱动的人工智能在数据密集型任务中取得重大突破,卷积神经网络(CNN)已成为提取数据特征的重要工具。得益于智能传感器的发展,信息跨越时间、空间和频率等多个参数空间进行采集,形成了高阶张量。虽然传统的二维(2D)CNN主要在二维平面上处理数据,但三维(3D)CNN利用3D卷积核在空间和时间维度上探索张量内部关系,在3D医学图像分割、视频分析、自动驾驶和虚拟现实等领域发挥着关键作用。然而,3D CNN中计算和内存开销的立方级增长对硬件处理能力提出了严峻挑战。现有的主流硬件加速器(如GPU、TPU和FPGA)大多针对2D矩阵向量乘法(MVM)进行了优化,在处理3D CNN时并非最优解。此外,电子元件固有的焦耳热效应和工作带宽限制阻碍了其计算速度的进一步提升。尽管光子处理器凭借高带宽、低延迟和低功耗优势成为潜在的替代方案,但现有的光子张量处理器仍主要局限于2D MVM架构。在执行3D张量卷积时,传统方案面临四大瓶颈:输入数据必须根据3D卷积核大小进行大规模重塑,导致显著的内存和时间开销;多通道高速信号的同步依赖外部电子时钟,增加了系统复杂度和能耗;受限于加权元件(WE)的数量,3D卷积需分解为多个向量乘法并在数字域累加,增加了临时存储压力;现有的光数据缓存多基于固定延迟线,无法适应不同应用场景的自适应需求。

关键技术方法

为解决上述问题,研究人员设计并验证了一种基于时间、波长和空间交织调制的集成光子三维张量处理引擎(3D-TPE)。该研究采用了多项关键技术:首先,在光学计算单元(OCU)中引入了基于多层氮化硅-绝缘体上硅(Si3N4-on-SOI)平台的双耦合微环谐振器(MRR)交叉开关阵列,以实现高精度的波长滤波与权重配置;其次,设计了基于绝缘体上硅(SOI)平台的光可调延迟线(OTDL)芯片作为光学存储单元(OMU),实现光域内的自适应时钟频率与通道同步;最后,构建了完整的实验系统,包括连续波激光器、任意波形发生器(AWG)、高速调制器、掺铒光纤放大器(EDFA)、波分复用器(WDM)以及实时示波器。在应用验证方面,研究人员使用了悉尼城市物体数据集(Sydney Urban Objects Dataset)中的LiDAR 3D点云数据,将行人、公共汽车、汽车、卡车和面包车等类别合并为行人和车辆两类,以此开展二分类识别任务的原理验证实验。

研究结果

处理流程
研究人员详细阐述了3D-TPE的处理流程。输入数据被顺序加载到强度调制器上,并在波长和空间维度上进行复制。随后,信号进入由OTDL组成的OMU芯片,引入精确的时间延迟以实现数据缓存和通道同步。延迟后的多波长信号被路由至OCU芯片,通过部署在双耦合MRR上的3D卷积核权重进行加权计算。最终,输出信号经过光电探测器(PD)转换为光电流,并由电功率合成器求和,从而直接完成3D卷积运算,避免了传统方案中繁琐的电域数据重组和数字累加过程。
基于双耦合MRR的交叉开关OCU
研究人员研制了基于多层Si3N4-on-SOI平台的4×4双耦合MRR交叉开关OCU芯片。测试结果表明,该芯片的四个加权元件(WE)在约97 GHz的通道间距下表现出优异的性能,其传输光谱呈类矩形,光学3 dB带宽约为50 GHz,相邻通道串扰低于-25 dB。通过简单的查找表方法,该芯片在不同权重组合下实现了超过7位的等效加权精度,在特定初始条件下甚至达到约9.7位。这得益于Si3N4材料较低的折射率对比度和热光系数,使其对制造偏差和环境温度变化具有极高的鲁棒性,且无需复杂的算法或反馈控制即可实现高精度权重调谐。
可调时钟频率的张量处理
为了验证系统的并行计算能力和速率适应性,研究人员利用OMU芯片进行了多时钟频率下的四通道矩阵乘法运算。OMU芯片集成了8个相同的OTDL,每个延迟线由7个级联的马赫-曾德尔干涉仪(MZI)开关组成,通过切换光路可将群延迟从0调节至63倍的最小延迟分辨率。实验测得该芯片的延迟分辨率达到4.93 ps,最大延迟时间为310.59 ps,支持高达约200 GHz的自适应时钟频率。在10 GBaud、15 GBaud、20 GBaud和30 GBaud四种符号速率下,四通道矩阵乘法的实测输出波形与理论计算结果高度吻合,标准差等效位宽在4.1位至4.8位之间。虽然随着符号速率增加,受限于AWG模拟带宽及信号失真,计算精度略有下降,但整体表现稳定。
3D LiDAR点云图像识别
研究人员进一步开展了3D LiDAR点云图像识别的概念验证实验。实验采用20 GBaud的符号调制速率,对一个包含两个全连接层的简化版VoxNet架构进行推理。其中,大小为2×2×2的3D卷积核运算完全由3D-TPE执行,其余部分在数字计算机上完成。实验结果显示,3D-TPE能够有效捕捉行人和车辆的关键特征,实测波形与理论波形高度一致。最终的混淆矩阵表明,该系统的识别准确率达到了97.06%,与数字计算机的计算结果相当,有力证明了该引擎在3D张量卷积应用中的巨大潜力。

讨论与结论

在讨论部分,研究人员总结了3D-TPE相较于传统2D MVM方案的显著优势:它彻底消除了数据重塑带来的内存和时间开销,通过OTDL在光域内实现了通道同步,避免了电子时钟模块的需求,并能直接在数据流通过程中完成高阶卷积,无需分解为更小的卷积核。多层Si3N4-on-SOI平台不仅成熟可控,还有效降低了插入损耗和通道间的不均匀性。展望未来,研究人员认为通过引入III-V族材料、克尔光频梳以及非易失性相变材料(PCM),可进一步提升系统的光源性能、降低功耗并实现更高密度的单片集成。目前的算力效率估算约为0.3 TOPS W-1,系统规模可扩展至121个加权元件,时钟频率覆盖10 GHz至200 GHz。
综上所述,研究人员成功提出了一种由双耦合MRR交叉开关OCU和OTDL存储单元OMU构成的集成光子3D-TPE。该系统实现了数据缓存、通道同步和计算在光域内的深度融合,显著降低了高阶卷积任务中的内存占用、处理时间和系统复杂度。实验验证了其在10 GHz至30 GHz调制速率下的处理能力以及在20 GHz下97.06%的3D点云识别准确率,为自动驾驶、视频分析和医学图像处理等领域的3D CNN加速提供了极具前景的硬件解决方案。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号