Aurora:面向移动RAW拜耳图像去噪的紧凑网络——PRISM V14与V15的自适应ISO条件化与实时NPU部署
《IEEE Aerospace and Electronic Systems Magazine》:Aurora: An ISO-Conditioned Restormer for RAW Denoising
【字体:
大
中
小
】
时间:2026年10月21日
来源:IEEE Aerospace and Electronic Systems Magazine 5.1
编辑推荐:
摘要:
在手机上去噪RAW拜耳图像比去噪sRGB图像更为困难:噪声与信号相关,ISO跨度超过两个数量级,且时间预算以毫秒计。Aurora是我们对PRISM项目V14和V15代模型的命名,是一个专为应对这些约束而设计的紧凑型网络。该网络将拜耳马赛克打包为四个通道,估计一张空
摘要:
在手机上去噪RAW拜耳图像比去噪sRGB图像更为困难:噪声与信号相关,ISO跨度超过两个数量级,且时间预算以毫秒计。Aurora是我们对PRISM项目V14和V15代模型的命名,是一个专为应对这些约束而设计的紧凑型网络。该网络将拜耳马赛克打包为四个通道,估计一张空间噪声热图,并通过自适应层归一化将U-Net对ISO进行条件化。热图既作为输入通道,也用于对注意力输出进行门控;同时,采用逐样本噪声感知损失权重和ISO加权采样器,以针对性地处理高ISO场景。V14-Aurora采用带有转置注意力的Restormer模块。V15-Aurora保留了原有的路由、条件化和整体方案,但将该注意力替换为门控通道注意力,并将GELU替换为SimpleGate,因为V14的NPU性能分析显示几乎不花费时间在滤波操作上。在1,280个SIDD验证补丁上,V14达到47.41 dB线性PSNR,参数量为7.56 M;V15达到48.36 dB,参数量为10.82 M。消融实验表明,输入热图拼接从未带来增益,而门控仅为V14额外提升0.02 dB。针对骁龙8 Gen 3手机进行编译,所有层均在NPU上运行,12 MP帧在V14下耗时4.90秒,V15下耗时1.56秒,均在5秒的拍摄时间预算之内,且手机端复现主机精度的误差在0.07 dB以内。静态int8量化导致4.0和4.5 dB的性能损失,因此未予采用。由于代码无法公开,本文完整说明了该方法。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号