EchoFlow:基于Rectified Flow匹配从单条双耳语音盲估计一阶Ambisonic房间脉冲响应的生成框架
《Artificial Life》:Blind Spatial Room Impulse Response Estimation via Conditional Rectified Flow Matching
【字体:
大
中
小
】
时间:2026年10月22日
来源:Artificial Life 1.8
编辑推荐:
从单条4秒双耳语音录音中恢复完整的一阶Ambisonic房间脉冲响应是一个严重病态的逆问题:一旦听者的头相关传递函数未知,许多空间房间响应都可能与相同的双耳观测一致。这种一对多的歧义更适合条件生成式方法,而非直接回归(后者容易收敛到条件均值)。我们采用Rectified Fl
从单条4秒双耳语音录音中恢复完整的一阶Ambisonic房间脉冲响应是一个严重病态的逆问题:一旦听者的头相关传递函数未知,许多空间房间响应都可能与相同的双耳观测一致。这种一对多的歧义更适合条件生成式方法,而非直接回归(后者容易收敛到条件均值)。我们采用Rectified Flow匹配方法,因为其近乎直线的传输轨迹能以极低的采样成本实现扩散模型级别的样本质量。由此产生的EchoFlow框架在连续的短时傅里叶变换潜空间中运行,并使用紧凑的扩散变换器作为向量场估计器,在10个推理步骤内生成空间声学。完整的推理流程包含835万参数(368万参数的扩散变换器加上冻结的语音编码器和Ambisonic RIR解码器)。在HiFi-HARP数据集上,EchoFlow在混响时间方面获得了高皮尔逊相关系数,并优于更大的U-Net(2800万参数)和我们为此新任务构建的其他基线。我们还评估了EchoFlow作为生成模型的性能:每个输入采样多个样本可产生有意义的合理房间响应分布,最佳K个选择可提升声学参数的准确性。据我们所知,EchoFlow是首个从双耳语音中盲估计Ambisonic RIR的方法,我们的深度和头数消融实验与假设一致,即扩散变换器的全局自注意力有助于建模直达声与晚期能量衰减之间的长程耦合。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号