基于体素化扩散的高保真隐式文本到形状生成

《INTERNATIONAL JOURNAL OF COMPUTER VISION》:High-Fidelity Implicit Text-to-Shape Generation with Voxelized Diffusion

【字体: 大 中 小 】 时间:2026年09月28日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 10.3

编辑推荐:

   摘要随着3D虚拟建模技术日益受到工业界的关注,基于特定条件(如,文本)生成新颖的3D内容已成为一个热点问题。本文提出了一个名为Diffusion-SDF的生成式3D建模框架,用于解决具有挑战性的文本到形状合成任务。现有方法由于3D数据表示不精确以及形状生成策略不够强大,无法生

  

摘要

随着3D虚拟建模技术日益受到工业界的关注,基于特定条件(如,文本)生成新颖的3D内容已成为一个热点问题。本文提出了一个名为Diffusion-SDF的生成式3D建模框架,用于解决具有挑战性的文本到形状合成任务。现有方法由于3D数据表示不精确以及形状生成策略不够强大,无法生成符合给定文本描述的高保真3D形状。为了解决这一问题,我们提出了一种SDF自编码器与体素化扩散模型相结合的方法,用于学习和生成3D形状的体素化符号距离场(SDF)表示。具体而言,我们设计了一种UinU-Net架构,在标准U-Net架构内部植入了一个关注局部的内网络,从而能够更好地重建与补丁无关的SDF表示。尽管我们的体素化扩散模型能够基于文本条件生成多样化的形状,但对于所有形状,它都在3D空间中均匀划分体素网格,而不考虑不同的结构和几何特征,这种非数据自适应的方式在给定内存开销下限制了形状的分辨率。为了充分利用局部体素的表征能力,我们进一步提出了Diffusion-SDF++,通过设计混合分辨率的八叉树扩散模型,使模型能够自适应地为细节丰富的局部结构分配更高分辨率的体素,从而进行精确的即时描述。为实现这一目标,我们设计了一种基于八叉树的UinU-Net,命名为OinO-Net,以适应非均匀的灵活体素结构,通过分层捕获局部细节和全局形状先验来提取叶节点八分体的特征。实验结果表明,Diffusion-SDF能够生成既高质量又高度多样化的3D形状,并且很好地符合给定的文本描述;而Diffusion-SDF++得益于自适应体素化策略,在形状细节精度上进一步优于Diffusion-SDF。

随着3D虚拟建模技术日益受到工业界的关注,基于特定条件(如,文本)生成新颖的3D内容已成为一个热点问题。本文提出了一个名为Diffusion-SDF的生成式3D建模框架,用于解决具有挑战性的文本到形状合成任务。现有方法由于3D数据表示不精确以及形状生成策略不够强大,无法生成符合给定文本描述的高保真3D形状。为了解决这一问题,我们提出了一种SDF自编码器与体素化扩散模型相结合的方法,用于学习和生成3D形状的体素化符号距离场(SDF)表示。具体而言,我们设计了一种UinU-Net架构,在标准U-Net架构内部植入了一个关注局部的内网络,从而能够更好地重建与补丁无关的SDF表示。尽管我们的体素化扩散模型能够基于文本条件生成多样化的形状,但对于所有形状,它都在3D空间中均匀划分体素网格,而不考虑不同的结构和几何特征,这种非数据自适应的方式在给定内存开销下限制了形状的分辨率。为了充分利用局部体素的表征能力,我们进一步提出了Diffusion-SDF++,通过设计混合分辨率的八叉树扩散模型,使模型能够自适应地为细节丰富的局部结构分配更高分辨率的体素,从而进行精确的即时描述。为实现这一目标,我们设计了一种基于八叉树的UinU-Net,命名为OinO-Net,以适应非均匀的灵活体素结构,通过分层捕获局部细节和全局形状先验来提取叶节点八分体的特征。实验结果表明,Diffusion-SDF能够生成既高质量又高度多样化的3D形状,并且很好地符合给定的文本描述;而Diffusion-SDF++得益于自适应体素化策略,在形状细节精度上进一步优于Diffusion-SDF。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号