《Astronomy and Computing》:Towards the exploration of astrophysical datacubes through volumetric rendering within CARTA
编辑推荐:
摘要:天体物理观测产生的数据产品可能包含三个或更多维度:最常见的是两个空间维度和第三个光谱维度,此外还可能包含偏振或时间等其他轴。三维图像数据的可视化对于分析各类天体的运动学和演化尤为有用;然而,下一代观测设施产生的大规模数据以及将三维数据显示在二维屏幕上的复
摘要:天体物理观测产生的数据产品可能包含三个或更多维度:最常见的是两个空间维度和第三个光谱维度,此外还可能包含偏振或时间等其他轴。三维图像数据的可视化对于分析各类天体的运动学和演化尤为有用;然而,下一代观测设施产生的大规模数据以及将三维数据显示在二维屏幕上的复杂性,使得可视化工作面临巨大挑战。本文研究人员在射电天文软件CARTA中提出了一种可扩展且交互式的三维可视化方法。研究人员使用ThreeJS实现了一个原型三维渲染组件,并采用已知技术(如压缩、降采样)以提高效率,发现高达128 GB的大型数据立方体可以在本地可视化,加载时间仅为数分钟。研究人员在前端和后端分别进行了性能分析,发现该实现的性能瓶颈位于前端,原因是数据在前端以单一数组存储,而在后端则以数据块形式访问和发送。该研究通过在未来版本的CARTA中实现三维渲染组件,为向学界提供大型数据立方体的三维可视化功能铺平了道路。
**论文解读:基于体绘制的CARTA三维数据立方体可视化探索**
**一、研究背景与问题**
数据可视化在科学研究中始终扮演着不可或缺的角色。通过目视分析数据,研究人员能够直观理解物理现象并识别数值分析难以发现的规律,天体物理学领域亦是如此。随着现代天文观测设备灵敏度和分辨率的持续提升,例如ALMA(阿塔卡马大型毫米波/亚毫米波阵列)、MeerKAT、ASKAP(澳大利亚平方千米阵探路者)、JWST(詹姆斯·韦伯太空望远镜)和MUSE(多单元光谱探测器)等,观测数据的规模已增长至GB甚至TB量级。未来新一代观测设施如SKAO(平方千米阵列天文台)和ngVLA(下一代甚大阵列)预计将产生前所未有的数据率和数据量。
在这些多维数据中,数据立方体对于研究天体源的形态和结构具有重要价值。通过三维方式表示数据,天文学家能够更有效地解释天体(如星系或分子云)的空间和运动学性质。这类数据主要由射电望远镜和积分场单元(IFU)产生,同时捕获空间和光谱信息,因此数据量本质上非常庞大,给可视化带来了巨大挑战。尽管已有多种可视化工具(如VisIVO、ViSL3D、iDaVIE-v等)尝试解决大数据问题,大多采用客户端-服务器架构以降低用户硬件要求,但天文领域的三维可视化仍然存在明显局限:许多现有工具缺乏原生三维能力、交互性不足,或因内存和处理限制无法高效处理大型数据集。
**二、研究内容与意义**
在此背景下,研究人员在CARTA(天文立方体分析与渲染工具)中引入了一个三维渲染组件,旨在应对上述挑战。CARTA是一款采用客户端-服务器架构的数据可视化和分析应用,在远程服务器上存储和处理数据,分析计算(如生成矩图、计算直方图或产生剪裁图)可在服务器端高效执行,仅将计算结果传输至用户界面进行可视化,从而显著减少数据传输需求。此外,CARTA还支持本地部署模式,客户端和服务器在同一台机器上运行。
研究人员使用ThreeJS实现了一种光线步进(ray marching)算法,能够对光谱数据立方体及类似三维数据进行交互式探索。通过利用从可视化请求到渲染过程中的多种数据优化处理技术,研究人员使大规模数据立方体的三维可视化成为可能。该研究为将三维渲染组件集成到CARTA未来版本中、向整个天文社群提供大型数据立方体三维可视化能力奠定了重要基础。
**三、主要技术方法**
研究人员在实现三维渲染组件时采用了以下关键技术方法:
(1)客户端-服务器架构:利用CARTA现有的分布式架构,将数据存储和处理放在后端服务器,前端仅负责渲染和交互。
(2)ZFP压缩算法:研究人员专门开发了三维压缩和NaN编码函数,采用ZFP(一种定速率、误差受控的多维数组压缩算法)对数据进行压缩,有效减少数据传输量。由于ZFP不支持NaN值,需要单独存储NaN索引并在压缩前用块平均值替换。
(3)数据分块流式传输:后端按每次四个切片的块对所选区域数据进行流式传输,前端使用Web Worker异步解压,避免阻塞主线程。
(4)基于ThreeJS和WebGL的光线步进体渲染:采用最大强度投影(MIP)方法,沿光线路径采样体素值,将最大值映射到相应颜色和透明度。使用射线抖动技术减少走样伪影。
(5)降采样(重分箱)参数控制:用户可在空间和光谱维度设置降采样因子,以在分辨率和性能之间取得平衡。
**四、研究结果**
**(1)性能分析**
研究人员生成了一个128 GB的数据立方体(4000×4000×2000体素),包含高斯噪声和嵌入的真实观测子立方体。通过选择不同空间区域和光谱深度定义了多个子立方体,并对不同立方体尺寸和降采样参数下的三维可视化过程进行了CPU活动、RAM使用量和GPU活动测量。结果表明:后端CPU活动在请求降采样立方体后大幅增加并保持高位直到数据流结束;前端整体CPU活动低于后端但存在极高峰值;前端RAM使用量在多数情况下高于后端,因为即使前端接收的是降采样数据,所有数据仍需一次性存储在内存中,而后端则按块处理。
**(2)加载时间与数据维度**
测量不同区域和降采样参数下的三维渲染加载时间发现,最大立方体的流式传输时间范围约为120至145秒,相对于分辨率的变化增幅较小。这表明使用过高的降采样参数可能并无必要。对比相同立方体大小但通过不同空间尺寸和光谱切片数组合得到的情况,结果显示光谱轴对加载时间的影响大于空间轴,这是因为数据立方体沿光谱轴以连续切片方式存储,读取大空间区域跨少量通道仅需少量顺序读,而读取小空间区域跨大量通道则需要多次随机读。
**(3)GPU渲染性能**
研究人员测量了完全加载的数据立方体在静态和旋转状态下的GPU活动。旋转渲染呈现周期性模式,源于光线路径随体积方向变化以及采样数据是否连续导致的内存访问模式差异;静态渲染则产生近乎恒定的GPU活动。缩放时周期性更为明显,因为立方体占据屏幕更大比例。GPU活动与投影二维区域大小相关而非深度,因为每条光线的采样步数默认为固定值。GPU活动与投影面积之间并非严格线性关系,与GPU占用率(处理能力按固定大小块离散分配)的行为一致。
**(4)渲染质量**
一旦数据立方体完全加载,无论立方体大小如何,渲染以几乎恒定的帧率显示(在240 Hz显示刷新率下产生120 fps)。渲染在数据块仍在加载时即可观看和交互,但大空间区域需要更多资源,可能造成可视化滞后。渲染质量除了取决于降采样参数外,主要取决于光线追踪使用的步数,需要过采样(步数超过最长轴体素数)才能获得高质量渲染。
**五、讨论与结论**
研究人员指出,前端JS数组最大长度限制了可渲染数据立方体的最大尺寸,浏览器的实际限制约为2 GB的数组缓冲区(约5×10?个元素)。解决方案包括设置结果立方体大小上限或使用多个较小的数组。可能的改进方向包括添加交互式功能(如手动创建掩模、包含星表标记)、实现等值面渲染和点云渲染等替代可视化技术、引入矢量场显示(如磁场或偏振)、以及支持3D格式导出以增强互操作性。
从设计角度看,该三维渲染组件优先考虑简单性和直接交互,能原生打开FITS文件并以最少的配置生成可直接探索的三维可视化。CARTA的客户端-服务器架构解决了大数据处理问题,配合HDF5-IDIA格式等高效技术增强了性能。此外,CARTA可通过Docker容器部署,结合Kubernetes等管理软件可按需提供多用户访问的独立容器,具有良好的可移植性和可扩展性。
研究结论表明,该研究提出的方法成功实现了从大型数据立方体创建高效三维渲染的目标,突出了降采样或选择立方体内区域以便可视化的优势。加载时间对光谱轴大小的依赖大于空间轴,较小的降采样参数会增加加载时间但实际差异并不显著。所需RAM随数据块流式传输而增加,其增量等于单个光谱切片大小的总和,表明RAM使用量取决于空间区域大小而非光谱轴大小。该研究为CARTA集成三维可视化组件铺平了道路,进一步增加VO(虚拟天文台)访问、脚本功能等特性将极大提升其对天文学界的价值。