DNA-FRSC:一种通过深度视觉特征表征和容错序列编码实现基于 DNA 的图像存储的鲁棒系统
《ADVANCED ENGINEERING INFORMATICS》:DNA-FRSC: A robust system for DNA-based image storage via deep visual feature representations and error-resilient sequence coding
【字体:
大
中
小
】
时间:2026年09月26日
来源:ADVANCED ENGINEERING INFORMATICS 11.5
编辑推荐:
摘要:DNA数据存储正逐渐成为一种有前景的大规模数据长期保存技术,而图像是最常见且数据密集型的数据模态之一。然而,现有的基于DNA的图像存储方法在存储密度、重建质量以及多个生物约束条件的同时满足方面仍存在局限。针对这些问题,我们提出了DNA-FRSC,一种将深度视觉特征表示与
摘要:DNA数据存储正逐渐成为一种有前景的大规模数据长期保存技术,而图像是最常见且数据密集型的数据模态之一。然而,现有的基于DNA的图像存储方法在存储密度、重建质量以及多个生物约束条件的同时满足方面仍存在局限。针对这些问题,我们提出了DNA-FRSC,一种将深度视觉特征表示与抗错误序列编码相结合的稳健DNA图像存储方法。基于Swin Transformer的深度联合信源信道编码模型的编码器首先提取紧凑的潜在特征表示,随后对其进行线性量化并映射为DNA序列以提高存储密度。约束码本生成器产生既满足生物学可行性又具备错误容忍度的DNA序列。在解码阶段,一个两阶段纠错模块将top-k动态规划列表解码策略与等距离候选细化方案相结合,以纠正插入、删除和替换错误;同时采用无需训练的特征填补方法补偿因序列丢失导致的缺失特征块。实验结果证实,所生成的序列满足生物约束条件。在Kodak和General-100数据集上以5%碱基错误率进行的广泛测试表明,DNA-FRSC优于现有方法,将均方误差(MSE)降低超过82.7%,峰值信噪比(PSNR)提升至少8.23 dB,结构相似性(SSIM)和多尺度结构相似性(MS-SSIM)分别提升超过83.7%和50.4%。这些结果表明,DNA-FRSC为大规模DNA图像存储提供了一种低成本、高鲁棒性且生物学可行的解决方案。
引言:在数字时代,全球数据量呈指数级增长。现有的存储技术,如磁介质和光盘介质,日益受到长期数据存储需求快速增长的挑战[1]。与传统存储技术相比,DNA作为存储介质具有高存储密度和长期稳定性,且无需持续供电。理论上,DNA数据存储系统的存储密度可达455 EB/g [2],并在适宜条件下保存信息达数千年[3]。凭借这些独特优势,DNA已成为下一代数据存储的有前景介质,尤其适用于大规模数据管理[4]。然而,DNA数据存储系统依赖于生化过程,如合成、扩增和测序[5]、[6]、[7],这些过程不可避免地引入碱基插入、删除和替换(IDS)错误[8]、[9]、[10]。因此,DNA存储系统通常可被视为字母表{A, T, G, C}上的四元序列信道[11]。在大规模芯片合成和高通量测序场景中,碱基错误会严重影响数据的可靠恢复。因此,具备纠错能力的编码和解码方法在DNA数据存储中发挥着关键作用[12]、[13]。经典的纠错码,包括低密度奇偶校验码、Levenshtein-Marker(LM)码和Reed-Solomon(RS)码[14]、[15]、[16],已被用于提高DNA数据存储中的数据恢复可靠性。
作为重要信息载体,图像对小的局部失真具有固有的感知容忍度。人类视觉系统可以容忍轻微噪声和局部像素变化,因此适量的错误通常不会显著影响图像内容的感知。此外,随着图像处理技术的发展,图像去噪和局部失真恢复已成为可能[17]、[18]。因此,考虑DNA存储的错误模式,图像与DNA数据存储展现出高度的兼容性。将图像存储在DNA中不仅具有重要的研究意义,还为医疗图像、遥感图像和多媒体档案等大规模冷数据的长期保存提供了新的技术方案[19]。受这些特性启发,近期研究探索了各种基于DNA的图像存储方法,旨在平衡重建质量、存储成本和生物约束满足。
IMG-DNA方法[20]通过分离图像系数并添加屏障以减少错误传播来存储基于JPEG的图像。HL-DNA方法[21]采用混合有损与无损编码方案。插入和删除(indel)的影响通过旋转编码方案和屏障设计得到缓解,报告称在0.5%错误率下SSIM达到0.55。此外,DNA-base128方法[22]通过概率统计和base128编码表将图像像素转换为DNA序列,并通过阈值判断和漂移比较方案进行内部纠错。在1%错误率下,重建图像的PSNR为32.43 dB,SSIM为0.34。此外,PELMI方法[23]采用奇偶编码和局部均值迭代方案处理碱基错误下的图像数据。在1%错误率下,其SSIM和PSNR分别约为0.79和34 dB。此外,基于MMBP的DNA信息存储系统[24]使用带有RS编码的DNA Fountain码对东南大学的四张图像进行编码,并通过微流控磁珠聚合酶链反应方案实现完整图像恢复。这些方法在像素或系数级别减少了DNA错误的影响。然而,它们对手工编码规则和本地恢复策略的依赖限制了其在多样化图像场景中的泛化能力,以及在高碱基错误率和高序列丢失率下的鲁棒性。
DP-ID[25]和DNA-CTMF[26]方法进一步将DNA碱基错误的影响转化为重建图像中的椒盐噪声。DP-ID方法将动态规划压缩与交织相结合,将压缩后的像素比特流映射为DNA序列;而DNA-CTMF方法通过像素-碱基码本将像素映射为DNA序列,在插入删除影响碱基组偏移后进行调整,然后进行中值滤波。在1%错误率下,DNA-CTMF方法实现了超过30 dB的PSNR和超过0.93的SSIM。尽管这些方法可以减少局部离散噪声,但由于依赖于图像后处理,它们对因突发错误或大规模序列丢失而丢失的信息恢复能力有限,且倾向于过度平滑图像细节。
由于DNA存储中的数据写入依赖于序列合成,其成本仍是限制DNA存储方法大规模应用的重要因素。以估计的阵列合成成本约为每碱基10??美元计算,将1 TB数据写入DNA可能花费约8亿美元,这比磁带存储成本高7至8个数量级[27]。一项估计表明,将1 MB编码数据写入DNA的成本约为800至5000美元,而磁带存储每TB数据的成本约为16美元[28]。因此,减少需要合成的碱基数对于降低DNA图像存储的成本至关重要。现有的像素级和系数级DNA图像存储方法对紧凑表示的使用有限,需要大量合成碱基,导致大规模冷数据保存的合成成本高昂。
为减少写入DNA的数据量,传统的图像压缩方法已被引入DNA图像存储。例如,JPEG-DNA方法[29]通过引入嵌入生物约束的四元变长编码方案,将JPEG工作流程适配于DNA。此外,一种基于小波的方法将图像分解为子带,对每个子带应用均匀标量量化,并使用核苷酸分配控制压缩率和DNA序列长度[30]。另一种方法结合离散小波变换与矢量量化,通过核苷酸分配优化每个子带的码本大小和矢量维度[31]。HELIX方法[19]引入压缩策略,将图像划分为固定大小的块,将RGB分量转换到YUV空间,应用离散余弦变换(DCT)并量化变换后的系数。它进一步利用基于矩阵的量化和重复去除来利用重复图像区域,减少冗余信息和DNA序列数量。尽管这些压缩策略减少了合成量,但生成的压缩表示仍对编码结构高度敏感。比特流边界或码字处的一个碱基错误可能传播并放大为大规模的图像失真。
此外,基于深度学习的压缩方法已被用于将图像编码为紧凑的潜在表示。生成式DNA方法[32]采用基于变分自编码器(VAE)的生成模型将图像压缩为紧凑的潜在表示并存储在DNA中,通过生成解码器重建图像,该方法容忍DNA存储错误并降低了合成和测序成本。此外,DJSCC-DNA方法[33]使用基于卷积神经网络的深度联合信源信道编码框架,将DNA信道嵌入网络,并在损失函数中添加生物约束以实现端到端优化。基于VAE的DNA存储系统[34]通过VAE和奇异值分解压缩图像,并使用带有RS码的旋转编码方案存储潜在块。DNA-QLC方法[35]采用量化的ResNet VAE(QRes-VAE)将图像压缩为熵编码比特流,并应用Levenshtein码(LC)进行纠错。该方法在2%错误率下实现了0.917的SSIM。INNSE方法[36]使用可逆神经网络对图像数据进行下采样,并用受限的6-nt码本编码生成的低维向量。在1%错误率下,大多数重建图像的PSNR仍保持在25 dB以上。然而,这些方法的共同局限在于,它们主要关注表示学习和重建,而由序列丢失或不可恢复的碱基错误导致的特征块丢失仍未得到充分处理。当这些特征块无法恢复时,解码器接收到不完整的特征张量,导致重建质量显著下降。
在DNA-ELMR方法[37]中,使用Transformer自编码器构建基于DNA的图像存储系统,并在训练期间向生成的序列引入IDS错误以提高对测序噪声的鲁棒性。该模型联合优化图像重建与多种生物约束损失,以在编码期间调节序列特性。然而,DNA-ELMR并非主要设计用于最小化写入DNA的数据量,导致合成成本相对较高,且其重建质量在高碱基错误率下可能会退化。更广泛地说,现有方法通常仅处理生物约束的某个子集,很少同时考虑GC平衡、同聚物长度、二级结构稳定性、易错基序和不利基序。
针对上述局限性,本文提出DNA-FRSC,一种将深度视觉特征表示与抗错误序列编码相结合的DNA图像存储方法。DNA-FRSC采用基于Swin Transformer的深度联合信源信道编码(SwinJSCC)模型[38]的编码器和解码器分别进行紧凑特征提取和图像重建。提取的特征经过量化,并使用专为平衡生物约束满足与错误可区分性而设计的约束码本进行编码。在解码阶段,一个两阶段序列恢复流程整合了top-k动态规划列表解码、循环冗余校验(CRC)验证以及等距离候选细化,以恢复受IDS错误影响的读取。任何与未恢复数据序列相关的残余缺失特征值,在图像重建之前通过无需训练的特征填补进行估计。通过将序列级错误恢复与特征级补偿相结合,DNA-FRSC减少了写入DNA的数据量,并使重建质量随碱基错误率增加而渐进式退化。本文的主要贡献总结如下:
1)提出一种基于深度特征表示的低成本DNA图像存储编码方法。DNA-FRSC使用SwinJSCC编码器提取紧凑的潜在特征表示,并通过线性量化方案将其转换为可编码数据。该设计大幅减少了写入DNA的数据量,从而提高了存储密度并降低了存储成本。
2)提出一种稳健的序列恢复方法以处理高错误率的DNA读取。利用预计算的最近邻表构建top-k动态规划(DP)列表解码方法。采用等距离候选细化策略解决等距离候选之间的歧义问题。使用CRC验证选择可靠候选。此外,一种无需训练的特征填补方法补偿因序列丢失导致的缺失特征块,并提高图像重建质量。
3)提出一种码本生成器用于具有生物约束和抗错误能力的序列编码。所生成的序列在GC平衡、同聚物控制、二级结构稳定性以及易错基序和不利基序抑制方面满足关键生物约束。
方法部分:DNA-FRSC由三个模块组成,如图1和图2所示。第一个模块涉及图像压缩和序列编码,如图1(a)所示。该模块作为DNA-FRSC系统的前端。
它将输入图像编码为紧凑的潜在特征表示,并将所得特征映射到受生物学约束的DNA序列中,以便进行合成和存储在DNA中。第二个模块是纠错模块,如图2所示。该模块执行鲁棒的...
实验设置与序列编码性能
为了全面评估DNA-FRSC,在碱基错误率从1%到5%的范围内,使用逐碱基独立同分布错误模型进行了仿真。对于每个核苷酸,错误指示器独立地从具有相应碱基错误概率的伯努利分布中采样。在给定错误事件的条件后,错误类型根据指定的IDS比率从类别分布中采样。替换操作会替换原始核苷酸...
结论
总之,我们提出了DNA-FRSC,这是一种基于DNA的鲁棒图像存储系统,集成了深度视觉特征表示和抗错误序列编码。DNA-FRSC采用SwinJSCC编码器提取紧凑的潜在特征表示,通过线性量化并使用受生物学约束的码本将其映射到DNA序列。在解码过程中,结合基于top-k动态规划列表解码和等距离候选精炼的两阶段序列恢复...
CRediT作者贡献声明
庄庄庄:撰写-原稿、软件、方法论、调查、形式化分析、概念化。史佳:撰写-审阅与编辑、可视化、监督、资源、调查。史钱佳:形式化分析。起帆张:方法论。天昊张:验证。连梦吴:形式化分析。鹏浩王:方法论。舒芳张:撰写-审阅与编辑、监督。华明吴:撰写-审阅与编辑、监督。金龙俞:撰写-审阅与编辑、
利益冲突声明
作者声明他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
致谢
本研究由天津大学跨学科中心新兴前沿培育计划(3800903075102)和国家自然科学基金(62505217)支持。
庄庄庄|史佳|史钱佳|起帆张|天昊张|连梦吴|鹏浩王|舒芳张|华明吴|金龙俞
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号