基于回声状态网络的时间序列定向联想记忆模型

《Machine Learning with Applications》:A Temporal Sequence-Oriented Associative Memory using Echo State Network

【字体: 大 中 小 】 时间:2026年10月22日 来源:Machine Learning with Applications 6.1

编辑推荐:

  摘要专业翻译 本文提出了一种利用回声状态网络(Echo State Network, ESN)构建时间序列定向联想记忆(temporal associative memory, temporal AM)的算法。当在网站或存储设备中查找视频、音乐等时间序列时,若

  
摘要专业翻译 本文提出了一种利用回声状态网络(Echo State Network, ESN)构建时间序列定向联想记忆(temporal associative memory, temporal AM)的算法。当在网站或存储设备中查找视频、音乐等时间序列时,若能够获取其部分序列并将该数据输入计算机以检索原始完整序列,相较于输入关键词的方式,这种新系统将为用户提供更便捷的流媒体平台体验。为验证该系统的可行性,研究人员采用ESN框架,训练了两个不同的ESN网络,即ESN1和ESN2。ESN1以索引向量序列(index vector sequence)作为输入、帧图像序列(frame image sequence)作为输出进行训练;ESN2则通过交换ESN1的输入与输出训练数据集进行训练。通过将ESN2输出的索引向量序列馈送至ESN1,研究人员实现了时间联想记忆。为提升该时间联想记忆的性能,需要两个处理中间索引向量序列的子算法:其一,从ESN2输出的退化索引向量序列中重建完整长度的索引向量序列;其二,评估ESN2输出索引向量序列的退化度量,以确定该序列是继续馈送至ESN1还是予以丢弃。当从序列起始位置向ESN2输入半长度的MNIST训练序列时,精确率(precision)得分为98.2%;当从序列中间位置输入时,精确率得分为88.4%。

论文解读

一、研究背景与问题提出

随着在线视频平台(如YouTube)需求的爆炸式增长,用户通常通过输入关键词来检索视频内容。然而,在实际使用场景中,用户往往更希望仅凭熟悉的视频片段或部分图像序列即可检索到完整视频,而无需依赖关键词输入。这种以时间序列片段检索完整序列的需求,构成了本文的核心研究动机。
联想记忆(Associative Memory, AM),又称内容寻址存储器(Content-Addressable Memory, CAM),是一种通过输入关联项即可检索存储记忆项的记忆类型。自20世纪80年代以来,基于神经网络的AM模型取得了重要进展,代表性工作包括Kohonen的线性AM模型和Hopfield基于能量函数的非线性AM模型。然而,这些经典模型在处理自然图像和真实时间序列时面临计算复杂度高、训练耗时等局限。
近年来,Radhakrishnan等人(2020)提出了基于自编码器网络的时间AM模型,能够正确召回由MNIST数字模式组成的两条不同序列,代表了该领域的重要进展。然而,该模型将时间AM视为链式模式对(chained pattern pairs)的序列召回,与本文所定义的框架存在本质差异。
本文作者此前已建立了基于ESN的静态模式AM(Kage, 2023),即通过输入不完整模式即可召回原始完整模式。但图像序列本身包含时间信息,静态AM方法无法直接应用于时间序列场景。基于此,本文提出以下两个研究假设:其一,双ESN(dual ESN)概念如何实现时间AM;其二,为何需要链式不动点吸引子(chained fixed-point attractors)。Kong等人(2024)提出的基于储层计算(Reservoir Computing, RC)的时间AM模型与本文框架存在相似性,但其存储数据为周期或混沌吸引子而非多媒体数据,且未明确验证部分时间序列能否被正确检索。

二、研究内容与核心结论

本文的核心贡献在于提出了一种基于双ESN网络串联结构的时间AM实现方案。研究训练了两个ESN网络:ESN1以索引向量序列为输入、帧图像序列为输出;ESN2则交换输入输出进行训练。通过将ESN2的输出序列馈送至ESN1,构建了完整的ESN2-ESN1串联网络,实现了时间AM功能。
研究得出以下关键结论:在从序列起始位置输入半长度MNIST训练序列时,检索精确率达98.2%;从序列中间位置输入时,精确率为88.4%。这表明该框架能够有效实现部分序列到完整序列的联想检索,且起始位置输入的性能显著优于中间位置输入。该研究的意义在于:首次将ESN框架应用于时间序列定向联想记忆,无需使用自编码器,仅通过两个ESN网络的串联即可实现,为视频检索等实际应用提供了新的技术路径。

三、关键技术方法

本研究主要采用以下关键技术方法:
回声状态网络(Echo State Network, ESN):一种离散时间储层计算模型,由输入层、储层(reservoir)和输出层组成。输入层到储层及储层内部的连接权重随机初始化且不训练,仅需训练储层到输出层的读出权重(readout weights),通过岭回归(ridge regression)求解。储层状态更新公式为x[n] = f(Wx[n?1] + Winu[n] + Wfby[n?1]),输出为y[n] = g(Woutx[n])。储层权重设定中,稀疏度(sparsity)=0.1,谱半径(spectral radius)=0.79,概率分布为均匀分布。
双ESN串联架构:训练两个ESN网络,ESN1实现索引向量序列到帧图像序列的映射,ESN2实现帧图像序列到索引向量序列的逆映射,二者串联构成完整的时间AM系统。
索引向量序列编码:将每个训练视频的首帧图像分配一个基础索引向量(basis index vector),随后通过循环位移(circular bit shift)逐次生成N?1个索引向量,与后续帧图像一一对应。每个视频通过改变基础索引向量的位模式进行区分,索引向量序列同时编码了视频身份和帧位置信息。
索引向量重建(Index Vector Reconstruction, IVR)算法:用于从ESN2输出的含噪退化索引向量序列中重建完整长度的索引向量序列,消除储层内部状态引入的噪声,恢复部分序列至完整长度。
退化度量评估算法:评估ESN2输出索引向量序列的退化程度,据此决定该序列是否可继续馈送至ESN1进行检索,或应予以丢弃。

四、研究结果

ESN1与ESN2的独立性能:研究以MNIST数字模式训练ESN1和ESN2,分别以ROC曲线(Receiver Operating Characteristic curve)评估其独立分类性能,验证了两个网络各自能够正确实现索引向量序列与帧图像序列之间的双向映射。
ESN2-ESN1串联网络的组合性能:在改变输入MNIST序列时间长度(即部分序列长度)的条件下,评估双ESN串联网络的整体检索性能。结果表明,当输入半长度MNIST训练序列且从序列起始位置开始时,检索精确率达到98.2%;当从序列中间位置开始时,精确率为88.4%。这一结果验证了时间AM系统在部分序列输入条件下能够有效检索完整序列。
IVR算法的有效性:研究验证了IVR算法在消除ESN2输出噪声、重建完整长度索引向量序列方面的关键作用,该算法是保证串联网络正常工作的必要中间处理步骤。

五、讨论与结论

讨论部分围绕以下议题展开:将当前算法应用于实际视频所面临的剩余任务、与其他方法论的比较,以及与相关前期研究的对比分析。在与其他方法的比较中,本文明确指出其框架与基于自编码器的时间AM(Radhakrishnan模型)的本质区别——本文不使用自编码器,仅使用两个ESN网络,且不将时间AM视为链式模式对模型。与Kong等人的RC模型相比,本文的存储数据为链式不动点吸引子,每个吸引子与MNIST图像序列中的帧图像一一对应,且明确验证了部分时间序列的检索性能。
研究结论部分总结指出:通过连接ESN2与ESN1并辅以中间信号处理算法(IVR算法和退化度量评估),成功实现了基于ESN的时间序列定向联想记忆。实验结果表明,该系统能够从部分MNIST图像序列中有效检索完整序列,为未来应用于实际视频检索场景奠定了技术基础。未来研究展望涵盖将该算法扩展至真实视频数据、优化中间处理算法性能以及探索更高效的网络训练策略等方向。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号