一种用于大规模AI分析的并行处理与基于块的I/O集成通用算法
《Data & Knowledge Engineering》:A generic algorithm integrating parallel processing and block-based I/O for large-scale AI analytics
【字体:
大
中
小
】
时间:2026年08月28日
来源:Data & Knowledge Engineering 3.9
编辑推荐:
## 摘要
用作人工智能模型输入的经过汇总和特征工程处理后的数据集,通常比原始大数据文件小几个数量级。因此,在普通计算机上本地计算模型,或在云端使用强大的虚拟服务器计算模型是可行的。从机器学习理论的角度来看,线性回归是一种基本的预测模型,当与非线性激活函数结合时,它构成了神
## 摘要
用作人工智能模型输入的经过汇总和特征工程处理后的数据集,通常比原始大数据文件小几个数量级。因此,在普通计算机上本地计算模型,或在云端使用强大的虚拟服务器计算模型是可行的。从机器学习理论的角度来看,线性回归是一种基本的预测模型,当与非线性激活函数结合时,它构成了神经网络的构建模块。历史上,数据库系统集成了高度优化的算法来存储、更新和分析大规模数据,但其数学能力相对有限。因此,人工智能分析逐渐迁移到数据库系统之外,主要集中在Python生态系统中,遗留了许多统计软件包。受此差距的启发,并借鉴数据库系统的核心原理,我们引入了一种通用的并行算法,通过集成两个基本的数据库优化技术——基于块的I/O和用于并行处理的数据分区——来加速AI模型的计算。该系统采用单文件多指针(SFMP)系统架构和多进程编程,使用Python实现。我们通过理论和实验证明了该通用算法可以结合两种互补且成熟的解决方案——基于充分统计量的数据汇总和随机梯度下降——来加速线性回归并将其扩展到主内存限制之外。我们进行了广泛的实验评估,验证了其准确性并展示了显著的I/O加速效果。我们还分析了并行加速趋势,并确定了适用于不同维度大数据集的最优参数设置。最后,我们描述了哪些分析计算最适合使用我们的并行I/O算法。
## 引言
每天,世界都在产生"大数据"。这些数据来源于网络服务器日志、传感器读数、文档和图像等多种来源。这种"原始数据"体量庞大且结构混乱。这些原始数据无法直接作为机器学习算法的输入。相反,我们需要对其进行处理和清理,使其成为可用的"数据集"。管理这些混乱的数据流水线是现代数据工程中的一个重大障碍[1]。即使经过筛选处理,数据仍然相对庞大(通常包含数百万行),且富含统计信息。高效处理这些大型数据集是一个主要挑战,尤其是在确保数据摄入期间的数据质量方面[2]。
Python是数据科学领域的主导语言,广泛应用于从代码漏洞检测[3]到连接高级软件与硅架构[4]等各类任务。大多数数据科学家使用的是单台配备多核CPU和本地存储的强大服务器。他们通常也不会运行复杂的分布式集群,如Hadoop或Spark。然而,常规的Python工具(如pandas)面临两个主要问题。第一,它们通常按顺序读取文件(逐个读取),使多核CPU处于空闲状态。其次,它们试图一次性将整个数据集加载到主内存中,当数据集超出可用RAM时会导致崩溃——这一问题被称为"内存墙"。这两种故障共同定义了我们所称的I/O瓶颈:完整的数据摄入流水线,包括从磁盘物理读取原始字节和将文本逻辑反序列化到内存,必须在任何模型训练开始前全部完成。近期的工作试图提高以数据为中心的Python的生产力和性能,以解决这些开销问题[5]、[6]。在本文中,我们专门研究线性回归这一基本算法(作为复杂神经网络的基础)背景下的这一问题。
为了解决这些问题,我们提出了一种在Python中实现更快数据摄入的并行方法,无需使用集群。我们提出了单节点上的"无共享"进程级架构,其中工作进程拥有独立的本地状态并处理不相交的文件分区[7]。该机器被视为由主进程协调的一组独立工作进程的集合,遵循经典的"主-从"和数据并行计算范式[8]。我们没有将大型数据集物理拆分为多个文件,而是引入了一种单文件多指针(SFMP)架构。使用显式的字节偏移量,每个工作进程动态跳转到其分配的逻辑分区,并独立地从单个CSV文件中读取,这与数据并行执行框架一致[9]、[10]。通过分小块处理数据,我们确保内存使用保持低且受限,无论数据集大小如何。
本文是先前工作[11]的重要扩展,扩展了理论成本模型,并在可复现的云环境中使用SGD及汇总方法对大数据集进行了全面的实验评估。在本文中,我们的贡献如下:
- **成本模型与调优**:我们开发了一种分析模型和指南,说明如何选择适当的块大小和工作处理器数量,使用户能有效地在I/O吞吐量和CPU利用率之间进行权衡。
- **无共享并行模板**:我们在单台多核机器上实现了主-从并行算法。在该模型中,工作进程执行基于块的扫描以生成紧凑的本地摘要,而主进程在内存中聚合并更新全局模型。
- **小内存占用**:我们实现了一种工作进程端的块扫描,无论数据集总大小如何都保持较小的内存占用。这消除了主内存容量障碍,使我们的系统能够处理远大于可用物理内存的普通CSV数据集。
- **应用于线性模型**:我们通过将其应用于两个经典的线性建模问题来展示该模板的通用性:计算闭式线性回归的充分统计量以及计算随机梯度下降(SGD)的梯度。
我们在现代云服务器上的实验评估验证了这些贡献。在一个包含1亿行、10个维度大规模数据集上,与Dask基线相比,我们的优化实现将汇总的端到端运行时间减少了约1.45倍,SGD减少了4.05倍。
本文的其余部分结构如下。第2节介绍全文使用的定义和计算模型。第3节描述所提出的并行架构,并给出用于汇总和梯度下降的并行算法。第4节呈现实验结果和性能分析。第5节描述相关工作。第6节总结并讨论进一步工作的方向。
### 第2节:定义
在本节中,我们介绍论文中使用的基本符号和模型。我们重点关注解决该问题的两种主要方式:充分统计量和基于梯度的优化。下表1展示了全文中使用的基本符号及其描述。
### 第3节:并行算法与实例
在本节中,我们解释所采用的并行算法。我们使用"分布式内存"模型,即有一个主处理器和一些工作处理器。我们首先阐述高层次的思想,然后通过两个具体示例进行说明:充分统计量和随机梯度下降(SGD)。
### 第4节:实验评估
本节呈现了用于线性回归的并行I/O高效算法的实验评估。所有原始测量数据(时间、加速比以及云实验的I/O与CPU分解)均收集在单个Excel文件中,支持可复现性和事后分析。我们首先描述实验环境和数据集。然后我们分析汇总算法和并行随机梯度下降(SGD)算法产生的系数的准确性。
#### 充分统计量中的并行处理
虽然Python库高效地封装了C++和C语言代码以实现线性代数和数值方法,但I/O子系统仍然是一个重大瓶颈,尤其是对于以CSV格式存储的大型数据集。对分布式深度学习系统的近期分析[18]指出,尽管存在异步预取机制,I/O子系统仍因元数据开销和共享文件系统争用而阻塞计算。在该模型中,后台线程解码数据并将其传输到共享内存
### 第6节:结论
在本文中,我们描述了一种用于Python中机器学习算法快速数据摄入的两阶段并行方法。在第一阶段,工作处理器使用我们的单文件多指针(SFMP)框架,通过基于块(分块)的I/O并行地计算向量和矩阵方程的部分和;在第二阶段,中央主进程整合这些和以更新模型。我们成功地在单台多核机器上消除了读取大型CSV文件的瓶颈,方法是处理CR
---
**作者贡献声明**
Dipta Chandra Paul:调查。Hashirul Quadir:撰写—初稿,调查。Ladjel Bellatreche:撰写—审稿与编辑,方法论,调查。Carlos Ordonez:撰写—审稿与编辑,方法论,调查。
**生成式人工智能及AI辅助技术声明**
在准备本文期间,作者使用了[Google Gemini和Grammarly]以[提高文本的清晰度并解决语法相关问题]。在使用该工具/服务后,作者对内容进行了审阅和编辑,并对已发表文章的内容承担全部责任。
**利益冲突声明**
作者声明,他们没有已知的竞争性财务利益或个人关系可能影响本论文中报告的工作。
Carlos Ordonez于2000年在美国佐治亚理工学院获得计算机科学博士学位。Carlos目前是休斯顿大学的教授,领导数据科学系统实验室。Ordonez博士在Teradata DBMS上工作了8年,扩展了机器学习和立方体技术。Ordonez博士于2014年至2016年在MIT担任访问研究员,2014年至2015年在AT&T Labs担任研究科学家。他的研究集中在机器学习与
---
Dipta Chandra Paul | Hashirul Quadir | Ladjel Bellatreche | Carlos Ordonez
美国休斯顿大学
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号