英伟达希望通过将数据中心GPU连接到SSD来加速数据传输

微软本周将DirectStorage 引入 Windows PC。该 API 通过让游戏开发人员制作将图形数据从 SSD 直接加载到 GPU 的应用程序，承诺更快的加载时间和更详细的图形。现在，Nvidia 和 IBM 已经创造了类似的 SSD/GPU 技术，但他们的目标是数据中心的海量数据集。

大加速器内存 (BaM) 不是针对 DirectStorage 等控制台或 PC 游戏，而是旨在让数据中心快速访问 GPU 密集型应用程序中的大量数据，例如机器学习训练、分析和高性能计算。到 本周The Register发现的一篇研究论文 。英伟达、IBM 和几所大学的研究人员发表的题为“BaM：实现细粒度高吞吐量 GPU 协调访问存储的案例”( PDF ) 的论文提出了一种更有效的方式来运行下一代应用程序具有海量计算能力和内存带宽的数据中心。

BaM 与 DirectStorage 的不同之处还在于，系统架构的创建者计划将其开源。

该论文称，虽然 CPU 协调的存储数据访问适用于“经典”GPU 应用程序，例如具有“预定义、常规、密集”数据访问模式的密集神经网络训练，但它会导致过多的“CPU-GPU 同步开销和/或 I/O 流量放大。” 作者写道，这使得它不太适合使用图形和数据分析、推荐系统、图形神经网络和其他“细粒度数据相关访问模式”的下一代应用程序。

与 DirectStorage 一样，BaM 与 NVMe SSD 一起工作。根据该论文，BaM“通过使 GPU 线程能够按需读取或写入少量数据，由计算机确定，从而减轻 I/O 流量放大。”

更具体地说，BaM 使用 GPU 的板载内存，这是软件管理的缓存，以及 GPU 线程软件库。线程从 SSD 接收数据并在自定义 Linux 内核驱动程序的帮助下移动数据。研究人员在具有 Nvidia A100 40GB PCIe GPU、两个 AMD EPYC 7702 CPU(每个 CPU 有 64 个内核)和 1TB DDR4-3200 内存的原型系统上进行了测试。系统运行 Ubuntu 20.04 LTS。