利用 NVIDIA SHARP 网络计算提升系统性能
AI 和科学计算是分布式计算问题的典型示例。这些问题通常计算量巨大，计算很密集，无法在单台机器上完成。于是，这些计算被分解为并行任务，由分布在数千个 CPU 或 GPU 的计算引擎上运行。 为了实现可扩展的性能，需要把工作负载划分在多个节点，如训练数据、模型参数或两者一起划分。然后，这些节点之间需要频繁交换信息，例如模型训练中反向传播期间新处理的模型计算的梯度。这些通信往往需要高效的集合通信
NVIDIA
NVIDIA英伟达网络 . 2024-11-19 1 2 1870
- 1