在2020年全球数字超算大会（SC20大会）上，NVIDIA宣布推出NVIDIA®Mellanox®400GInfiniBand产品，这是全球第一代400Gb/s网速的端到端网络解决方案，可为全球的AI和HPC用户提供最快的网络互连性能，同时将计算、可编程性和软件定义三种技术成功地融于一体，成为业界领先的软件定义、硬件加速的可编程网络，为全球的科研人员和工程人员设计新一代计算系统和提升应用性能提供了新的思路。
NVIDIAMellanoxInfiniBandNDR产品是第7代的InfiniBand产品，利用100Gb/s的PAM4Serdes技术，实现了400Gb/s的单端口传输带宽，是上一代产品的两倍，同时通过添加更多、更强大的加速引擎，实现了更强大的计算和通信能力。
NVIDIAMellanoxNDR400GInfiniBand产品系列
“SpeedOfLight”是关于NDRInfiniBand技术的第一个特征，通过加倍的带宽、更快的包处理能力（MessageRate），让基于RDMA、GPUDirectRDMA和GPUDirectStorage等先进通信技术的应用性能得到了进一步提升。InfiniBand网络是天然的SDN网络，可以让用户根据应用的属性来选择各种不同的网络拓扑，以达到最优的性能，如Fat-Tree、DragonFly+、各种Torus等。如通过DragonFly+网络拓扑可以在4个交换机Hop内达到一百万个节点的同时通信，这个规模远远超出了E级机、甚至10E级机或百E级机需要的规模；同时其天然的SDN属性也让动态路由和网络拥塞控制变得更容易实现。InfiniBand动态路由已经被广泛地应用到各种网络拓扑当中，成为优化通信性能的关键手段，如美国橡树林国家实验室的Summit超级计算机就通过动态路由将超算中心全网的通信效率从60%提升到了96%。NDRInfiniBand交换机在1U空间内可以支持64个400Gb/s的端口或128个200Gb/s的端口，是上一代交换机端口密度的3倍；它还将框式交换机系统的聚合双向吞吐量提高了5倍，达到1.64petabits/s，是全球端口数最多、交换容量最大的交换机。
硬件加速是InfiniBand网络的最大特色，随着越来越多的加速引擎被添加到InfiniBand硬件中来，进一步加大了其相对于其它网络技术的领先性。如NDRInfiniBand实现了对于业界最头疼的All2All和Allreduce通信的硬件卸载，能让MPI通信的性能提升四倍。NDRInfiniBand对于MPITagMatching的硬件卸载，实现了1.8倍的MPI通信性能提升。NDRInfiniBand可以实现对于NVMeoF的全面卸载，NVMeoF的Target卸载可以让存储系统在几乎不消耗Target端CPU的前提下达到数以百万级的IOPS，NVMESNAP可以实现对于NVMeoF的Iniator端的卸载，同时可以将InfiniBand网络模拟成NVMe磁盘提供给主机CPU，可以解决目前很多OS还没有NVMeoF的Iniator支持的问题，实现了对任何OS，无论是虚拟化还是物理机的全面NVMeoF的支持；InfiniBandFIOSNAP可以实现对于文件存储的本地模拟，让任何OS都可以享受最先进的分布式文件存储系统的性能优势。
InfiniBandSHARP（ScalableHierarchicalAggregaonandReduconProtocol）技术彻底消除了MPI或者NCCL的Allreduce操作中的多打一通信带来的IncastBurst问题，在保证所有端口全线速、共计12.8Tb/s或25.6Tb/s的数据输入的前提下，实现在交换机上的Allreduce、Barrier、Reduce和Broadcast计算，在NDR交换机上更是实现了相比上一代交换机32倍的计算性能提升。InfiniBandSHIELD（Self-Healing）技术实现了网络中链路故障的自修复，让网络无需等待管理软件的参与来恢复链路故障，实现了比传统的软件故障恢复快千倍以上的性能，让应用不再受困链路故障的干扰，提升应用的性能。
NVIDIAMellanoxNDR400GInfiniBand亮点
全部评论