高通发布面向数据中心的下一代AI推理优化解决方案，包括基于云端AI芯片Qualcomm AI200和AI250的加速卡及机架。两款芯片均采用高通Hexagon NPU，预计将分别于2026年和2027年实现商用。高通称，凭借该公司在NPU技术方面的优势，这些解决方案可提供机架级性能和出色的内存容量，以高性价比实现快速的生成式AI推理，有助于实现可扩展、高效且灵活的生成式AI。沙特支持的AI创企Humain将从2026年开始部署200兆瓦的高通新型AI机架。受此消息影响，高通股价飙升11%。
Qualcomm AI200推出一款专用机架级AI推理解决方案，旨在为大语言模型和多模态模型（LLM、LMM）推理及其他AI工作负载提供更高的内存容量、更低的总拥有成本（TCO）和优化的性能，支持每卡768GB LPDDR。Qualcomm AI250解决方案将首次采用基于近存计算的创新内存架构，通过提供超过10倍的有效内存带宽和更低的功耗，不仅支持分解式AI推理，还能高效利用硬件资源，同时满足客户对性能和成本的要求。两种机架解决方案均采用直接液冷以提高热效率，采用PCIe进行纵向扩展，采用以太网进行横向扩展，采用机密计算以确保安全的AI工作负载，机架级功耗为160kW。
这些解决方案都具有丰富的软件栈和与AI框架的无缝兼容性，使企业和开发人员能够跨数据中心部署安全、可扩展的生成式AI。其AI软件栈端到端覆盖从应用层到系统软件层，并针对AI推理进行了优化。开发者可通过高通的Efficient Transformers Library和高通AI推理套件，获得无缝模型导入和Hugging Face模型的一键部署。高通高级副总裁兼技术规划、边缘解决方案和数据中心总经理Durga Malladi称，凭借Qualcomm AI200和AI250，高通正在重新定义机架级AI推理的可能性。
Malladi还透露，高通将单独出售其AI芯片和其他部件，尤其是针对那些喜欢自行设计机架的超大规模数据中心客户。其他AI芯片公司也可能成为高通部分数据中心部件（如CPU）的客户。高通数据中心路线图每年更新一次，聚焦实现业界领先的AI推理性能、能效和业界领先的TCO。
全部评论