AMD发布系列AI芯片，英伟达最强竞争对手来了｜智涌分析
文｜杨逍
编辑｜苏建勋
AMD带来了更强的AI芯片。
12月7日凌晨，AMD召开发布会，正式推出AI芯片——用于训练和推理的MI300X GPU，和用于HPC（高性能计算）的MI300A APU，以及用于AI PC 上的Ryzen 8040系列移动处理器，可谓带来了整个AI大礼包。
一年前，AMD曾预测到2027年AI工作负载的市场空间将达到1500亿美元。如今， AMD将认为2027年会达到4000亿美元。
AMD CEO苏姿丰表示：“英伟达现在占有大量市场，但是我们可以在这个市场分一杯羹。”
在算力芯片竞争激烈的当下，AMD被认为是最有望与英伟达竞争的公司。
这次发布会，AMD也没有让大家失望。它从各个维度对比了其MI300X芯片与英伟达H100的参数，都有1.3倍甚至2倍的数据提升。
目前，MI300X已经向HPE、戴尔、联想、SuperMicro等OEM厂商发货，预计将于下季度上市。该产品将会被用于微软Azure和甲骨文云上。
AMD还宣布推出了Instinct MI300A APU，将主要用于HPC市场。它已被用于美国劳伦斯利弗莫尔实验室正在安装的超级计算机El Capitan，它将会成为世界上第一台2 Exaflop的超级计算机。
除了用于数据中心的产品，AMD还带来了用于笔记本电脑的处理器——添加AI功能的Ryzen 8040系列移动处理器。
此外，AMD还路透了Ryzen AI路线图，称下一代Ryzen AI CPU将在2024年出货，代号为“Strix Point”，能将性能提高到上一代产品的3倍以上。
MI300X ：推理速度比H100更快
MI300推出时，便被认为是H100的最大竞敌。
为了更好地在数据中心市场竞争，AMD将其GPU产品线分为用于图形的RDNA产品线和用于计算的CDNA产品线。
此次发布的MI300X GPU采用CDNA3架构，主要用于计算引擎，有192GB的HBMS，5.3TB/S的内存带宽和和达到896GB/s的Infinity Fabric带宽。
在架构设计上，MI300X GPU也有其独特之处，它有8个XCD（加速计算芯片）、4个IO芯片（接口芯片）、8个HBM3堆栈（三星高性能存储芯片），有256MB缓存，采用3.5D封装。
在这种架构设计下，它有1530亿个晶体管，是一款非常大的芯片。这让其在AI领域比H100（可能更接近H200）更快，内存更大。
在AMD看来，MI300X在高性能计算场景，性能上是NVIDIA H100的2.4倍，在人工智能方面约为1.3倍。
AMD CEO苏姿丰表示 “当你向模型提问时，你希望它能更快地返回，尤其是当答案变得更加复杂时。”
苏姿丰介绍道，MI300X与H100相比，拥有更大的高带宽内存，MI300X采用了八个HBM3堆栈，容量达到192GB，而H100只有80GB。
在性能上，MI300X的训练速度和H100相当。
但在推理上，AMD具有优势，在运行Bloom时，MI300X的推理速度是H100的1.6倍，运行Llama2时，推理速度是1.4倍。
AMD目前并未透露MI300X的定价，但Nvidia的产品售价约在4万美元。苏姿丰表示，AMD芯片的购买和运行成本必须低于Nvidia的芯片没，才能说服客户购买。
目前，该硬件已经向HPE、戴尔、联想、SuperMicro等OEM厂商发货，预计将于下季度上市。
Meta表示将使用MI300X GPU来处理AI推理工作负载，例如处理AI贴纸、图像编辑和操作其助手。
AMD还有多个云合作伙伴。微软表示，MI300X现已在Azure上推出预览版，甲骨文云也将与AMD合作。
MI300A ，面向HPC市场的APU
会上，AMD还带来了业内首款用于数据中心领域的APU，它将CPU和GPU结合在同一个封装中，产品定位是与英伟达的Grace Hopper Superchips竞争。
MI300A与MI300X采用相同的基本设计和方法，MI300A采用6个XCD（计算单元），4个IO die（接口芯片），并8个HBM3堆栈，它拥有高达256MB的AMD Infinity Cache，在设计上采用了3.5D封装的设计。
不过MI300X采用12Hi HBM3堆栈，容量为192GB，而MI300A使用 8Hi堆栈，容量为128GB。调整内存，是为了抑制功耗、热量和成本，这些是传统HPC（高性能计算市场）市场最在意的点。
这款APU有一个很大的优势，它无需在CPU\GPU直接进行数据传输。在产品设计上，MI300A的内存可以同时支持GPU、GPU，这意味着，它无需在CPU和GPU之间进行数据传输，能节省下大量的工作和消耗。
AMD表示MI300A的能效是NVIDIA GH200的两倍。这款产品也将是H200的主要竞争对手。
功耗上，AMD Instinct MI300X的额定功率为750W，比Instinct MI250X的500W提升了50%，比NVIDIA H200多了50W。
这款性能强大的APU芯片，也是AMD为El Capitan 超级计算机提供动力的芯片，El Capitan将成为世界上第一台2 Exaflop超级计算机。这也侧面证明了AMD的实力。
MI300A在处于量产中，将在不久后上市。
发布ROCm 6加速器，绕开Cuda壁垒
虽然在硬件上有不错的性能，但AMD的软件能力一直较弱，难以支持开发者完成各种工作。
在发布会上，AMD首席技术官Victor Peng分享了ROCm的最新进。ROCm是AMD的开源软件栈，它是Nvidia CUDA的竞争对手。下一代ROCm 6将于本月末推出。
这款ROCm 6软件栈主要针对生成式AI（尤其是大型语言模型）进行了优化，可以支持、高级图形和内核优化、优化库和最先进的注意力算法（attention algorithms）等。
在运行vLLM时，ROCm 6能带来2.6倍的改进，与MI300X和ROCm 5的结合相比，ROCm 6能为MI300X带来8倍的优化。
目前，Instinct系列上运行着62,000个AI模型。Peng表示，ROCm 6 的到来，将会让AMD在软件上得到更广泛的拓展，未来会有更多模型在MI300X上运行。
Peng认为，开放生态系统的ROCm相比封闭的Nvidia Cuda具有优势。
例如，随着数据中心对GPU的需求量越来越大，如何将不同的GPU串联、进行通信，成为让数据中心运行更大规模数据的关键之一。AMD 的Infinity Fabric 技术是对外开放的。而Nvidia的CUDA则是专有的系统。对AMD来说，这将有效拓展网络协议合作公司数量。
未来，AMD 会继续与Hugging Face和PyTorch等合作，构建开源生态系统。
OpenAl也宣布，在Triton 3.0中会添加了AMD Instinct加速器的支持，希望提供开箱即用的支持，让开发人员可以在AMD硬件上做更多工作。
锐龙8040：让电脑跑起来大模型
除了数据中心市场，消费者市场也一直是AMD关注的重要市场。
AMD CEO苏姿丰表示，AMD会将NPU功能XDNA集成到锐龙7040芯片中，让锐龙7040具有人工智能加速功能，帮助在电脑上运行人工智能应用。
此外，苏姿丰宣布推出锐龙8040系列，代号Hawk Point。AMD声称AI工作负载的性能提高了60%。预计从2024年第一季度开始，为华硕、戴尔、惠普、联想和Razer等领先OEM厂商将供货
为了让芯片更好地用起来，AMD也一直在Windows系统上构建启用人工智能加速的软件生态系统。
目前，AMD也与微软达成合作，希望利用AI处理能力扩大AI生态系统。配备锐龙8040系列处理器后，用户可以访问开箱即用的使用AI，锐龙也会为用户提供隐私保护功能。
AMD也发布了Ryzen AI 1.0软件，这款软件将帮助客户在配备了NPU的笔记本电脑上轻松部署人工智能模型，支持在PyTorch或TensorFlow等框架中训练的机器学习模型。而通过Hugging Face提供的预先优化过的模型库，用户可以在几分钟内开始启动并运行AI模型。
此外，苏姿丰还透露了将于明年推出的下一代“Strix Point”处理器，锐龙8040相比，支持生成式AI的性能会提高三倍。
2023年，英伟达在数据中心几乎占据所有市场，到2024年，随着AMD多款产品的推出，以及英特尔Gaudi 3产品的上市，数据中心市场将迎来新的市场竞争格局。
36氪旗下AI公众号