今日凌晨,AMD推出Instinct MI300系列加速器的两款新品MI300X和MI300A,并演示在单个MI300X GPU上运行拥有400亿个参数的Falcon-40B大型语言模型。
MI300X是一个纯GPU版本,专为生成式AI设计,采用AMD CDNA 3技术,将12个5nm chiplets封装在一起,共有1530亿颗晶体管,提供多达192 GB的HBM3高带宽内存、5.2 TB/s的内存带宽和896GB/s的无限带宽,来加速大型语言模型和生成式AI计算。
根据AMD披露数据,MI300X的HBM密度是英伟达H100的2.4倍,带宽是英伟达H100的1.6倍。
MI300A被苏姿丰称作“面向AI和高性能计算的全球首款APU加速器”,在13个chiplets上拥有1460亿颗晶体管。MI300A采用5nm和6nm制程、CDNA 3 GPU架构,搭配24个Zen 4核心、128GB HBM3,相比MI250提供了8倍以上的性能和5倍以上的效率。