突破大算力瓶颈:华为支持超万亿参数大模型训练 等效于18000张卡
在华为全联接大会2023期间,华为正式发布全新架构的昇腾AI计算集群Atlas900SuperCluster,可支持超万亿参数的大模型训练。华为常务董事、ICT基础设施业务管理委员会主任、企业BG总裁汪涛介绍,新集群采用全新的华为星河AI智算交换机CloudEngineXH16800,借助其高密的800GE端口能力,两层交换网络即可实现2250节点超大规模无收敛集群组网。华为改变传统的服务器堆叠模式,以系统架构创新打造AI集群,实现算力、运力、存力的一体化设计,突破大算力瓶颈。