科学家创新技术用更少的GPU训练ChatGPT级别万亿参数模型
科学家们在世界上最强大的超级计算机上取得了巨大突破,仅使用其8%的计算能力,成功训练了一个与ChatGPT规模相当的模型。这项研究来自著名的OakRidgeNationalLaboratory,他们在Frontier超级计算机上采用了创新技术,仅使用数千个AMDGPU就训练出了一个拥有万亿参数的语言模型。这项研究为未来训练巨大语言模型提供了宝贵的经验和方法,同时也突显了分布式训练和并行计算在实现这一目标上的关键作用。