Meta公布Llama 3训练集群细节!储备60万块H100迎接AGI
【新智元导读】LLM开源从Infra做起!Meta公布了自己训练Llama3的H100集群细节,看来Llama3快来了。每年3月份,照例各家大厂又要开始秀自己最新的产品和研究了。Meta的目标是创建灵活可靠的系统,以支持快速发展的新模式和研究。
Llama-3公布基础训练设施,使用49,000个H100
3月13日,社交、科技巨头Meta在官网公布了两个全新的24KH100GPU集群,专门用于训练大模型Llama-3。Llama-3使用了RoCEv2网络,基于Tectonic/Hammerspace的NFS/FUSE网络存储,继续使用了PyTorch机器学习库。将Meta的Tectonic分布式存储解决方案和Hammerspace结合在一起,可以在不影响规模的情况下实现快速功能迭代。
扎克伯格宣战AGI:Llama 3训练中,今年要囤35万块H100,砸近百亿美元
为了通用人工智能的宏大目标,扎克伯格正在给Meta的AI研究部门进行大幅度的改组。Meta首席执行官马克・扎克伯格宣布,他的公司正在致力于为人工智能助手构建「通用智能」并「负责任地开源」,Meta正在将其两个主要研究小组合并在一起以实现这一目标。扎克伯格表示,Meta今年将推出一个新平台,让任何人都可以创建自己的人工智能角色,并将其分发到Meta的社交应用程序中,比如Facebook、Instagram和Threads。