蚂蚁开源ATorch 、 Lookahead两项大模型技术
蚂蚁开源了两项与大模型相关的新技术:ATorch和Lookahead。ATorch是一个大模型分布式训练加速扩展库,可实现深度学习自动资源动态优化和分布式训练稳定性提升,可提升深度学习的智能性,千亿模型千卡级别训练的算力利用率可达60%。为了提高易用性,Lookahead的trie树构建不依赖额外的草稿模型,只利用推理过程中的prompt及生成的回答进行动态构建,降低了用户的接入成本。