字节万卡集群技术细节公开:2天搞定GPT-3训练,算力利用率超英伟达Megatron-LM
随着对Sora技术分析的展开,AI基础设施的重要性愈发凸显。来自字节和北大的一篇新论文在此时吸引关注:文章披露,字节搭建起的万卡集群,能在1.75天内完成GPT-3规模模型的训练。剪映旗下类似Sora的AI视频工具已经启动邀请内测。
台积电产能利用率回升:谷歌、微软和特斯拉等 AI 芯片客户接受涨价
据半导体厂商表示,目前台积电的产能利用率正在缓步回升。7/6纳米工艺的产能利用率曾经下降到40%,现在已经回升到约60%左右,预计到年底有可能达到70%。按美元计算,台积电第三季度的营收为172.8亿美元,同比下降了14.6%,但比上一季度增长了10.2%。
Alluxio推出AI训练平台,GPU利用率提高4倍
Alluxio最近推出了一款全新的企业AI平台,通过使用高速缓存,可以将GPU设置的工作效率提高4倍。由于采用了数据虚拟化平台和全新的DORA架构,整体模型培训流程的速度提高了20倍。这将有助于提高深度学习项目的效率,降低成本。