北大字节开辟图像生成新范式,超越Sora核心组件DiT,不再预测下一个token
北大和字节联手搞了个大的:提出图像生成新范式,从预测下一个token变成预测下一级分辨率,效果超越Sora核心组件DiffusionTransformer。并且代码开源,短短几天已经揽下1.3k标星,登上GitHub趋势榜。他硕士毕业于浙江大学,目前的研究重点是视觉基础模型、深度生成模型和大语言模型。
北大字节提出图像生成新范式VAR 超越Sora核心组件DiT
北大与字节跳动AILab联合提出了一种图像生成新范式——VAR,这一新方法的核心在于预测下一级分辨率非传统的预测下一个token。VAR的提出不仅在图像生成质量上超越了Sora的核心组件DiffusionTransformer在推理速度上也实现了20倍以上的提升。VAR的开源也体现了学术界与工业界合作的积极成果,有助于推动整个AI领域的发展和创新。
MDTv2开源,Sora 核心组件 DiT 训练提速 10 倍
由颜水成和程明明领衔的研究团队在Sora核心技术上进行了重要的升级,推出了MaskedDiffusionTransformerV2。该模型在ImageNetbenchmark上取得了惊人的成绩,FIDscore达到1.58,刷新了State-of-the-Art。这一工作符合Sora的期望,通过生成模型构建物理世界模拟器的理念,为未来的表征学习和生成学习研究提供了有力的启示。