真·降维打击,Sora与Runway、Pika的对比来了,震撼效果背后是物理引擎模拟现实世界
以后的视频生成领域,恐怕真的只有OpenAI的Sora和其他模型了。OpenAI发布的首个文本生成视频模型Sora引爆了社区,其生成的长达1分钟的高清、流畅视频令人们惊叹不已,直呼「好莱坞的时代结束了」。更多详细内容,请参阅Sora原始技术报告。
GPT-4+物理引擎加持扩散模型,生成视频逼真、连贯、合理
扩散模型的出现推动了文本生成视频技术的发展,但这类方法的计算成本通常不菲,并且往往难以制作连贯的物体运动视频。为了解决这些问题,来自中国科学院深圳先进技术研究院、中国科学院大学和VIVOAILab的研究者联合提出了一个无需训练的文本生成视频新框架——GPT4Motion。感兴趣的读者可以阅读论文原文,了解更多研究内容。