腾讯AI实验室联合悉尼大学引入了GPT4Video 提升LLM的视频生成能力
最近在多模态大型语言模型领域取得了显著进展,但在多模态内容生成方面仍存在明显的空白。为了填补这一空白,腾讯AI实验室和悉尼大学的合作引入了GPT4Video,这是一个统一的多模型框架,使得大型语言模型具备了视频理解和生成的独特能力。该研究还提出了一种简单有效的微调方法,并发布了数据集,为未来的多模态LLMs研究提供了便利。
腾讯与悉尼大学联手打造GPT4Video:显著提升大语言模型视频生成能力
在多模态大型语言模型领域取得显著进展的同时,尽管在输入端多模态理解方面取得了显著进展,但在多模态内容生成领域仍存在明显的空白。为填补这一空白,腾讯人工智能实验室与悉尼大学联手推出了GPT4Video,这是一个统一的多模态框架,赋予大型语言模型独特的视频理解和生成能力。其在多模态基准测试中表现出色进一步强调了其卓越性能。
腾讯和香港科技大学开源视频生成模型VideoCrafter1 超越其他开源模型
腾讯和香港科技大学最近合作推出了一种全新的视频生成模型VideoCrafter,用于高质量视频生成。这个模型包括视频VAE和3D去噪U-net,经过在庞大的数据集上进行了训练,其性能表现出色,超过了其他开源视频生成模型。项目鼓励使用其代码、模型和数据的研究引用,并采用Apache2.0许可分发其代码、模型和数据。