视频生成模型Motion-I2V:支持控制视频运动轨迹
Motion-I2V是一种新型的视频生成模型,可以像Runway的运动笔刷一样控制视频生成。它能够从一张静态图片生成连贯且可控制的视频,效果惊人!这个技术还能对生成视频进行运动控制,例如可以生成一辆车在道路上行驶的视频还能控制车辆的行驶方向和速度等细节。这个技术还能够做到从一个视频转换到另一个视频不需要额外的训练数据,这是通过在第二步骤中引入的一种新技术
英伟达出品!文生图模型TrailBlazer:利用边界框控制视频对象轨迹
在最近的文本到视频生成方法中,实现合成视频的可控性通常是一个挑战。通常情况下,为了解决这个问题,需要提供低级别的每帧指导,如边缘图、深度图或待修改的现有视频。5.高效且自然的运动生成:尽管使用简单的边界框进行指导,TrailBlazer生成的运动效果仍然非常自然,包括透视效果和随着边界框大小增加向虚拟摄像机移动等出现的效果。
商汤科技提出Story-to-Motion:从长文本生成人体运动轨迹
人工智能正逐渐渗透到各行各业,其中一项重要的进展是通过长篇文本生成自然人类运动,这在动画、游戏和电影等领域具有巨大潜力。从文本到运动的转化一直是一个巨大挑战,尤其是在处理角色在不同区域移动和执行特定动作时。这项研究的成果为人工智能技术在创意产业中的应用开辟了新的可能性,有望为相关领域带来巨大的发展。