上海人工智能实验室最新项目PIA放出演示 可将写实照片转换成3D动漫效果
上海人工智能实验室最新的项目PIA已经放出演示,该项目通过文本控制图片中的内容来生成视频。它可以将写实的照片转换成偏3D动漫的效果。用户可以根据自己的需求定制图像动画效果,让用户能够通过图像传达自己独特的故事和情感。
Champ:基于3D的人物图片转视频动画
在数字媒体和娱乐行业,如何将静态的人物图片转化为动态的视频一直是一个挑战。一项名为Champ的新技术,让这个任务变得简单高效。无论在任何场景下,只要有合适的输入,Champ都能生成逼真的人类动画。
Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放
3D生成领域迎来新的「SOTA级选手」,支持商用和非商用。StabilityAI的大模型家族来了一位新成员。更多技术细节和实验结果请参阅原论文。
Stability AI推Stable Video3D(SV3D)传图可生成3D视频
StabilityAI推出了StableVideo3D,这是一款用于生成3D视频的新型genAI工具。SV3D是在稳定AI之前的StableVideo技术基础上开发的,该技术使用户能够从图像或文本提示中生成短视频。SV3D_p则扩展了这一功能,既可以使用单个图像,也可以使用轨道视图,允许用户沿指定的摄像机路径创建3D视频。
OpenAI或用3D引擎/虚幻引擎训练视频模型Sora
OpenAI最近发布了多段由Sora生成的视频,展示了令人惊叹的3D效果。这些视频内容丰富,包括潜水探索沉船、描述日本江户时代宁静场景的立体模型等。这些视频不仅在视觉上令人惊叹,同时也引发了人们对人工智能技术在创作和娱乐领域的无限想象。
周鸿祎称Sora生成视频堪比CG:未做3D建模 只需文字就可逼真描绘
今日,周鸿祎再次谈到Sora视频模型,他表示Sora生成视频堪比CG。周鸿祎发视频称,Sora有三个片段让他觉得非常惊讶。周鸿祎表示,Sora是记录文生视频AIGC的工具,它反映了AI对世界的理解,是从文字进入图像,再从图像展示对这个世界3D模型的理解。
AI视野:OpenAI公布Sora技术报告;Meta首发AI视频模型V-JEPA;ComfyUI发布最新3D Pack;Nomic AI 发布首个完全开源的长文本嵌入模型
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。
谁能想到,一款3D建模AI工具成了Ins网红的视频创作利器
近期话题热度拉满的《幻兽帕鲁》AI抄袭瓜,想必各位一线冲浪玩家已经略有耳闻了。背后最大的争议之一在于,无经验的小团队快速开发出3D游戏大作,遥遥领先以往同类项目的生产力。
阿里MotionShop怎么用?MotionShop视频转3D详细使用教程
阿里又推新项目——MotionShop,通过它可以将视频中的角色替换为3D化身。很多用户可能没概念,这个我们日常中用得到?普通人能怎么玩?实际上,对于玩抖音、快手等平台的用户来说,MotionShop的最终玩法和通义千问的全民舞王有点像,就是你可以利用这个工具来制作好玩的视频。然后等待视频生成即可~这个过程预计需要等待十分钟。
阿里推新项目MotionShop 可将视频中的角色替换为3D
阿里巴巴推出了名为MotionShop的新项目,这一项目可以将视频中的角色替换为3D化身。MotionShop利用先进的视频处理和3D渲染技术,能够高效地将视频中的某个角色替换为3D人物,同时不改变视频中的其他场景和人物。第一步:上传一个包含人物的视频;第二步:选择视频中要替换的人物;第三步:选择要替换的虚拟角色模型并点击生成,等待10分钟即可生成结果。
实时渲染3D技术BakedAvatar 可通过简短视频复制出人物3D头部
BakedAvatar是一项实时创建和渲染逼真的动态3D头像的技术。它可以通过简短的视频复制出人物的3D头部模型,并精确捕捉面部特征,模拟表情和头部运动。所有这些功能都能够在不牺牲渲染质量的情况下实时进行,对于需要快速反应和实时更新的应用非常重要。
浙大研究团队推新AI框架Human101:单视角视频构就能重建3D数字人
在虚拟现实领域,快速创建定制虚拟人物并实现与其互动是一个普遍的应用场景。以往的方法在快速重建高保真3D数字人体和实时渲染之间往往难以平衡。Human101通过引入创新的技术和实用的方法,成功地解决了单视角视频中快速建模和实时渲染之间的矛盾,为实时交互应用和沉浸式虚拟现实体验提供了可行的解决方案。
苹果最新AI研究或彻底改变iPhone体验 比如可从视频生成逼真3D头像
总部位于加利福尼亚的科技巨头苹果公司再次在人工智能领域取得重大突破,通过两篇新论文介绍了关于3D头像和高效语言模型推理的新技术。这些创新有望实现更沉浸式的视觉体验,并使复杂的AI系统能够在iPhone和iPad等消费设备上运行。苹果通过这些创新为人工智能的未来打开了新的大门,为用户带来了更加丰富和先进的体验。
创新3D技术Gaussian-SLAM 通过分析视频重建逼真的3D场景
Gaussian-SLAM是一项新兴技术,可以通过分析视频流中的图像来创建逼真的3D模型,从重建现实世界场景。通过观看一个视频,Gaussian-SLAM可以分析视频中的图像,能够理解视频中的环境布局和物体的位置。这项技术的出现为模拟现实世界和创造逼真的虚拟环境提供了新的可能性。
走在GPT 4.5前面?3D、视频直接扔进对话框,大模型掌握跨模态推理
给你一首曲子的音频和一件乐器的3D模型,然后问你这件乐器能否演奏出这首曲子。你可以通过听觉来辨认这首曲子的音色,看它是钢琴曲还是小提琴曲又或是来自吉他;同时用视觉识别那是件什么乐器。用等价的线性投影模块替换其中一个Q-Former后,图像-3D的性能会下降一半以上,音频-视频的性能会下降超过10个点。
突破性AI方法WHAM:精确有效地预测视频中3D人体运动
在最新的研究中,卡内基梅隆大学和马克斯·普朗克智能系统研究所的研究人员共同发布了一项名为WHAM的创新性AI方法。这一方法在精准性和效率方面实现了从视频中准确估计3D人体运动的突破。8.通过深入的剖析研究,验证了该方法的准确性。
视频生成框架WonderJourney:一句话一张图就能生成无限3D画面
斯坦福的华人研究人员最近推出了一项引人注目的创新视频生成框架WonderJourney,该框架可以通过一句话或一张图生成令人惊叹连贯的3D场景。这项技术由一位华人退学博士开发的Pika技术引领,成功地将人工智能技术与艺术相融合,开辟了一片新的视觉创作领域。这一创新有望在艺术、影视制作等领域带来新的可能性,为创作者提供更广阔的创作空间。
图片、视频直接生成3D高斯分布!免费体验,已正式商用
图源备注:图片由AI生成,图片授权服务商Midjourney知名3D扫描应用企业Polycam在官网宣布,结束对3DGAUSSIANSPLATS的测试,正式投入商业使用。3DGS是一款通过图片或视频,就能直接生成3D高斯分布的生成式AI产品。3DGS的渲染速度非常快,如果图片质量、视频比较小,完全能够做到实时交互。
NeRF技术:一种新的视频转3D模型技术
使用NeuralRadianceFields技术将标准RGB视频素材转化为可控制的3D模型,为数字人物的制作提供了崭新的途径。制作逼真的3D模型需要昂贵的设备和繁琐的手工建模,使其在一般情况下难以实现。这一领域的发展有望为游戏、虚拟现实和电影等行业带来更具成本效益和高效的数字人物制作方法。
新NeRF技术:将视频转化为可控制的3D模型 创建数字人更简单了
FraunhoferHeinrichHertz研究团队取得重大突破,他们引入了一项全新技术,使用神经辐射场将标准RGB视频转化为可控制的3D人体模型。这一创新代表了计算机图形领域中的一项重要进展,解决了从视频片段中创建逼真、可控制的3D模型一直以来的难题。这项工作将数字人物的创建变得更加可行,为个人创作者和小型制作团队带来更多应用可能性。