Move AI推全新Move API 可轻松实现2D转3D
MoveAI近日推出了全新的MoveAPI,该API可以轻松从2D视频中捕捉生成3D运动数据。用户只需使用单一相机即可捕捉人物动作,操作简单,只需上传视频文件即可完成整个过程。这使得它适用于各种场景,如游戏开发、动画制作、虚拟现实和增强现实应用等。
提前对齐,视频问答新SOTA!北大全新Video-LLaVA视觉语言大模型,秒懂视频笑点
最近,来自北京大学等机构研究者提出了一种全新视觉语言大模型——Video-LLaVA,使得LLM能够同时接收图片和视频为输入。Video-LlaVA在下游任务中取得了卓越的性能,并在图片、视频的13个基准上达到先进的性能。这些结果证明了联合图片和视频一起训练能够促进LLM理解视觉表示。
谷歌AI视频再出王炸!全能通用视觉编码器VideoPrism,性能刷新30项SOTA
【新智元导读】谷歌团队推出「通用视觉编码器」VideoPrism,在3600万高质量视频字幕对和5.82亿个视频剪辑的数据集上完成了训练,性能刷新30项SOTA。AI视频模型Sora爆火之后,Meta、谷歌等大厂纷纷下场做研究,追赶OpenAI的步伐。尽管对比基线已经在K400上取得了有竞争力的结果,但所提出的全局蒸馏和token洗牌进一步提高了准确性。
AI视野:OpenAI公布Sora技术报告;Meta首发AI视频模型V-JEPA;ComfyUI发布最新3D Pack;Nomic AI 发布首个完全开源的长文本嵌入模型
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。
AI视频年大爆发!Gen-2/Pika成时代爆款,2023年AI视频生成领域的现状全盘点
2023年,也是AI视频元年。过去一年究竟有哪些爆款应用诞生,未来视频生成领域面临的难题还有哪些?过去一年,AI视频领域我们见证了,Gen-2、Pika等爆款产品的诞生。创作者将视频带到CapCut或Kapwing等编辑平台,并添加配乐和画外音,通常是在Suno和ElevenLabs等其他产品上生成的。
UP主“影视飓风”买了一颗国产卫星 拍摄宇宙360全景视频
B站UP主影视飓风”发布了最新一期视频《我们买了一颗国产卫星》。视频中介绍,影视飓风和Insta360公司共同出资定制了这颗微波炉大小的卫星,由长沙天仪研究院帮助研发制造,今年1月发射升空。相关介绍中称:北邮一号卫星还同时搭载了商业相机镜头模组”,指的应该就是Insta360全景相机。
北大全新「机械手」算法:辅助花式抓杯子,GTX 1650实现150fps推断|NeurIPS 2023
手是人类与世界交互的重要部分,手的缺失会大大影响人类的正常生活。北京大学董豪团队通过将扩散模型和强化学习结合,使机械手能根据人手腕部的移动轨迹,自适应的抓取物体的不同部位,满足人类多样化的抓取需求,目前该工作已被NeurIPS2023接收。论文一作吴天昊,现为北京大学博士生,导师为董豪老师,研究方向为灵巧手操纵算法。