周鸿祎称Sora生成视频堪比CG:未做3D建模 只需文字就可逼真描绘
今日,周鸿祎再次谈到Sora视频模型,他表示Sora生成视频堪比CG。周鸿祎发视频称,Sora有三个片段让他觉得非常惊讶。周鸿祎表示,Sora是记录文生视频AIGC的工具,它反映了AI对世界的理解,是从文字进入图像,再从图像展示对这个世界3D模型的理解。
AI视野:Meta开源文生图模型RCG;百川智能发布角色大模型;AMD推AI电脑处理器Ryzen8000G;大众汽车将ChatGPT集成至多款车型
麻省理工与Meta共同开发了“表示条件的图像生成”模型,无需任何人工标注,生成出来的图片效果显著。新AI图像分割方法GenSAM:一个提示实现批量图片分割GenSAM模型通过通用任务描述,实现对图像的有针对性分割,摆脱了对样本特定提示的依赖。
何恺明与MIT合作推出自条件图像生成框架RCG
何恺明与MIT合作推出的自条件图像生成框架RCG在学术圈引起关注。这一框架成功填补了长期存在的有条件和无条件生成任务性能差距,取得了ImageNet-1K数据集上无条件图像生成的新SOTA成绩。何恺明与MIT的合作研究为无条件图像生成领域带来了新的突破,RCG框架的成功应用表明自条件图像生成模型具有巨大的潜力,可能预示着这一领域新时代的到来。
采用AI与机器学习提升视觉效果:索尼PS5 Pro有望采用专属DLSS技术
索尼旗下的PS5Pro能会在明年9月发布。该知情人士还透露了PS5Pro正在研发的新技术。如果传闻为真的话,PS5Pro的性能将与AMDRadeonRX7700XT显卡的性能相当这款显卡并没有以4K为卖点销售。
更小更强大!Hugging Face发布8B开源视觉语言模型Idefics2
HuggingFace首次发布了其Idefics视觉语言模型,该模型于2023年首次亮相,采用了最初由DeepMind开发的技术。Idefics迎来了升级,新版本Idefics2拥有更小的参数规模、开放许可证以及改进的光学字符识别能力。Idefics2的发布是AI繁荣持续推出的许多多模态模型之一,包括Reka的新Core模型、xAI的Grok-1.5V和Google的Imagen2。
VQAScore官网体验入口 AI文本到视觉生成评估工具使用地址
VQAScore是一种新的评估指标,旨在更好地评估复杂的文本到视觉生成效果。这一指标结合了CLIP-FlanT5模型,能够在文本到图像/视频/3D生成评估中实现最佳性能,是评估和优化文本到视觉生成模型的强大工具。如果您希望了解更多信息并开始使用VQAScore进行评估,请访问VQAScore官方网站。
研究人员推新AI框架CyberDemo:通过视觉观察让机器人模仿学习
加利福尼亚大学圣地亚哥分校和南加利福尼亚大学的研究人员最近推出了一种名为CyberDemo的新型人工智能框架,旨在通过视觉观察进行机器人模仿学习。传统的模仿学习方法通常需要大量高质量的示范数据来教导机器人完成复杂任务,特别是对于需要高度灵巧的任务来说。虽然为每个任务设计模拟环境需要额外的工作,但减少了数据收集的人为干预,并避免了复杂的奖励设计�
又给Sora“找茬” LeCun放出「视觉世界模型」论文:这才是AI学习物理世界的关键
LeCun在「视觉世界模型」论文中详细介绍了世界模型在AI学习物理世界中的关键作用。世界模型相比自回归学习范式能更好地理解世界,掌握物理世界的关键。LeCun的「视觉世界模型」论文有望成为AI学习物理世界的关键里程碑。
机器人Ameca已经具备视觉能力 类人反应令人惊叹
在科技领域,类人机器人Ameca的最新进化令人瞩目。通过拥有视觉能力和多模态AI功能,Ameca不仅能够观察周围环境能模拟人类的情感和反应。广泛的传感器系统和底层操作系统的支持,使得Ameca能够精准模拟人类行为和情感反应,展现出令人惊叹的类人化水平。
谷歌AI推出ScreenAI:用于UI和信息图解读的视觉语言模型
划重点:⭐️GoogleAI团队提出了ScreenAI,这是一个视觉语言模型,可以全面理解UI和信息图。⭐️ScreenAI在多个任务上表现出色,包括图形问答,元素注释,摘要生成等。通过利用这些组件的共同视觉语言和复杂设计,ScreenAI为理解数字内容提供了全面的方法。
InternLM-XComposer2官网体验入口 视觉语言AI模型文本图像合成在线使用地址
InternLM-XComposer2是一款领先的视觉语言模型,专注于自由形式文本图像合成与理解。该模型不仅能理解传统的视觉语言能从各种输入构建交织的文本图像内容,实现高度可定制的内容创作。InternLM-XComposer2的产品特色自由形式文本图像合成文本图像理解多模态内容创作为了获取更多详细信息并开始您的文本图像合成之旅,请访问InternLM-XComposer2官方网站。
Qwen-VL体验入口 阿里云视觉语言模型huggingface、github在线使用地址
Qwen-VL是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。这一创新产品支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,且在多个视觉基准测试中达到或超过当前最优水平。想要深入了解Qwen-VL及其强大功能,请访问Qwen-VL网站。
GPT-4V惨败!CV大神谢赛宁新作:V*重磅「视觉搜索」算法让LLM理解力逼近人类
SamAltman最近在世界经济论坛上发言,称达到人类级别的AI很快就会降临。正如LeCun一直以来所言,如今的AI连猫狗都不如。他还曾与何恺明大神共同提出了用于图像分类的简单、高度模块化的网络结构ResNeXt,这篇论文发表在了CVPR2017上。
ConvNet与Transformer谁更强?Meta评测4个领先视觉模型,LeCun转赞
【新智元导读】当前的视觉模型哪个更好?Meta团队最新一波研究来了。如何根据特定需求选择视觉模型?ConvNet/ViT、supervised/CLIP模型,在ImageNet之外的指标上如何相互比较?来自MABZUAI和Meta的研究人员发表的最新研究,在「非标准」指标上全面比较了常见的视觉模型。-CLIP模型具有较高的形状偏差,与其ImageNet精度相比,分类错误较少。
LeCun曝多模态LLM重大缺陷 提出Interleaved-MoF显著增强视觉理解能力
近期来自纽约大学和UC伯克利的研究团队在多模态大语言模型领域取得了重要突破,成功捕捉到了其在视觉理解方面存在的重大缺陷。研究人员发现,当前的MLLM在特定场景下,甚至在一些人类容易识别的图像问题上,表现不如随机猜测。这不仅对AI领域的研究有着积极的推动作用,也为未来开发更强大、全面的多模态大模型奠定了基础。
国内首次纯视觉自动驾驶直播来了!极越CEO亲测:看和特斯拉FSD比谁更强
据腾讯汽车官微介绍,腾讯新闻《CEO亲测》栏目第二期直播上线。今天中午1点,极越汽车CEO夏一平和腾讯新闻运营总经理黄晨霞,将从上海出发前往杭州。如果特斯拉FSD顺利入华,极越和特斯拉之间的比拼,必然将成为自动驾驶行业的巅峰之战。
谷歌研究团队推新AI方法SynCLR:从合成图像和字幕中学习视觉表征
GoogleResearch和MITCSAIL共同推出了一项名为SynCLR的新型人工智能方法,该方法旨在通过使用合成图像和字幕,实现对视觉表征的学习,摆脱对真实数据的依赖。SynCLR的工作原理研究团队首先提出了一个三阶段的方法。这些改进有望进一步提升合成数据在训练人工智能模型中的效果。
美图AI视觉大模型MiracleVision奇想智能正式上线
1月5日,美图公司自研AI视觉大模型MiracleVision正式上线。广大用户可在MiracleVision官网和美图秀秀、WHEE等美图旗下产品中率先体验。美图公司正式向行业客户、合作伙伴全面开放MiracleVision的模型能力,持续通过API、SDK、SaaS、模型训练等形式,助力多场景工作流,帮助企业降本增效。
视觉编码器VCoder:提高模型在识别图像方面的能力
VCoder是一个视觉编码器,旨在提高多模态语言模型在识别图像中的对象和理解图像场景方面的能力。它能够帮助模型更好地理解和分析图像内容。在与其他模型的比较中,VCoder在对象计数和识别方面表现出色,特别是在复杂场景中。
清华、浙大推GPT-4V开源平替!LLaVA、CogAgent等开源视觉模型大爆发
GPT-4V的开源替代方案在中国的顶尖学府清华、浙大等的推动下,出现了一系列性能优异的开源视觉模型。LLaVA、CogAgent和BakLLaVA是三种备受关注的开源视觉语言模型。虽然BakLLaVA在训练过程中使用了LLaVA的语料库,不允许商用,但BakLLaVA2则采用了更大的数据集和更新的架构,超越了当前的LLaVA方法,具备商用能力。