让ChatGPT等模型学会自主思考!开创性技术“自主认知”框架
ChatGPT、百度文心一言、Bard等大语言模型展现出了超强的创造能力,加速了生成式AI的应用进程。但AI模型只能基于训练数据执行各种任务,无法像人类一样利用生活知识、过往经验用于复杂的推理和决策。ACE框架展示了如何更好地利用大语言模型的潜力,将其打造为推动认知发展的核心引擎,为人工常识推理提供动力。
Meta推新框架OPT2I 提高SD图像生成一致性
Meta公司最近推出了一款名为OPT2I的新框架,该框架利用大型语言模型来提高SD图像从提示词到图像的生成过程中的一致性。OPT2I是一个优化框架,旨在提升T2I模型中的提示-图像一致性。OPT2I框架为提高T2I模型的提示-图像一致性提供了一种新的有效方法。
TOXCL:用于检测和解释隐性有毒言论的统一AI框架
社交媒体上的毒性言论可能会像野火般蔓延,特别是针对个人和边缘化群体。明显的仇恨言论相对容易被发现,但隐含毒性——依赖于刻板印象和编码语言不是明显的侮辱——提出了更为棘手的挑战。但通过谨慎使用,它为赋予边缘化声音权力和遏制网络上的压制性言论提供了一条道路。
谷歌推出”自我发现“框架,极大增强GPT-4等大模型推理能力
随着ChatGPT的出现,大语言模型在生成连贯文本和遵循指令方面获得了巨大技术突破。然后在推理和解决复杂内容方面,面临内容不准确、安全等难题。每次只需要一个查询获得相似性能的集成方法需要40倍的查询量,也就是说可以节省很多算力资源。
视频转视频框架AnyV2V 可修改源视频主题、风格等
一项名为AnyV2V的全新视频转视频框架引起了广泛关注。这一框架的独特之处在于,它不仅支持对源视频进行深度修改能加入附加的控制元素,如文本提示、主题或风格,以生成一个既与原视频相符,又与所提供的控制内容相匹配的新视频。这一框架的推出,无疑为视频编辑领域带来了新的创新和可能性。
MIT研究员推新AI图片生成框架DMD:AI 单步生成高质量图像 速度快30倍
在当今人工智能时代,计算机可以通过扩散模型生成自己的“艺术”,逐步向嘈杂的初始状态添加结构,直到清晰的图像或视频出现。扩散模型突然变得异常受欢迎:输入几个词,即可体验现实与幻想交汇的梦幻景象。当前版本使用StableDiffusionv1.5作为教师模型,学生继承了一些限制,如渲染文本和小脸部的细节描绘,这表明更先进的教师模型可能进一步提升DMD生成的图像。
HPT官网体验入口 HyperGAI多模态语言开源模型框架免费使用地址
HPT是HyperGAI研究团队推出的新型多模态大型语言模型框架。它具有高效且可扩展地训练大型多模态基础模型的能力,能够理解包括文本、图像、视频等多种输入模态。点击前往HPT官网体验入口需求人群:"适用于需要处理和理解多模态数据的研究人员和开发者,如进行视觉-语言任务、图像分析、图表解读等。
谷歌发布 “Vlogger” 视频模型框架:单张图片生成 10 秒视频
谷歌最近发布了一项名为“Vlogger”的新视频框架,可以通过仅一张图片和录音即可生成一个本人演讲视频。这一框架基于扩散模型,包含音频到人体动作和文本到图像模型两部分。随着技术的不断进步和完善,相信Vlogger将在未来有更广泛的应用和发展。
文生图框架LaVi-Bridge:无需训练,将不同模型结合使用
LaVi-Bridge项目是一个无需训练将不同的语言模型和生成视觉模型结合起来,以实现文本到图像的生成的项目。LaVi-Bridge是一个灵活的框架,它允许将不同的预训练语言模型和生成视觉模型集成到文本到图像生成的过程中。在短提示、长提示和组合提示下的文本对齐和图像质量指标上进行了广泛的评估,并通过大量可视化实验验证了LaVi-Bridge的有效性。
开源AI框架LaVague:理解自然语言指令 实现浏览器交互自动化
LaVague是一个旨在自动化浏览器交互的大型动作模型框架,通过将自然语言指令转化为无缝的浏览器交互,重新定义了互联网浏览体验。该框架的设计初衷是为用户自动化繁琐的任务,节省时间,让用户能够专注于更有意义的事务。未来的发展方向可能包括优化本地模型、改进信息检索以确保生成的代码片段相关性、支持其他浏览器引擎等。
新AI框架H2O:将人类动作实时转换为机器人动作 可行走、后空翻、踢球等
在最新的研究中,由卡内基梅隆大学的研究团队开发,提出了一种名为H2O的框架,通过强化学习实现了人对人形机器人的实时全身遥控操作。该框架在仅使用RGB摄像头的条件下,成功地让人形机器人模仿并实时执行各种动态的全身运动,包括行走、后空翻、踢球、转身、挥手、推动、拳击等。这是首次在人形机器人领域实现了这一技术上的突破,为全新的人机交互和协作场景�
SLD自纠正LLM控制的扩散模型框架怎么使用?SLD官网地址入口
SLD 是一个自纠正的LLM控制的扩散模型框架,它通过集成检测器增强生成模型,以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑,并且与任何图像生成器兼容,如DALL-E 3,无需额外训练或数据。点击前往SLD官网体验入口需求人群:适用于需要精确文本到图像对齐的研究者和开发者,以及希望进行图像生成和编辑的用户。使用场景示例:使用SLD框架根据文本提示生�
MovieLLM官网体验入口 AI视频创作综合框架详细介绍
MovieLLM是一个创新框架,旨在为长视频创建合成的、高质量的数据。该框架利用GPT-4和文本到图像模型的力量,生成详细的脚本和相应的视觉内容。MovieLLM将为您提供强大的支持和创意工具,让视频创作更加简单和高效。
研究人员推新AI框架CyberDemo:通过视觉观察让机器人模仿学习
加利福尼亚大学圣地亚哥分校和南加利福尼亚大学的研究人员最近推出了一种名为CyberDemo的新型人工智能框架,旨在通过视觉观察进行机器人模仿学习。传统的模仿学习方法通常需要大量高质量的示范数据来教导机器人完成复杂任务,特别是对于需要高度灵巧的任务来说。虽然为每个任务设计模拟环境需要额外的工作,但减少了数据收集的人为干预,并避免了复杂的奖励设计�
阿里巴巴推出高保真图像到视频生成框架AtomoVideo
阿里巴巴在人工智能领域再次取得突破,推出了一款名为AtomoVideo的高保真图像到视频生成框架。这一技术的问世,标志着基于文本到图像生成技术的视频生成领域取得了显著的快速发展。不过从AK大神发布的演示来看,AtomoVideo生成的视频质量和sora相比差距较大,和SVD相比也有一些差距,希望后续会有更大的提升吧。
大一统视频编辑框架:浙大&微软推出UniEdit,无须训练、支持多种编辑场景
随着Sora的爆火,人们看到了AI视频生成的巨大潜力,对这一领域的关注度也越来越高。除了视频生成,在现实生活中,如何对视频进行编辑同样是一个重要的问题,且应用场景更为广泛。如下表所示,UniEdit的表现大幅超过基线方法。
Chat with MLX :Mac专属大模型框架 两行代码部署还支持中文
一款名为ChatwithMLX的大模型框架推出,专为Mac用户打造,让他们也能享受本地大模型的乐趣。这个框架仅需两行代码即可部署,支持与本地数据交互,并提供中文支持。对于Mac用户来说,这无疑是一次令人振奋的消息,也让他们更便捷地体验到大模型带来的便利和乐趣。
北大发起复现Sora,框架已搭!袁粒田永鸿领衔,AnimateDiff大神响应
重磅:北大团队联合兔展发起了一项Sora复现计划——OpenSora。框架、实现细节已出:初始团队一共13人:带队的是北大信息工程学院助理教授、博导袁粒和北大计算机学院教授、博导田永鸿等人。又有消息称:Dreamina即将上线类似sora的视频生成功能。
谷歌发布时间感知框架MUSCATEL:图像识别准确率提升15%
谷歌AI团队最近发布了一项名为MUSCATEL的全新时间感知框架,旨在对抗概念漂移问题,提升图像识别准确率。概念漂移一直是机器学习领域的难题,即数据分布随时间变化,影响模型持续有效性。谷歌发布的MUSCATEL方法为机器学习领域的概念漂移问题提供了一种创新的解决方案,为模型在大规模、动态数据集中持续准确地进行分类提供了新的思路和方法。
阿里推声画同步框架EMO 1张图片加音频即可生成对口型视频
阿里巴巴智能计算研究所提出了一种新的生成式框架EMO,只需输入图片和音频即可生成具有表现力的视频视频中的嘴型还可以与声音匹配。这项技术支持多语言、对话、唱歌以及快速语速的适配,但也可能成为造假的利器,因此一些名人可能需要警惕了。需要注意的是,该框架目前仅用于学术研究和效果演示有待进一步优化和扩展其应用范围。