微软研究人员推新AI方法,用合成数据改进高质量文本嵌入
微软公司的研究团队最近提出了一种独特且简单的方法,用于生成高质量的文本嵌入。这种新方法仅使用合成数据和极少的训练步骤,就取得了令人瞩目的成果。该研究的训练过程极大地减少了对中间预训练的需求,相较于当前的多阶段系统,更加简洁高效。
微软研究人员推出WaveCoder:增强指令调优与精炼数据生成
近期的研究表明,通过在高质量指令数据集上进行微调,生成的模型可以在广泛的任务上展现出色的能力。现有的指令数据生成方法通常会产生重复数据,并且在数据质量上不够可控。未来的工作可能会探索不同任务和更大数据集之间的相互作用,以进一步增强单任务性能和泛化能力。
微软研究推新型视觉基础模型Florence-2:基于统一提示,适用各种计算机视觉和视觉语言任务
人工智能领域的趋势是采用预训练、可调整表示的方法,为各种应用提供任务不可知的优势。与此趋势相呼应,微软研究推出了Florence-2,这是一款灵活的视觉基础模型,通过统一提示式表示成功应对了计算机视觉中的挑战。如果您喜欢他们的工作,请查看论文,并加入他们的社交媒体群体,获取最新的人工智能研究新闻和有趣的项目。
微软研究员发布EmotionPrompt方法:增强多语言模型的情感智能
微软研究员最近发布了名为“EmotionPrompt”的研究成果,旨在增强多语言模型的情感智能。情感智能被认为是人类素质的一个关键组成部分,它涵盖了情感理解、情感处理以及如何利用情感数据来指导逻辑和分析过程,如问题解决和行为管理。这项研究为多语言模型的情感智能潜力提供了初步的研究,有望在各种应用领域取得进展。
微软研究员推LoRAShear技术:高效对大语言模型结构化剪枝
微软的研究人员近日推出了一项名为LoRAShear的创新技术,旨在剪枝大型语言模型并实现知识的高效恢复。LLMs在处理文本数据和迅速检索相关信息方面表现出色,广泛应用于搜索引擎和问答系统。未来的工作将集中在解决这些挑战,为人工智能领域的发展提供更多的支持。
微软研究人员用儿童故事进行训练:微型语言模型进入成熟期
学习英语并不容易,许多学生都深有体会。但当学生是一台计算机时,有一种方法表现出奇地出色:只需将大量来自互联网的文本输入到一个名为神经网络的巨大数学模型中。他们的研究结果暗示了可能有助于训练更大型模型并理解其行为的新研究方向。
微软亚洲研究院韦福如:人工智能基础创新的第二增长曲线
本文为微软亚洲研究院全球研究合伙人韦福如的分享,讲述了他对人工智能、计算机及其交叉学科领域的观点洞察及前沿展望。从人工智能的发展历程来看,GPT系列模型的问世无疑是一个重要的里程碑。2017年,他因对自然语言处理的贡献入选《麻省理工技术评论》中国35岁以下创新者年度榜单。
智源研究院推出新一代多模态小模型Bunny-3B
智源研究院近期提出了一项新技术,通过数据浓缩技术获得高质量训练数据,从提升多模态小模型的性能。他们将LAION-2B压缩成2M核心集,得到更丰富的预训练数据,同时精选数据集进行指令微调,训练出性能强劲的小模型。通过数据浓缩技术获得高质量训练数据,Bunny系列小模型在多模态任务上表现优异,将促进大模型技术的发展和普及。
智源研究院推出text-to-3D生成模型 GeoDream
智源研究院联合清华和北邮团队推出text-to-3D生成模型GeoDream,能够将输入的文字描述转化为高质量和多视角一致性的3D资产。与传统的方法不同,GeoDream通过解耦的方式利用2D和3D先验,解决了3D结构不一致性的问题,并支持导出高保真的texturemeshes和高分辨率的渲染图片。GeoDream展示了对复杂输入的生成结果,支持导出meshes和高分辨率UVmaps,方便后续的3D创作和应用。
智源研究院推出1bit自然语言理解预训练模型BiPFT
智源研究院提出了首个用于自然语言理解任务的1bit轻量化预训练模型BiPFT。与传统的FP32模型相比,BiPFT模型在推理阶段显著减少了操作数量和内存使用。该模型在不同超参数设定下都能取得更好的效果,具有较好的独立学习能力和超参数鲁棒性。
智源研究院开源代码生成训练数据集与评测基准TACO
TACO是一个专注于算法的代码生成数据集,旨在为代码生成模型提供更具挑战性的训练数据集和评测基准。与当前主流代码评测基准相比,TACO在数据规模、数据质量和细粒度评测方案上具有明显优势。提供细粒度标签:TACO数据集中每个题目均包含任务主题、算法、技能及难度等细粒度标签,为代码生成模型的训练与评测更精确的参考。
智源研究院开源发布新一代生成式多模态基础模型 Emu2
2023年12月21日,智源研究院发布了新一代多模态基础模型Emu2。Emu2通过大规模自回归生成式多模态预训练,显著推动了多模态上下文学习能力的突破。相比于Emu1,Emu2采用了更简单的建模框架,训练了更好的解码器,并将模型规模化到37B参数。
科大讯飞旗下讯飞医疗成立AI研究院 注册资本3000万
天眼查App显示,近日,泰州讯飞医疗人工智能研究院有限公司成立,注册资本3000万人民币,经营范围含第三类医疗器械经营、生产,第二类医疗器械生产,依托实体医院的互联网医院服务,第二类医疗器械销售,人工智能应用软件开发,人工智能理论与算法软件开发,远程健康管理服务等。股东信息显示,该公司由科大讯飞旗下讯飞医疗科技股份有限公司、泰州通泰投资有限�
开心汽车成立AI汽车研究院 制定人工智能发展规划
开心汽车宣布正式成立AI汽车研究院,任命开心汽车高级副总裁顾镭担任AI汽车研究院院长,并制定公司在人工智能应用层面的发展规划。开心汽车积极谋求和人工智能头部企业开展合作,共同打造智能、安全、高效的汽车出行产品和服务。开心汽车董事长兼CEO林明军表示:“AI汽车是未来的发展趋势,开心汽车转型新能源汽车制造不仅仅是硬件,更需要在软件上的提升。
科大讯飞与申昊科技合作 将共建工业AI机器人研究院
12月9日,科大讯飞股份有限公司与杭州申昊科技股份有限公司在杭州签署框架合作协议。实现大模型与工业机器人的深度融合并率先在电力场景实现工程化应用,合力推动能源电力、矿山等领域工业大健康的深入合作。科大讯飞和申昊科技将借助各自优势,致力于通用人工智能技术助力现有工业机器人智能化革新,实现工业机器人从多维感知到多模态认知再到智能决策和自主执行的智能体技术升级,并在电力场景完成工程化应用落地。
智源研究院发布LM-Cocktail模型治理策略 低成本提升模型性能
智源研究院最近发布了LM-Cocktail模型治理策略,旨在为大模型开发者提供一个低成本持续提升模型性能的方式。该策略通过融合多个模型的优势,实现在目标任务上性能的提升,同时保持在通用任务上的强大能力。LM-Cocktail已在实验中展现了良好的性能。
南方科技大学联合IDEA研究院发布 SUS-Chat-34B 双语模型
南方科技大学联合IDEA研究院CCNL中心发布了SUS-Chat-34B,这是一个参数规模为340亿的双语模型。该模型在众多中英文任务上表现出色,超越了其他同参数规模的模型。即使与更大参数规模的模型相比,SUS-Chat-34B模型也具有不错的竞争力更长的上下文窗口与出色的多轮对话能力:SUS-Chat-34B原生支持8K的上下文窗口,在大量多轮指令以及单多轮混合数据中进行训练,具有出色的长文本对话信息关注与指令跟随能力。
用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用
用视觉来做Prompt,是种什么体验?只需在图里随便框一下,结果秒秒钟圈出同一类别!即便是那种GPT-4V都难搞定的数米粒的环节。只需要你手动拉一下框,就能找出所有米粒来。发布会最后,沈向洋发布《低空经济发展白皮书——深圳方案》,在其智能融合低空系统中,提出时空进程新概念。
智源研究院开源JudgeLM 可评测各类大模型并输出评分
智源研究院开源了一种名为JudgeLM的裁判模型,可以高效准确地评判各类大模型。与GPT-4相比,JudgeLM仅需1/120的成本,就能达到90%以上的评判结果一致性。JudgeLM团队将进一步完善这一裁判模型,提供更准确、高效、覆盖更多场景的大语言模型评判。
文本生成高精准3D模型,北京智源AI研究院等出品—3D-GPT
北京智源AI研究院、牛津大学、澳大利亚国立大学联合发布了一项研究—3D-GPT,通过文本问答方式就能创建高精准3D模型。3D-GPT使用了大语言模型的多任务推理能力,通过任务调度代理、概念化代理和建模代理三大模块,简化了3D建模的开发流程实现技术民主化。在多步语言指令的场景中,3D-GPT能够充分理解每一步指令,并对场景进行准确修改。