微软研究人员指出,并非所有token都符合需求
微软研究人员挑战了语言模型预训练的传统方法,该方法在训练语料库中的所有token上均匀应用下一个token预测损失。他们提出了一种新的语言模型称为RHO-1,该模型利用选择性语言建模。SLM可以扩展到监督微调,以解决数据集中的噪声和分布不匹配,并通过训练一个强调帮助性、真实性和无害性的参考模型来获得在预训练期间获得本地对齐的基本模型。
微软研究人员推新AI方法,用合成数据改进高质量文本嵌入
微软公司的研究团队最近提出了一种独特且简单的方法,用于生成高质量的文本嵌入。这种新方法仅使用合成数据和极少的训练步骤,就取得了令人瞩目的成果。该研究的训练过程极大地减少了对中间预训练的需求,相较于当前的多阶段系统,更加简洁高效。
微软研究人员推出WaveCoder:增强指令调优与精炼数据生成
近期的研究表明,通过在高质量指令数据集上进行微调,生成的模型可以在广泛的任务上展现出色的能力。现有的指令数据生成方法通常会产生重复数据,并且在数据质量上不够可控。未来的工作可能会探索不同任务和更大数据集之间的相互作用,以进一步增强单任务性能和泛化能力。
微软研究推新型视觉基础模型Florence-2:基于统一提示,适用各种计算机视觉和视觉语言任务
人工智能领域的趋势是采用预训练、可调整表示的方法,为各种应用提供任务不可知的优势。与此趋势相呼应,微软研究推出了Florence-2,这是一款灵活的视觉基础模型,通过统一提示式表示成功应对了计算机视觉中的挑战。如果您喜欢他们的工作,请查看论文,并加入他们的社交媒体群体,获取最新的人工智能研究新闻和有趣的项目。
微软研究员发布EmotionPrompt方法:增强多语言模型的情感智能
微软研究员最近发布了名为“EmotionPrompt”的研究成果,旨在增强多语言模型的情感智能。情感智能被认为是人类素质的一个关键组成部分,它涵盖了情感理解、情感处理以及如何利用情感数据来指导逻辑和分析过程,如问题解决和行为管理。这项研究为多语言模型的情感智能潜力提供了初步的研究,有望在各种应用领域取得进展。
微软研究员推LoRAShear技术:高效对大语言模型结构化剪枝
微软的研究人员近日推出了一项名为LoRAShear的创新技术,旨在剪枝大型语言模型并实现知识的高效恢复。LLMs在处理文本数据和迅速检索相关信息方面表现出色,广泛应用于搜索引擎和问答系统。未来的工作将集中在解决这些挑战,为人工智能领域的发展提供更多的支持。