智源研究院推出新一代多模态小模型Bunny-3B
智源研究院近期提出了一项新技术,通过数据浓缩技术获得高质量训练数据,从提升多模态小模型的性能。他们将LAION-2B压缩成2M核心集,得到更丰富的预训练数据,同时精选数据集进行指令微调,训练出性能强劲的小模型。通过数据浓缩技术获得高质量训练数据,Bunny系列小模型在多模态任务上表现优异,将促进大模型技术的发展和普及。
智源研究院推出1bit自然语言理解预训练模型BiPFT
智源研究院提出了首个用于自然语言理解任务的1bit轻量化预训练模型BiPFT。与传统的FP32模型相比,BiPFT模型在推理阶段显著减少了操作数量和内存使用。该模型在不同超参数设定下都能取得更好的效果,具有较好的独立学习能力和超参数鲁棒性。
南方科技大学联合IDEA研究院发布 SUS-Chat-34B 双语模型
南方科技大学联合IDEA研究院CCNL中心发布了SUS-Chat-34B,这是一个参数规模为340亿的双语模型。该模型在众多中英文任务上表现出色,超越了其他同参数规模的模型。即使与更大参数规模的模型相比,SUS-Chat-34B模型也具有不错的竞争力更长的上下文窗口与出色的多轮对话能力:SUS-Chat-34B原生支持8K的上下文窗口,在大量多轮指令以及单多轮混合数据中进行训练,具有出色的长文本对话信息关注与指令跟随能力。
BlueLM蓝心大模型好不好用 手机AI大模型推荐
BlueLM蓝心大模型是vivo研发的一种通用人工智能语言模型。它是基于Transformer架构的,并使用了大量的文字和代码数据进行训练。以上就是BlueLM蓝心大模型的全部介绍了,感兴趣的小伙伴可以点击上方链接前往体验。