斯坦福团队大模型Octopus v2火了:手机就能运行 准确性超越GPT-4
斯坦福大学研究人员发布的Octopusv2模型引起了开发者社区的极大关注,其20亿参数的模型一夜下载量超过2k。这一模型可以在智能手机、汽车、个人电脑等端侧设备上运行,并在准确性和延迟方面表现超越了GPT-4,同时将上下文长度减少了95%。设备端AI智能体时代即将到来,Octopusv2的发布为这一趋势注入了新的活力。
开源小型语言模型MobiLlama 手机可运行训练
MobiLlama是一个开源的小型语言模型,专门针对移动设备运行训练的LLM,拥有5亿个参数。该模型的设计旨在满足资源设定计算的需求,同时注重在提高性能的同时降低资源消耗。如果用户需要一个小型语言模型来运行在资源中受在有限的环境中,MobiLlama可能是一个非常有用的选择。
创迈思发布并首次演示了在骁龙处理器的手机参考设计中运行的个人消费类光谱解决方案
新的解决方案通过集成到移动设备中,让消费者自主掌握近红外光谱的强大力量,帮助改善个人的健康和福祉茂宜岛/路德维希港,2023年10月24日-今天,尖端生物识别和移动近红外光谱解决方案开发商,巴斯夫创迈思推出了首款在最新第三代骁龙®8参考设计上运行的消费类光谱解决方案。高通在年度的骁龙峰会上宣布,创迈思trinamiX®的解决方案是全球首款集成在智能手机参考设
Mozilla 让人们将 AI LLM 变成单文件可执行文件,简化大型语言模型的分发和运行
供本地使用的LLM通常作为一组权重分布在数GB文件中。这些软件不能直接单独使用,这通常使得它们比其他软件更难分发和运行。这些权重文件本身不能直接使用,需要通过特定的软件框架或环境来加载和运行,这使得与其他类型的软件相比,它们的分发和运行更加复杂。