元象大模型开源30款量化版本 可更低成本部署
元象大模型开源了30款量化版本,支持vLLM和llama.cpp等主流框架的量化推理,无条件免费商用。对量化前后的模型能力、推理性能进行评估,以XVERSE-13B-GPTQ-Int4量化版本为例,量化后模型权重压缩了72%,总吞吐提高了1.5倍,同时保留了95%的能力。元象大模型的开源量化版本提供了方便快捷的部署方式,可以根据需求选择不同的框架和精度模型进行部署和推理。
让大模型“瘦身”90%!清华&哈工大提出极限压缩方案:1bit量化,能力同时保留83%
对大模型进行量化、剪枝等压缩操作,是部署时最常见不过的一环了。这个极限究竟有多大?清华大学和哈工大的一项联合研究给出的答案是:90%。作者进一步分析了这种极低比特量化模型的能力和前景,并为未来的研究提供了指导。
华为实现全国首个省域轻量化5G全网覆盖:较4G可提升10倍 功耗低20%
近日天津移动联合华为,全网开通5GRedCap特性,将天津打造成全国首个省域RedCap物联之城。作为3GPPR17协议中面向中高速物联的关键技术,RedCap被业内称为轻量化的5G。RedCap可降低80%的5GeMBB模组成本,终端功耗较4G可降低20%,网络容量较4G可提升10倍以上。
LQ-LoRA:通过低秩量化矩阵分解实现高效的语言模型微调
在人工智能领域,大语言模型的迅速发展已经改变了机器与人之间的互动方式。将这些庞大的语言模型适应新数据集时面临内存和费用的挑战。LQ-LoRA标志着语言模型领域的一个重要转折,其内存高效适应和数据感知考虑,以及动态量化参数调整,有望引领人工智能领域的变革。
零一万物Yi-34B-Chat微调模型及量化版开源
11月24日,零一万物基正式发布并开源微调模型Yi-34B-Chat,可申请免费商用。零一万物还为开发者提供了4bit/8bit量化版模型,Yi-34B-Chat4bit量化版模型可以直接在消费级显卡上使用。Yi系列模型已在ModelScope社区开源,开发者可以在社区中下载、推理和训练这些模型。
这项AI研究引入 Atom:一种低位量化技术,可实现高效、准确LLM服务
大型语言模型是人工智能领域最新的引入,已经席卷全球。这些模型以其令人难以置信的能力,被人们广泛使用,无论是研究人员、科学家还是学生。对Atom的性能进行了全面评估,结果显示Atom极大地提高了LLM服务的吞吐量,吞吐量增益最多可达到7.7倍,同时仅有微小的准确性损失。
亚马逊研究人员推 Fortuna:提高模型预测准确性和量化不确定性能力
人工智能和机器学习领域的最新进展使人们的生活变得更加便利。凭借其令人难以置信的能力,人工智能和机器学习正在涉足各个行业并解决问题。Fortuna为模型预测的不确定性量化提供了一个一致的框架,无疑是机器学习领域中的一个有用的补充。
盲订两天破10000!星纪魅族首款轻量化AR智能眼镜官宣新功能:真无线
魅族在10月30日正式官宣了首款轻量化AR智能眼镜,上线两天盲订订单量就突破了10000,非常火爆。官方对于新品再度预热,剧透该机将支持真无线连接,主打无牵无挂”更轻量化的双模真无线,在极致的重量控制下,提供更全面的无线通讯功能。作为星纪魅族集团推出的全新智能产品品类,可以期待后续它与魅族手机及Flyme生态的深度协同,以及更多出色功能的亮相。
智源团队Aquila2-34B双语对话模型推出Int4量化版本
智源团队最近发布了中英双语基础模型Aquila2-34B和中英双语对话模型AquilaChat2-34B。这两个模型在中英双语主/客观综合评测中表现优秀,超过了其他全球开源模型,包括LLama-70B等。通过使用Int4量化和QLoRA微调技术,用户可以在低资源环境中运行大参数模型。
华为这次又领先了 工信部发文推进5G轻量化技术演进
工信部近日印发《关于推进5G轻量化技术演进和应用创新发展的通知》,推进5GRedCap技术演进、产品研发及产业化,促进5G应用规模化发展。《通知》提出,到2025年,5GRedCap产业综合能力显著提升,新产品、新模式不断涌现,融合应用规模上量,安全能力同步增强。全球已有7个国家超过10家运营商完成RedCap商用试点,连接数有望在未来三年突破1亿。
联发科宣布与 OPPO ColorOS 合作 共建轻量化大模型端侧部署方案
MediaTek携手@OPPO@ColorOS,合作共建轻量化大模型端侧部署方案,共同推动大模型能力在端侧逐步落地。图片来自@联发科技官方微博MediaTek先进的AI处理器APU与AI开发平台NeuroPilot,构建了完整的终端侧AI与生成式AI计算生态,可加速边缘AI计算的应用开发与落地,强化大语言模型和生成式AI应用的性能。OPPO此前表示,未来,该模型将持续加持OPPO智能助手小布的AI能力,逐步应用于更多