微软开源 SliceGPT:大模型体量压缩25%左右,性能保持不变
微软和苏黎世联邦理工学院的研究人员联合开源了SliceGPT,该技术可以极限压缩大模型的权重矩阵,将模型体量压缩25%左右,同时保持性能不变。实验数据显示,在保持零样本任务性能的情况下,SliceGPT成功应用于多个大型模型,如LLAMA-270B、OPT66B和Phi-2。这一技术的推出,有望为广大开发者和企业提供更加便捷、高效的大模型应用解决方案。
微软开发新型大模型压缩方法SliceGPT
SliceGPT是微软开发的一种新型的大语言模型压缩方法。通过SLICEGPT,可以在保持99%,99%,和90%零样本任务性能的同时,将LLAMA2-70B、OPT66B和Phi-2模型分别去除高达25%的模型参数。这种方法的核心优势在于,它允许模型在去除一定比例的参数后,仍然能够保持接近原始模型的性能,适用于资源受限的设备上部署大型模型,比如普通的个人电脑或者移动设备。
代码生成工具CodeGPT成开发者新宠 高效生成符合规范代码
新一代的AI代码生成工具CodeGPT迅速成为程序员中的新宠。它是VisualStudioCode的一个插件,利用GPT-3语言模型生成代码、翻译语言、写各种类型的内容和回答问题。正确使用CodeGPT可以提高程序员编写代码的速度、效率和质量。
DeepMind发布Gecko:专注于文档检索 性能媲美大7倍模型
谷歌DeepMind发布了一种名为Gecko的文本嵌入模型,专注于文档检索、语义相似度和分类等多种任务。文本嵌入模型在自然语言处理中扮演着重要角色,通过将文本转换为高维向量空间中的向量表示,实现捕捉文本的语义信息。Gecko的出现为改善信息检索系统提供了一种强大的替代方案,同时在分类、STS和摘要方面也达到了新的SOTA水平。
PC 3A大作通吃!Steam Deck OLED版发布:屏幕更大有高刷 3998元起
从SteamDeck官网获悉,Valve今日正式发布SteamDeckOLED版。SteamDeckOLED版提供512GB与1TB两种版本,售价分别为549美元、649美元,将于11月16日开售。芯片纸面性能大致等价锐龙3Pro4450UMX450,可流畅运行多款PC3A大作。