延迟降低2倍!英特尔披露至强6处理器针对Meta Llama 3模型的推理性能
近日,Meta重磅推出其80亿和700亿参数的MetaLlama3开源大模型。该模型引入了改进推理等新功能和更多的模型尺寸,并采用全新标记器,旨在提升编码语言效率并提高模型性能。即使80亿参数的Llama3模型比70亿参数的Llama2模型参数更高,在AWSm7i.metal-48xl实例上运行BF16推理时,整体prompt的推理时延几乎相同。
AI时代CPU不老!Intel五代至强五大革新:340亿参数小意思
AI漫长的历史中,ChatGPT绝对是浓墨重彩的一笔。正是它引爆了AI大模型概念,也让以往高高在上的AI飞入了寻常百姓家,开始融入每个人的日常工作、生活,AIPC、AI手机、AI边缘也都在大踏步前进,变革千行百业。CPU作为最传统的通用计算引擎,始终都会占据不可替代的地位,无论是作为整个计算平台的中心枢纽是对各种通用负载、AI负载的灵活处理,未来依然可以横刀立马!
Intel 288个小核心下代至强首次公开!性能飙升2.7倍
MWC2024大展上,Intel首次公开了代号SierraForest的下一代至强,并披露了一些性能指标。SierraForest将首次采用全E核设计,单芯片最多144个,双芯片整合封装最多288个,制造工艺则升级为Intel3也就是现在酷睿Ultra使用的Intel4的升级版。2025年,Intel还会推出面向网络和通信基础设施的GraniteRapids-D。
英特尔第五代至强可扩展处理器发布,在CPU上跑AI更香了
千呼万唤始出来,第五代英特尔®至强®可扩展处理器,它来了!若是用一句话来概括它的特点,那就是——AI味道越发得浓厚。以训练、推理大模型为例:与第四代相比,训练性能提升多达29%,推理性能提升高达42%;与第三代相比,AI训练和推理性能提升高达14倍。AI落地时代开始了,英特尔的机会也来了?*有关第五代英特尔®至强®可扩展处理器更多详情可点击阅读原文。
澜起发布第五代津逮处理器:基于Intel五代至强、痛失64核心
近日,澜起科技正式发布了第五代津逮CPU处理器,是面向国内本土市场的x86架构服务器芯片。澜起科技官方明确表示,第五代津逮基于Intel刚刚发布的第五代至强,均通过了澜起科技的安全预检测测试。目前已有数家服务器厂商合作,基于第五代津逮CPU的机型已陆续上市。