AMD发布首个AI小语言模型:6900亿token、推测解码提速3.88倍
AMD发布了自己的首个小语言模型,名为AMD-135M”。相比于越来越庞大的大语言模型,它体积小巧,更加灵活,更有针对性,非常适合私密性、专业性很强的企业部署。按照AMD的说法,它的性能与其他开源小模型基本相当或略有领先,比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M,Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。