大模型最快推理芯片一夜易主 Groq每秒可达500 tokens
一家名为Groq的初创公司推出了一款大模型推理芯片,其推理速度达到了每秒500tokens的惊人水平,轻松颠覆了传统GPU的性能。Groq的团队由谷歌TPU原班人马组成,他们自主研发的芯片不仅速度快成本低廉,性价比高,成为了大模型推理加速的新宠。在技术不断创新和竞争日益激烈的背景下,Groq将继续致力于推动大模型硬件领域的发展,为人工智能技术的进步做出更大的贡献。