Groq大模型推理芯片每秒500tokens超越GPU,喊话三年超过英伟达
Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动,超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发,其团队成员来自谷歌TPU,包括创始人兼CEOJonathanRoss,曾设计实现第一代TPU芯片的核心元件。Groq产品以其出色的推理性能、对多种开源LLM模型的支持以及具有竞争力的价格政策等特色,成为一个引人注目的选择。