每秒500token的“网红”芯片Groq让人惊叹,但人们开始担心它的可用性
这两天国内外人工智能圈子都在热议Groq:这个硅谷公司的产品基于自研芯片可以做到在大模型推理时每秒处理将近500个token。500个token什么概念,大概就是一句话的响应时间只需要不到2秒,如此这般的文字生成速度,甚至比翻译软件还快。虽然有不少那样的公司在当时沸沸扬扬,然才过了几年的工夫,你又能回想起几个这样的公司呢?希望这一次Groq的惊艳也不是一时的。