首席分析师揭秘爆火Groq,每小时要烧168美元!10倍H100拥有成本,老黄笑而不语
SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解,测算出其持有成本依然高达现有H100的10倍,看来要赶上老黄的步伐,初创公司还有很多要做。最近爆火的AI初创公司Groq,推出了比目前常见GPU推理系统快4倍,成本低70%的大模型推理解决方案。还有一个更为关键的问题,快速响应小型模型推理这个市场到底有多大,以至于值得抛下灵活的GPU不用,转去构建专门