GPU推理提速4倍,256K上下文全球最长:无问芯穹刷新大模型优化记录
大模型业务到底多烧钱?前段时间,华尔街日报的一则报道给出了参考答案。微软的GitHubCopilot业务虽然每月收费10美元,但平均还是要为每个用户倒贴20美元。「Infini-Megrez」大模型在CEval、MMLU、CMMLU、AGIEval等数据集上均取得了第一梯队算法性能,并依托「Infini-ACC」计算引擎持续进化中。