o3模型基准测试分数仅为10%，远低于OpenAI宣传的25%
OpenAI的新AI模型o3在第一方和第三方基准测试中存在差异，引发公众对其透明度和测试实践的质疑。去年12月，o3首次亮相时声称能解答超过25%的FrontierMath问题，但实际正确率仅为2%。内部测试发现，o3能达到超过25%的准确率，但其使用的计算资源比上周OpenAI推出的模型多得多。Epoch AI发布的独立基准测试结果显示，o3的得分约为10%，远低于OpenAI宣称的25%。尽管如此，这并不意味着OpenAI的说法有误，可能是因为OpenAI使用了更强大的内部架构进行评估，并采用了更多计算资源。此外，Epoch指出其测试设置可能与OpenAI不同，并且在评估中使用了更新版本的FrontierMath。
闽公网安备 35020302000061号