[如日中天🌞 :
https://x.com/ArtificialAnlys/status/1859614633654616310
等等——新的 GPT-4o 是一个体积更小、智能程度更低的模型吗？
我们昨天完成了对 OpenAI 的 GPT-4o 版本的独立评估，并且测量到的评估分数始终比 8 月份发布的 GPT-4o 低得多。
GPT-4o（11 月）与 GPT-4o（8 月）对比：
➤人工分析质量指数从 77 降至 71 (now与 GPT-4o mini 相当）
➤ GPQA Diamond 从 51% 降至 39%，MATH 从 78% 降至 69%
➤速度从~80输出 token/s 提升至约 180 token/s
➤价格不变
我们的输出速度基准测试目前测量到 11 月 20 日模型的输出速度约为 180 个令牌/秒，而 8 月模型的输出速度约为 80 个令牌/秒。我们通常观察到 OpenAI 模型在发布当天的速度明显更快（可能是由于 OpenAI 在采用之前配置了容量），但之前没有看到 2 倍的速度差异。
根据这些数据，我们得出结论，OpenAI 11 月 20 日的 GPT-4o 模型可能比 8 月发布的模型更小。
鉴于 OpenAI 尚未降低 11 月 20 日版本的价格，我们建议开发人员不要在未进行仔细测试的情况下将工作负载从 8 月版本转移。
OPENAI的报告是 11-20版本秒杀一切
刚看了第三方的报告，比0806还要弱一些，怪不得没有涨价
zhoutiancai] 第三方报告-gpt-4o-2024-11-20弱于2024-08-06https://x.com/ArtificialAnlys/status/1859614633654616310
等等——新的 GPT-4o 是一个体积更小、智能程度更低的模型吗？
我们昨天完成了对 OpenAI 的 GPT-4o 版本的独立评估，并且测量到的评估分数始终比 8 月份发布的 GPT-4o 低得多。
GPT-4o（11 月）与 GPT-4o（8 月）对比：
➤人工分析质量指数从 77 降至 71 (now与 GPT-4o mini 相当）
➤ GPQA Diamond 从 51% 降至 39%，MATH 从 78% 降至 69%
➤速度从~80输出 token/s 提升至约 180 token/s
➤价格不变
我们的输出速度基准测试目前测量到 11 月 20 日模型的输出速度约为 180 个令牌/秒，而 8 月模型的输出速度约为 80 个令牌/秒。我们通常观察到 OpenAI 模型在发布当天的速度明显更快（可能是由于 OpenAI 在采用之前配置了容量），但之前没有看到 2 倍的速度差异。
根据这些数据，我们得出结论，OpenAI 11 月 20 日的 GPT-4o 模型可能比 8 月发布的模型更小。
鉴于 OpenAI 尚未降低 11 月 20 日版本的价格，我们建议开发人员不要在未进行仔细测试的情况下将工作负载从 8 月版本转移。
OPENAI的报告是 11-20版本秒杀一切
刚看了第三方的报告，比0806还要弱一些，怪不得没有涨价
