科技媒体 TechCrunch 昨日(12 月 23 日)发布博文,认为 OpenAI 的 o3 模型虽然在 ARC-AGI 等测试中取得了亮眼成绩,但背后的高计算成本,让其短期内很难在实际应用中普及。
o3 性能
o3 的新功能之一是可以调整推理时间,分为低、中、高三种计算级别,计算级别越高,o3 的任务执行性能越好。
而 o3 是 OpenAI 是迈向该目标的重要一步,在 ARC-AGI 基准测试中,o3 在高计算设置下获得了 87.5% 的分数,在低计算设置下得分为 75.7%,性能是 o1 的三倍。
在 EpochAI 的 Frontier Math 基准测试中,o3 解决了 25.2% 的问题(其他模型均不超过 2%),创造了新纪录。
o3 模型成本过高
ARC-AGI 基准测试的创建者 Fran ois Chollet 在博文中写道,OpenAI 的 o3 模型虽然是 AI 领域的一个重要突破,但成本着实太高。
根据 ARC-AGI 测试的性能图标,o3 的高分版本每项任务都使用了价值超过 1000 美元(IT之家备注:当前约 7303 元人民币)的计算资源,o1 模型每个任务使用约 5 美元的计算资源,而 o1-mini 仅使用几美分。
这意味着 OpenAI 虽然获得了将近 88% 的高分,但却消耗了 170 多倍的计算资源,而高计算版本 o3 整个测试下来,调用资源成本超过 1 万美元(当前约 73033 元人民币),只有财力雄厚的机构和个人才能负担得起 o3 模型的使用成本。
o3 模型的高计算成本使其更适合处理复杂问题,例如长期战略决策,而非日常小问题;更高效的 AI 推理芯片和更具成本效益的 AI 芯片可能是未来降低 o3 模型使用成本的关键。