随着人工智能技术的快速发展，视觉推理模型逐渐成为研究热点

本文将深入探讨OpenAI最新发布的两款视觉推理模型o3和o4-mini，以及其开源编程Agent Codex CLI的相关细节。

一、新模型发布与功能亮点
智东西（公众号：zhidxcom）报道，OpenAI于近日凌晨重磅发布了两款全新视觉推理模型——o3和o4-mini。这两款模型是OpenAI o系列中首次能够使用图像进行思维链推理的创新成果。此外，OpenAI还开源了轻量级编程Agent Codex CLI，这一工具在发布不到7小时内便获得了超过5500颗Star。

o3作为最强大的推理模型，而o4-mini则是一个经过优化的小型模型，专注于快速且成本效益高的推理任务。新模型不仅支持图像融入思维链过程，还能自主调用工具，在短时间内生成答案。

二、模型性能对比与优势
o3和o4-mini的主要区别在于其适用场景和性能表现。o3擅长处理复杂的多模态任务，例如解读白板照片、教科书图表或手绘草图，即使图像模糊或颠倒，模型也能通过实时操作工具（如旋转、缩放等）进行调整。o4-mini则更注重高效性和经济性，适合需要快速响应的任务。

具体应用场景包括：
– 用户上传随手拍的照片后，可询问模型关于图片中的“最大船只名称”或“停靠地点”等问题。
– 在数学难题解答中，o3能够在无需搜索的情况下提供正确答案，而o1无法做到这一点。
– 面对复杂的数据分析任务时，o3能够引用更多相关来源并提出详细计划，同时预测现实挑战并提供解决方案。

三、多模态任务表现与测试结果
根据OpenAI的测试数据，o3和o4-mini在多模态任务上的表现远超前代模型。在一系列人类考试和机器学习基准测试中，新模型展现了显著的优势。例如，在STEM问答、图表阅读和推理、感知原语及视觉搜索等方面，o3和o4-mini均达到了新的最先进性能，其中视觉推理准确率高达97.5%。

此外，o3在困难的现实任务中比o1少犯20%的重大错误，尤其在生物学、数学和工程领域表现出色。o4-mini则在非STEM任务和数据科学领域表现突出，具备更高的使用限制和吞吐量。

四、开源工具与未来发展
为了最大化模型推理能力，OpenAI推出了轻量级编程Agent Codex CLI。这款工具允许用户直接在终端运行，并结合本地代码访问，从而实现多模态推理的好处。Codex CLI现已完全开源，开发者可以通过GitHub获取源代码。

同时，OpenAI启动了一项100万美元的倡议，支持使用Codex CLI和OpenAI模型的工程项目。这将为开发者提供更多资源和机会。

五、局限性与安全措施
尽管新模型表现出色，但仍存在一些局限性：
1. 过长的推理链：模型可能会执行冗余或不必要的工具调用和图像处理步骤。
2. 感知错误：模型可能因视觉误解而导致最终答案不正确。
3. 可靠性不足：在多次尝试解决问题时，模型可能会采用不同的视觉推理过程，导致部分结果错误。

为应对这些挑战，OpenAI重建了安全训练数据，并开发了系统级缓解措施，以标记前沿风险区域中的危险提示。此外，研究人员还更新了应急准备框架，确保模型在生物和化学、网络安全及AI自我改进等领域保持安全性。

结语
OpenAI的新模型o3和o4-mini标志着视觉推理领域的重大突破。未来，OpenAI计划将o系列的专业推理能力与GPT系列的自然对话能力相结合，打造更加智能和高效的多模态推理模型。

本文来源：