OpenAI 研究人员宣称已破解模型“幻觉”难题：现有评估方式在鼓励 AI“瞎蒙”

近年来，随着人工智能技术的飞速发展，大语言模型在多个领域展现出强大的应用潜力。然而，一个长期困扰研究人员的问题是“幻觉”现象的存在。所谓幻觉，指的是模型在面对不确定信息时，倾向于输出看似合理但并不准确的。几乎所有主流的大语言模型都存在这一问题，严重影响其在高精度场景下的可靠性。

近日，OpenAI 的研究人员在一篇新发布的论文中表示，他们已经找到了幻觉问题的核心原因，并提出了解决方向。根据论文，幻觉的产生与模型的训练机制密切相关。当前大多数模型的训练方式更倾向于奖励“猜测”行为，而不是鼓励模型在不确定时坦率承认“我不知道”。这种训练导向导致模型始终处于“考试模式”，试图对每一个问题都给出看似正确的答案。

研究人员指出，不同模型在处理不确定性方面表现各异。例如，Anthropic 公司开发的 Claude 模型，在面对模糊或不确定信息时，往往更倾向于拒绝回答，从而减少错误输出的概率。不过，OpenAI 也指出，Claude 的高拒答率在一定程度上影响了其实际应用效果，用户可能因此失去获取信息的机会。

当前评估大语言模型性能的主要方式仍依赖于准确率指标。然而，这种评估方式反而助长了模型的猜测行为。在测试中，即使模型并不确定答案，只要猜测正确，就能获得更高的评分。这导致模型更倾向于“靠运气”来回答问题，而不是诚实地表达不确定性。

为了解决这一问题，OpenAI 提出应重新设计评估体系。研究人员强调，评估标准需要从奖励“准确猜测”转变为奖励“诚实表达不确定性”。只有当模型在不确定时不因拒答而被扣分时，才能真正减少幻觉现象的发生。未来，随着评估机制的优化，大语言模型有望在保持实用性的同时，提升输出的准确性和可信度。

大语言模型, 幻觉问题, OpenAI, 模型训练, 评估标准优化

本文来源： IT之家【阅读原文】