AI搜索工具潜在风险：模型崩溃、幻觉现象与数据来源可靠性分析

（由多段落组成）：

近年来，AI技术的迅猛发展为搜索工具带来了革命性变化。然而，科技媒体theregister的一篇报道揭示了以Perplexity为代表的AI搜索工具虽然在某些方面超越了传统搜索引擎，但其性能却因“模型崩溃”现象而逐渐下降。据观察，这些AI搜索工具曾被视为谷歌等传统搜索引擎的有力竞争者，其结果一度比传统搜索引擎更精准。然而，近期用户发现，AI搜索反馈的数据（如市场份额或财务数据）并非来自权威渠道，例如美国证券交易委员会（SEC）要求的10-K年度报告，而是引用了不可靠来源。

这一问题不仅限于Perplexity，主流AI搜索机器人也普遍出现类似“可疑”结果的现象。报道指出，AI搜索质量下降的主要原因在于“模型崩溃”。具体表现为AI系统因过度依赖自身输出进行训练，导致准确性、多样性和可靠性逐步降低。错误累积、稀有数据丢失以及反馈循环是三大主因。错误累积使得每一代模型继承并放大前代的缺陷；稀有数据丢失则使罕见事件和概念逐渐模糊；反馈循环进一步强化狭窄模式，输出重复或带有偏见的。

为了改善AI的表现，检索增强生成（RAG）技术被广泛采用。这种技术允许大型语言模型（LLMs）从外部数据库提取信息，从而减少“幻觉”现象的发生。然而，彭博社的一项研究显示，即使使用RAG技术，包括GPT-4o、Claude-3.5-Sonnet在内的11个领先模型，在处理5000多个有害提示时，仍会输出错误结果。此外，RAG还可能增加泄露客户隐私数据、生成误导性市场分析及偏见投资建议的风险。

随着AI模型崩溃现象的加剧，其后果正日益显现。无论是学生作业还是科研论文，甚至虚构小说，都可能因AI生成的质量问题而受到影响。用户和企业为了追求效率，往往倾向于依赖AI生成的，而非投入人力创作高质量。这种“垃圾输入、垃圾输出”（Garbage In / Garbage Out，GIGO）的现象正在成为普遍问题。

请注意，本文内含对外跳转链接（包括但不限于超链接、二维码、口令等形式），仅供传递更多信息，节省甄选时间，具体结果仅供参考。IT之家所有文章均包含此声明。

本文来源：