黑客能让 AI 发辞职信？OpenAI 承认 Atlas 浏览器提示词注入攻击难以根治

（由多段落组成）：

随着人工智能技术的飞速发展，AI智能体在浏览器等实际应用场景中的落地正不断加速。然而，安全问题也随之浮出水面。OpenAI近期在其官方博客中坦承，尽管已为旗下AI浏览器ChatGPT Atlas加强了多项防御机制，但“提示词注入攻击”这一高风险威胁短期内仍难以根除。这类攻击通过在网页、邮件或文档中嵌入隐蔽指令，诱导AI智能体执行非预期操作，如发送敏感信息或擅自发起支付，严重威胁用户数据安全。

早在今年10月，OpenAI推出具备自主操作能力的Atlas浏览器后不久，安全研究人员便迅速验证了其潜在漏洞——仅需在谷歌文档中输入几行文字，即可操控浏览器行为。这一发现引发了行业广泛关注。不仅OpenAI面临挑战，Brave、Perplexity等推出的AI驱动型浏览器同样受到间接提示词注入攻击的影响。英国国家网络安全中心（NCSC）也于本月早些时候发出警示：针对生成式AI系统的提示词注入攻击“几乎不可能被彻底消除”，建议企业应聚焦于风险缓解而非完全防御。

面对这一长期性安全难题，OpenAI并未选择被动应对，而是构建了一套主动式防御体系。其中最具创新性的举措是开发“基于大语言模型的自动化攻击程序”。该系统利用强化学习技术训练而成，能够模拟黑客思维，在虚拟环境中反复测试各类攻击路径，提前挖掘潜在漏洞。与传统红队测试不同，这款AI攻击机器人能深入模拟目标智能体的推理过程，发现多达数百步的复杂恶意流程，甚至揭示此前未被记录的新型攻击策略。

在一次公开演示中，该自动化攻击程序成功将一封伪装成普通通知的恶意邮件置入用户收件箱。当Atlas智能体扫描邮箱时，误将其中隐藏指令当作合法任务执行，最终发送了一封辞职信，而非原本要求撰写的休假自动回复。这一案例直观展示了提示词注入的实际危害。不过OpenAI强调，经过多轮安全更新，当前“智能体模式”已具备初步检测和预警能力，可在多数情况下识别异常行为并提醒用户。

为降低整体风险，OpenAI还向用户提出多项实用建议：避免赋予AI过高的自主权限，例如不应简单授权其访问整个收件箱并“自行处理”；而应下达具体明确的任务指令。同时，系统在执行关键操作（如发邮件、付款）前会强制弹出确认请求，引入人工审核环节以遏制误操作。此外，公司已在发布前联合第三方安全机构进行深度渗透测试，并持续缩短补丁更新周期，力求在真实攻击发生前完成修复。

业内专家对此持谨慎态度。网络安全公司Wiz首席安全研究员拉米・麦卡锡指出，衡量AI系统风险的关键在于“自主性×访问权限”的乘积模型。当前AI浏览器正处于高风险区间——虽具备中等自主决策能力，却拥有极高系统权限，一旦被攻破后果严重。他认为，目前这类工具带来的便利尚不足以抵消其所承载的安全隐患，尤其在涉及电子邮件、财务信息等敏感场景下更需审慎使用。尽管未来随着技术演进，安全与功能之间的平衡有望改善，但在现阶段，用户和开发者都必须清醒认识到其中的权衡取舍。

提示词注入攻击, AI浏览器安全, ChatGPT Atlas, 大语言模型防御, 人工智能安全挑战

本文来源： IT之家【阅读原文】