国家安全部：警惕人工智能数据投毒，0.01% 虚假文本可致有害输出增加 11.2%

近年来，人工智能技术迅速发展，并广泛应用于社会各个领域，深刻改变了人们的生产和生活方式。然而，随着AI技术的深入应用，其背后的数据安全问题也逐渐浮出水面。国家安全部在近日发布的一篇文章中指出，人工智能训练数据存在“良莠不齐”的现象，包括虚假信息、虚构以及偏见性观点，这不仅影响了AI模型的性能，也带来了潜在的安全隐患。

文章强调，人工智能的三大核心要素是算法、算力和数据，其中数据作为训练AI模型的基础资源，对模型的准确性和稳定性起着决定性作用。高质量、多样化的数据能够帮助AI系统更好地理解和适应复杂场景，从而提升其智能决策和生成能力。然而，如果训练数据中掺杂了错误或恶意信息，将直接影响模型的学习效果，甚至导致其输出错误或有害。

数据污染问题可能引发“递归污染”效应。即被污染的AI模型生成的，又可能被用于训练下一代模型，形成错误信息的持续传播和累积。目前，互联网上AI生成的数量已经远超人类创作的真实信息，大量低质量甚至虚假数据充斥其中，进一步加剧了这一问题。这种污染效应不仅影响技术本身的发展，也可能在现实社会中造成严重后果。

在金融领域，数据污染可能被不法分子利用，通过AI生成虚假新闻或数据，引发市场异常波动，甚至构成新型金融诈骗风险。在公共安全领域，错误信息的传播可能误导公众判断，影响社会舆论稳定，甚至诱发群体性恐慌。而在医疗健康领域，AI模型如果基于错误数据进行训练，可能会给出错误的诊疗建议，严重威胁患者的生命安全，并助长伪科学的传播。

面对日益严峻的数据安全挑战，国家安全部提出了一系列应对策略。首先，要加强数据源头监管，防范污染数据的生成。依据《网络安全法》《数据安全法》《个人信息保护法》等相关法律法规，建立AI数据分类分级保护制度，从源头控制数据质量，降低AI模型被“毒化”的风险。

其次，应强化对人工智能数据安全风险的评估与管理。通过对数据采集、存储、传输、使用等全生命周期的安全监控，确保数据在各个环节的安全性。同时，推动建立人工智能安全风险分类管理体系，提升整体数据安全防护能力。

最后，在数据污染发生后，应及时进行清洗和修复。相关部门应依据法律法规和行业标准，制定详细的数据清洗规则，并构建模块化、可监测、可扩展的数据治理框架，实现对AI训练数据的持续管理和质量控制，从而保障人工智能技术的健康发展。

人工智能数据安全, 数据污染, AI模型训练, 数据清洗, 网络安全法

本文来源：