OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE

（由多段落组成）：

2025年12月，OpenAI悄然发布了一项颠覆性的开源成果——一种基于极致稀疏架构的新语言模型，参数量仅0.4B，却因其内部高达99.9%的权重为零而引发AI圈热议。这项技术名为 Circuit Sparsity（电路稀疏性），并非追求性能极限，而是致力于揭开大模型“黑箱”的神秘面纱，让AI的决策过程变得像电子电路图一样清晰可读。

传统的大规模神经网络，尤其是基于Transformer架构的模型，其内部连接密如蛛网，几乎每个权重都有非零值，信息流动高度耦合、难以追踪。这种“稠密连接”虽然在表达能力上强大，但也导致了严重的可解释性问题：我们不知道模型为何做出某个判断，也无法验证其逻辑是否合理。而Circuit Sparsity则另辟蹊径，通过严格的L0范数约束，在训练过程中主动剪枝，强制99.9%的连接归零，仅保留千分之一的关键通路。这些稀疏连接构成了一条条独立的信息通道，使模型的行为可以被逐层拆解和验证。

更令人惊叹的是，该模型能够为特定任务自动生成“最小功能电路”。例如在处理Python代码中的引号闭合检测时，系统仅需2个MLP神经元和1个注意力头即可完成任务，形成包含引号识别、类型分类等功能模块的精简结构，如同电路中的电容与电阻各司其职。实验证明，在同等预训练损失下，这类稀疏模型的任务专属电路规模比传统模型小16倍，并具备严格的必要性和充分性：移除任一关键节点，任务立即失败，从而实现了真正意义上的机制透明。

这一突破也让当前主流的MoE（混合专家模型）面临挑战。MoE虽也试图实现稀疏激活，但其本质是通过门控机制动态选择专家子网络，属于硬件适配驱动下的“近似稀疏”，存在专家同质化、知识冗余、协同不稳定等问题。相比之下，Circuit Sparsity从设计之初就追求原生稀疏与功能解耦，通过高维特征映射与严格激活限制，使每个神经元代表单一语义概念，避免了信息叠加干扰，无需依赖复杂的负载均衡策略即可实现高效分工。

尽管前景广阔，Circuit Sparsity目前仍面临巨大算力瓶颈：其训练与推理成本可达传统模型的100至1000倍，尚无法支撑千亿级大模型的应用。短期内，MoE凭借成熟的效率优化仍将主导工业界。不过，研究团队已提出两条演进路径：一是从现有稠密模型中提取稀疏电路，实现“后训练解析”，大幅降低开销；二是持续优化稀疏训练算法，推动原生可解释模型走向实用化。未来，随着工具链完善，这项技术有望成为打开大模型认知黑箱的关键钥匙，引领AI向更可信、更可控的方向发展。

Circuit Sparsity, OpenAI新模型, 大模型可解释性, 稀疏神经网络, MoE替代方案

本文来源：