标签：稀疏激活

在当今大模型竞争的时代，算力与效率的平衡成为关键。端侧部署一直是大模型落地的难点，主要受限于算力瓶颈。面壁智能和清华大学提出了一种不同于MoE的技术路径——神经元级稀疏激活，使得模型在保持性能的同时显著减少资源消耗。 这项技术背后融合了脑科学灵感与工程创新。《Configurable Foundation Models： Building LLMs from a Modular Perspective》论文详细描述了这一探索。量子位邀请到面壁智能与清华CFM论文作者肖朝军，深入探讨了算力与效率之间的博弈以及大模型架构创新的未来。 探索原生稀疏 CFM（Configurabl...

训练代码、中间checkpoint、训练日志和训练数据都已经开源。尽管大语言模型（LM）在各类任务中取得了显著进展，但在训练和推理方面，性能与成本之间的权衡仍然是一个问题。对于很多学者和开发者而言，高性能的语言模型由于高昂的成本而难以触及。一种改善成本-性能的方法是采用稀疏激活混合专家（MoE）。MoE在每一层都有多个专家，每次只激活其中的一部分，从而使得MoE模型比密集模型更高效。因此，许多前沿模型如Gemini-1.5和GPT-4等都采用了MoE。 然而，大多数MoE模型都是闭源的，即便有些模型公开了权重，但对于训练数据...