标签：大规模语言模型

终于，华为盘古大模型系列推出了全新的昇腾原生通用千亿级语言大模型。当前，各大科技公司纷纷发布百亿、千亿级模型，但大部分模型的训练依赖于英伟达的 GPU。在这种情况下，国内研究团队难以获得足够的计算资源，这限制了国内大模型技术的快速发展。然而，华为盘古发布的这项新研究表明，基于全国产的昇腾平台，同样可以实现领先的大规模语言模型的研究与开发。 技术报告Pangu Ultra： 推动 Ascend NPUs 上密集大型语言模型的极限 技术报告地址：[https：//github.com/pangu-tech/pangu-ultra/blob/main/pangu-ultra-rep...

人工智能在科学发现中的新突破：MOOSE-Chem 模型助力化学假设生成 近年来，人工智能（AI）已经在自然语言处理（NLP）和计算机视觉（CV）等领域取得了显著进展。然而，AI 是否能够帮助科学家发现新的科学理论？ICLR 2025 接收的一篇论文《MOOSE-Chem： 大规模语言模型用于重新发现未见的化学科学假设》提出了一个令人振奋的问题：大规模语言模型（LLMs）能否仅依赖化学研究背景信息，自动发现新的、有效的化学科学假设？ 这项研究表明，LLM 可以自主发现新颖且可行的科学假设，甚至可以重新发现那些已经发表在顶级期刊如《N...

引言 近期，Meta、纽约大学及加州大学洛杉矶分校的研究团队发布了一项新研究，揭示了一个令人震惊的现象：即使是少量的合成数据也可能导致大规模语言模型（LLM）性能急剧下降，甚至完全失效。研究指出，当合成数据占比达到1%时，模型的表现就会受到严重影响。更让人担忧的是，模型的参数越多，这种负面影响就越明显。这一发现引发了业界对合成数据在模型训练中的作用和风险的重新评估。 合成数据带来的挑战 “模型崩溃”是指在使用合成数据进行训练的过程中，模型的性能逐渐下降，直至最终失去功能。研究团队通过实验发现...

最近的研究揭示了一个令人惊讶的现象，即许多流行的大规模语言模型（LLMs）存在过拟合问题。尽管一些小型模型如微软的 Phi-3 和 Mistral 8x22B 在推理任务上表现出色，但新研究表明，当前的评估方法可能并未准确反映大模型的真实能力。问题在于，大部分研究依赖于如 GSM8k、MATH 等测试集，而这些数据集可能已被训练数据污染，导致模型在基准测试中的表现被夸大。 Scale AI 的最新论文深入探讨了包括 GPT-4、Gemini、Claude 等在内的多个大模型，发现它们受到基准数据污染的影响。为避免数据污染，Scale AI 创建了新的 GSM1...