标签：– 扩展定律

中科大与华为联合推出生成式推荐大模型，并成功部署在国产昇腾NPU上。这一成果标志着生成式推荐技术迈入新阶段，同时公开了背后的认知研究。 第一段 在信息爆炸的时代，推荐系统已经成为日常生活中不可或缺的一部分。Meta率先提出了生成式推荐范式HSTU，将推荐参数扩展至万亿级别，取得了显著成效。近期，中科大与华为合作开发了一种新的推荐大模型部署方案，适用于多种场景。以下是报告中的亮点 1. 总结了推荐范式的发展历程，指出具备扩展定律的生成式推荐范式是未来趋势。 2. 复现并研究了不同架构的生成式推荐模型及...

OpenAI的联合创始人Ilya Sutskever指出，使用大量未标记数据来理解语言模式和结构的训练阶段已经接近尾声。他表示，扩展训练的效果已经趋于平稳，这意味着通过增加数据和计算资源来提升AI模型性能的方法（即Scaling Law）已经遇到了瓶颈。像ChatGPT这样的大型语言模型（LLMs）当前的扩展策略已经达到了极限。 根据Ilya Sutskever的观点，简单地通过增加更多的数据和计算资源来扩大规模已不足以实现有意义的进步。虽然增加计算能力仍然是提升AI性能的一种方式，但已经无法像以前那样通过不断增加数据量和计算能力来显著提升...