标签：强化学习

DeepSeek V3/R1 引领潮流，Colossal-AI 助力低成本高质量模型构建 DeepSeek V3/R1 正在全网掀起热潮，其基于原始模型的解决方案和 API 服务已广泛普及。面对低价和免费的竞争压力，如何通过后训练（post-training）结合专业领域数据，站在巨人的肩膀上，打造高质量私有模型，提升业务竞争力与价值？Colossal-AI 提供了强大的支持。 Colossal-AI 是一款开源大模型后训练工具箱，已获得近 4 万 GitHub Star。它为开发者提供了丰富的功能，包括： - 低成本微调：支持满血版 671B LoRA 的 DeepSeek V3/R1 模型进行低成本监督...

近日，OpenAI的两位前高管John Schulman和Barret Zoph在离开公司后，将ChatGPT的后训练方法整理成PPT并公开发布。这两位曾在OpenAI担任后训练研究的重要角色，因此他们对这一领域的见解备受关注。 背景介绍 John Schulman是OpenAI的联合创始人之一，曾负责后训练工作；Barret Zoph则曾任后训练研究副总裁。他们在斯坦福大学进行了一场关于后训练及ChatGPT开发经验的演讲，并通过社交媒体分享了PPT。遗憾的是，演讲视频未能录制下来，但观众们纷纷点赞收藏，证明了其的高质量。 后训练阶段详解 后训练是模型开发的最后一...

DeeSeek掀起全球AI革命，改变科技格局 短短几天内，DeeSeek凭借其R1模型在Hugging Face中的like数飙升，迅速登顶美国App Store榜首，引发了全球科技股的集体重挫。这股来自东方的力量展示了其强大的影响力。甚至连OpenAI首席研究官Mark Chen也不得不承认，DeepSeek确实独立发现了一些关键的AI核心理念，并且未来将发布更多模型。 OpenAI的回应与技术突破 面对外界的各种分析，Mark Chen表示现代AI系统采用了「预训练」和「推理」两大范式，提供了更灵活的优化空间，在降低成本的同时提升模型性能。Noam Brown也强调，算...

深度求索（DeepSeek）引领中美AI竞争新潮流 近日，快科技报道指出，随着深度求索（DeepSeek）的出现，中美在人工智能（AI）领域的竞争格局发生了显著变化。根据苹果App Store中国区免费榜数据显示，过去一周内，全球瞩目的DeepSeek一举登顶榜首。同时，在美国区苹果App Store免费榜上，DeepSeek也从昨日的第六位迅速攀升至首位，超越了包括ChatGPT、Meta旗下的Threads、Google Gemini和Microsoft Copilot等在内的多个知名生成式AI产品。 这是首次有中国应用在中国和美区苹果App Store同时占据首位，其火爆程度可见一斑。1...

中国电信人工智能研究院发布复杂推理大模型TeleAI-t1-preview 近日，中国电信人工智能研究院（TeleAI）正式发布了其最新成果——“复杂推理大模型”TeleAI-t1-preview，并即将上线天翼 AI 开放平台。该模型通过引入探索、反思等思考范式，显著提升了在数学推导和逻辑推理等方面的准确性。早在1500多年前，中国古代数学家祖冲之就曾指出，复杂事物的运行规律可以通过实际观测和数据推理严谨求得。如今，TeleAI-t1-preview 正在用严密的思维链路，摆脱幻觉的怪圈，向这一目标迈进。 TeleAI-t1-preview 在权威评测中表现出色 在...

来自中国的AI大模型DeepSeek-R1震撼全球，成本仅为国外竞品的三十分之一 近日，中国的一家AI创业公司DeepSeek（深度求索）正式发布了其最新的大模型DeepSeek-R1。这款模型在数学、代码和自然语言推理等任务上的表现与OpenAI的o1版本相当，甚至在某些基准测试中略胜一筹。DeepSeek-R1的发布在全球AI圈引起了巨大反响。 在AIME 2024数学基准测试中，DeepSeek-R1取得了79.8%的得分率，而OpenAI-o1为79.2%。在MATH-500基准测试中，DeepSeek-R1的得分率为97.3%，OpenAI-o1为96.4%。在编码任务中，DeepSeek-R1超越了96.3%的人类...

国内创业公司实现 OpenAI 愿景，多模态模型 K1.5 和 DeepSeek-R1 引领 AI 领域 最近，大模型领域再次掀起热潮。国内创业公司月之暗面发布了数学、代码和多模态推理能力全面对标 OpenAI 的满血版 o1 的多模态思考模型 K1.5。与此同时，备受瞩目的 DeepSeek 也正式推出了其新版本 DeepSeek-R1，在数学、代码和自然语言推理等任务上与 OpenAI 的 o1 正式版不相上下。 去年 12 月开源的 DeepSeek-V3 刚刚引发了一阵热潮，实现了诸多不可能的任务。此次发布的 R1 大模型更是让众多 AI 研究者感到震惊。AutoAWQ 作者 Casper Hans...

深度解读开源AI模型DeepSeek-R1：性能与挑战并存 近日，开源AI模型DeepSeek-R1一经发布便迅速走红，引发了全球AI圈的广泛关注。不到一天时间，其GitHub论文就获得了5000多收藏，相关话题在各大平台如YC黑客新闻、Reddit和X等互动量超过万次。这款模型不仅完全免费使用，而且性能比肩OpenAI o1，在多个领域表现出色。 一、技术亮点与用户评价 英伟达资深科学家Jim Fan对DeepSeek-R1给予了高度评价，指出它不仅开源了正式版及6款蒸馏模型，还详细分享了训练细节和方法。这是首个充分展示强化学习（RL）飞轮效应显著且持续增...

清华团队利用强化学习让7B模型数学能力超越GPT-4o，仅需一万块钱！ 近日，清华大学NLP实验室、上海AI Lab、清华大学电子系以及OpenBMB社区等团队提出了一种新的结合过程奖励的强化学习方法——PRIME（Process Reinforcement through IMplicit REwards）。该方法不依赖任何蒸馏数据和模仿学习，仅用8张A100显卡，在不到10天的时间内，花费大约一万块钱，成功训练出一个数学能力超过GPT-4o、Llama-3.1-70B的7B模型Eurus-2-7B-PRIME。 强化学习与大模型推理能力的突破 随着OpenAI o1和o3模型的发布，强化学习已被证明能够使大...

一、Jason Wei 的背景与贡献 关注 AI 领域的人对 Jason Wei 这个名字一定不陌生。他是 OpenAI 的一位资深研究科学家，经常在 OpenAI 的发布活动中露面。作为思维链概念开山之作《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》的第一作者，他的工作使这一技术广为人知。Jason Wei 在谷歌期间推广了思维链提示概念，并共同领导了指令微调的早期工作。2023 年初，他加入了 OpenAI，参与了 ChatGPT 和其他重大项目。 二、演讲概要 去年 11 月 20 日，Jason Wei 在宾夕法尼亚大学计算机与信息科学...