好消息，遇到不好行情_老虎社区_美港股上老虎 - 老虎社区

好消息，遇到不好行情.还是起不来

超越DeepSeek-R1，英伟达开源新王登顶！14万H100小时训练细节全曝光

免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

1

{"i18n":{"language":"zh_CN"},"detailType":1,"isChannel":false,"data":{"magic":2,"id":432253250515088,"tweetId":"432253250515088","gmtCreate":1746543393295,"gmtModify":1746543395066,"author":{"id":3568281304096151,"idStr":"3568281304096151","authorId":3568281304096151,"authorIdStr":"3568281304096151","name":"品子","avatar":"https://static.tigerbbs.com/3c8860d27140e2f52a02b673f774740e","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":6,"crmLevelSwitch":0,"currentWearingBadge":{"badgeId":"228c86a078844d74991fff2b7ab2428d-2","templateUuid":"228c86a078844d74991fff2b7ab2428d","name":"投资总监虎","description":"证券账户累计交易金额达到30万美元","bigImgUrl":"https://static.tigerbbs.com/9d20b23f1b6335407f882bc5c2ad12c0","smallImgUrl":"https://static.tigerbbs.com/ada3b4533518ace8404a3f6dd192bd29","grayImgUrl":"https://static.tigerbbs.com/177f283ba21d1c077054dac07f88f3bd","redirectLinkEnabled":0,"hasAllocated":1,"isWearing":1,"stampPosition":0,"hasStamp":0,"allocationCount":1,"allocatedDate":"2025.03.05","exceedPercentage":"80.31%","individualDisplayEnabled":0},"individualDisplayBadges":[],"fanSize":18,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body><p>好消息，遇到不好行情.还是起不来</p></body></html>","htmlText":"<html><head></head><body><p>好消息，遇到不好行情.还是起不来</p></body></html>","text":"好消息，遇到不好行情.还是起不来","highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/432253250515088","repostId":1151099748,"repostType":2,"repost":{"id":"1151099748","kind":"news","pubTimestamp":1746508727,"share":"https://www.laohu8.com/m/news/1151099748?lang=&edition=full","pubTime":"2025-05-06 13:18","market":"us","language":"zh","title":"超越DeepSeek-R1，英伟达开源新王登顶！14万H100小时训练细节全曝光","url":"https://stock-news.laohu8.com/highlight/detail?id=1151099748","media":"新智元","summary":"现在，英伟达Llama-Nemotron系列模型，正式超越DeepSeek-R1！换句话说，在推理吞吐量和内存效率上显著超越DeepSeek-R1的一系列推理模型，已经开源可用了。值得一提的是，LN-Ultra不仅在性能上超越了DeepSeek-R1，还能在单个8xH100节点上运行，推理吞吐量更高。第三阶段：进行有监督微调，结合标准指令数据和来自DeepSeek-R1等强大教师模型的推理过程，从而让模型具备多步骤推理能力。值得注意的是，LN-Ultra始终在准确性和效率上优于DeepSeek-R1和Llama-3.1-405B，取得了准确性和效率的最佳平衡。","content":"<html><head></head><body><blockquote><p>导读：超越DeepSeek-R1的<a href=\"https://laohu8.com/S/NVDA\">英伟达</a>开源新王Llama-Nemotron，是怎么训练出来的？刚刚放出的论文，把一切细节毫无保留地全部揭秘了！</p></blockquote><p style=\"text-align: justify;\">现在，英伟达Llama-Nemotron系列模型，正式超越DeepSeek-R1！</p><p style=\"text-align: justify;\">而且，这些模型已经全部开源了。</p><p style=\"text-align: justify;\">换句话说，在推理吞吐量和内存效率上显著超越DeepSeek-R1的一系列推理模型，已经开源可用了。</p><p style=\"text-align: justify;\">超越DeepSeek-R1的模型，究竟是怎么炼出的？</p><p style=\"text-align: justify;\">就在刚刚，英伟达发布了技术报告中，揭秘了模型训练的关键——</p><ul style=\"\"><li><p>利用合成数据监督微调+强化学习，全面提升模型的推理能力</p></li><li><p>从头构建完善的后训练流程</p></li></ul><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/53bfc05afb75a4fa59c3683b2591119c\" alt=\"\" title=\"\" tg-width=\"1080\" tg-height=\"626\"/></p><p style=\"text-align: justify;\">上个月，英伟达正式官宣了的Llama-Nemotron 253B，一下子就让发布3天的Llama 4变成了「陪衬」。（后者还陷入了刷榜等「诚信危机」）</p><p style=\"text-align: justify;\">发布之后，英伟达的这一系列模型在业界引起不小的轰动。</p><p style=\"text-align: justify;\">根据人工分析<a href=\"https://laohu8.com/S/5RE.SI\">智能</a>指数，截至2025年4月，Llama-Nemotron-Ultra被认为是目前「最智能」的开源模型。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/005f418eb13302d60cfb9bb91ccb8450\" alt=\"\" title=\"\" tg-width=\"1080\" tg-height=\"485\"/></p><p style=\"text-align: justify;\">这次，英伟达一口气推出了Llama-Nemotron系列三个模型——<strong>LN-Nano 8B，LN-Super 49B和LN-Ultra 253B</strong>。</p><p style=\"text-align: justify;\">值得一提的是，LN-Ultra不仅在<strong>性能上超越了DeepSeek-R1</strong>，还能在单个8xH100节点上运行，<strong>推理吞吐量更高</strong>。</p><p style=\"text-align: justify;\">这些模型针对高吞吐量推理进行了优化，同时保持强大的推理能力和最多128K的上下文长度。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/fff8148f966ed24a5447e1fc2882a2f8\" alt=\"LN-Ultra在各类推理任务中展现出领先的开源模型性能\" title=\"LN-Ultra在各类推理任务中展现出领先的开源模型性能\" tg-width=\"1080\" tg-height=\"664\"/><span>LN-Ultra在各类推理任务中展现出领先的开源模型性能</span></p><p style=\"text-align: justify;\">并且，在全球AI开源届，英伟达首次推出了<strong>推理开关功能</strong>，用户只需通过系统提示词「detailed thinking on/off」就可以动态切换标准聊天模式和推理模式。</p><p style=\"text-align: justify;\">这种设计让模型既能满足日常通用需求，也能胜任复杂的多步骤推理，无需使用不同的模型或架构。</p><p><strong>揭秘构建过程</strong></p><p style=\"text-align: justify;\">Llama-Nemotron模型的构建，分为五个阶段。</p><p style=\"text-align: justify;\"><strong>第一阶段</strong>：利用神经架构搜索（NAS）在Llama 3系列模型基础上优化推理效率，并引入前馈网络融合（FFN Fusion）。</p><p style=\"text-align: justify;\"><strong>第二阶段</strong>：通过知识蒸馏和继续预训练来恢复模型性能。</p><p style=\"text-align: justify;\"><strong>第三阶段</strong>：进行有监督微调（SFT），结合标准指令数据和来自DeepSeek-R1等强大教师模型的推理过程，从而让模型具备多步骤推理能力。</p><p style=\"text-align: justify;\"><strong>第四阶段</strong>：在复杂的数学和STEM数据集上进行大规模强化学习，这是学生模型能够超越教师模型能力的关键一步。对于LN-Ultra，这一阶段在GPQA-D基准测试上带来了显著性能提升，确立其作为当前开源领域科学推理最强模型的地位。</p><p style=\"text-align: justify;\">为了支持如此大规模的强化学习训练，团队专门开发了新的训练框架，包含多项优化措施，其中最重要的是支持 FP8精度的生成能力。</p><p style=\"text-align: justify;\"><strong>最后一个阶段</strong>：简短的对齐训练，重点在于指令跟随和符合人类偏好。</p><p><br/><strong>全新架构设计：优化推理效率</strong></p><p style=\"text-align: justify;\">借助神经架构搜索Puzzle框架，LN-Super和LN-Ultra优化了模型推理效率。</p><p style=\"text-align: justify;\">Puzzle能够在实际部署限制下，将大语言模型转化为更适配硬件运行的高效版本，如图3所示。</p><p style=\"text-align: justify;\">通过<strong>「逐块局部蒸馏」</strong>的方式，开发者利用Llama 3 Instruct构建了<strong>替代Transformer模块</strong>的库。</p><p style=\"text-align: justify;\">在这个过程中，每个模块都会被<strong>独立且并行</strong>地训练，<strong>逼近原始模块的功能，同时优化计算性能</strong>。</p><p style=\"text-align: justify;\">这样，每个替代模块都具有特定的「精度-效率」权衡特性：有些模块虽然更高效，但可能会带来一定的质量下降，从而形成一种在计算成本与模型准确性之间的明确取舍。</p><p style=\"text-align: justify;\">这些模块的变体包括：</p><ul style=\"\"><li><p style=\"text-align: justify;\"><strong>注意力机制移除</strong>：某些模块完全省略了注意力机制，从而降低了计算量和KV缓存的内存消耗。</p></li><li><p style=\"text-align: justify;\"><strong>可变的FFN维度</strong>：前馈网络的中间维度被调整，能以不同粒度对模型进行压缩。</p></li></ul><p style=\"text-align: justify;\">在构建好模块库后，Puzzle会从每一层中选择一个模块，组装出一个完整的模型。</p><p style=\"text-align: justify;\">这个选择过程由<strong>混合整数规划（MIP）求解器</strong>控制，它会根据一系列约束条件（如硬件兼容性、最大允许延迟、内存预算或期望的推理吞吐量）来找出最优配置。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/e4a6a4339c318ac0d88354b01b6ab099\" alt=\"Puzzle框架概览\" title=\"Puzzle框架概览\" tg-width=\"1080\" tg-height=\"470\"/><span>Puzzle框架概览</span></p><p><strong>垂直压缩与FFN融合</strong></p><p style=\"text-align: justify;\">在LN-Ultra模型中，研究者引入了一项额外的压缩技术，称为<strong>FFN Fusion（前馈网络融合）</strong>，用于减少模型的序列深度并提升推理延迟效率。</p><p style=\"text-align: justify;\">Puzzle在移除部分注意力层后，模型结构中出现的一种特性：模型中常会出现多个连续的FFN块。</p><p style=\"text-align: justify;\">FFN Fusion能识别出这些连续结构，并将其替换为更少但更宽、可并行执行的FFN层。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/2e60119490ea039784e2445f955ce13a\" alt=\"\" title=\"\" tg-width=\"654\" tg-height=\"768\"/></p><p style=\"text-align: justify;\">这种替换方式在<strong>不牺牲模型</strong>表达能力的前提下，<strong>减少了顺序计算的步骤</strong>，显著提升了计算资源的利用率——特别是在多GPU环境中，跨层通信开销不可忽视的情况下，效果尤为明显。</p><p style=\"text-align: justify;\">图4展示了在GPQA-Diamond准确率（%）与处理吞吐量（token/秒）之间的权衡。</p><p style=\"text-align: justify;\">值得注意的是，LN-Ultra始终在准确性和效率上<strong>优于DeepSeek-R1和Llama-3.1-405B</strong>，取得了准确性和效率的最佳平衡。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/931bf6e73343d77283d3f392d2598ed2\" alt=\"GPQA-Diamond模型的精确度与吞吐量对比\" title=\"GPQA-Diamond模型的精确度与吞吐量对比\" tg-width=\"1080\" tg-height=\"599\"/><span>GPQA-Diamond模型的精确度与吞吐量对比</span></p><p><strong>NAS后训练：知识蒸馏与持续预训练</strong></p><p style=\"text-align: justify;\">在神经架构搜索（NAS）阶段之后，LN-Super和LN-Ultra都进行了额外的训练，以提升模块之间的兼容性，并恢复在模块替换过程中可能出现的质量损失。</p><ul style=\"\"><li><p style=\"text-align: justify;\"><strong>LN-Super</strong>使用Distillation Mix数据集，在知识蒸馏目标下训练了400亿个token。</p></li><li><p style=\"text-align: justify;\"><strong>LN-Ultra</strong>首先使用相同的蒸馏数据集进行知识蒸馏训练，训练了650亿个token；随后又在Nemotron-H第四阶段预训练数据集上继续训练了880亿个token。</p></li></ul><p style=\"text-align: justify;\">这一最终的预训练步骤，使LN-Ultra不仅追平了参考模型Llama 3.1-405B-Instruct的表现，还在关键基准测试中实现了超越。</p><p style=\"text-align: justify;\">这就，表明<strong>通过简短的蒸馏与预训练，可以在激进的架构优化和高模型性能之间实现兼容</strong>。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/2b7d23046514ee2d6863450091610cb0\" alt=\"\" title=\"\" tg-width=\"1080\" tg-height=\"273\"/></p><p><strong>监督微调</strong></p><p style=\"text-align: justify;\">想让Llama-Nemotron模型拥有超厉害的推理能力？</p><p style=\"text-align: justify;\">监督微调（Supervised Fine-Tuning，SFT）这一步简直就是「神助攻」。</p><p style=\"text-align: justify;\">前面的开发阶段，团队主要在研究怎么让模型架构更高效，怎么把海量知识塞进去。</p><p style=\"text-align: justify;\">而SFT就像给模型请了一位「私人教练」，专门针对特定任务的推理步骤，带着它从DeepSeek-R1这些「学霸」模型身上，偷师推理技巧。</p><p style=\"text-align: justify;\">不过要想让模型真正拥有扎实的推理功底，大规模、高质量的推理训练数据必不可少。</p><p><strong>合成数据</strong></p><p style=\"text-align: justify;\">研究者为监督微调精心整理了包含<strong>推理和非推理</strong>的数据样本。</p><p style=\"text-align: justify;\">对于推理样本，他们在系统指令中加入「detailed thinking on」（开启详细思考），而对于非推理样本，则使用「detailed thinking off」（关闭详细思考）。</p><p style=\"text-align: justify;\">这种设置，使模型能够在推理阶段根据提示内容切换推理行为。</p><p style=\"text-align: justify;\"><strong>为推理，精心准备了数学、代码等相关领域的合成数据。</strong></p><p style=\"text-align: justify;\">为了训练模型遵循「推理开关」指令，研究者构建了成对的数据集，其中每个提示都对应一个带推理的回复和一个不带推理的回复。</p><p style=\"text-align: justify;\">这种配对方式，使模型能够根据系统指令学习调节其推理行为。</p><p style=\"text-align: justify;\">随后会依据标准答案或奖励模型对这些回复进行筛选。</p><p><strong>微调流程</strong></p><p style=\"text-align: justify;\">在指令微调数据上，所有模型的训练，均采用token级交叉熵损失。</p><p style=\"text-align: justify;\">在大多数训练设置中，<strong>推理数据和非推理数据</strong>会被混合在一起，形成训练批次，其中每个提示都会根据系统指令「detailed thinking on/off」的条件，与相应的响应配对。</p><p style=\"text-align: justify;\">延长训练至多轮周期能提升性能，对小模型尤为明显。</p><p style=\"text-align: justify;\">这次主要使用<strong>NeMo-Aligner</strong>来进行强化学习训练，支持GRPO以及异构模型的训练。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/4e66731639a1ee3d35fb9f03ce6b9540\" alt=\"\" title=\"\" tg-width=\"1068\" tg-height=\"436\"/></p><p style=\"text-align: justify;\">生成阶段使用<strong>vLLM</strong>实现，训练阶段则使用<strong>Megatron-LM</strong>。</p><p style=\"text-align: justify;\">训练和推理阶段共用同一批GPU，在同一设备上完成。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/3c62ae9c122533da33bd84a945de1d85\" alt=\"\" title=\"\" tg-width=\"1080\" tg-height=\"392\"/></p><p style=\"text-align: justify;\">整个训练过程中，他们共使用了<strong>72个节点，每个节点配备8张H100 GPU</strong>。</p><p style=\"text-align: justify;\">生成阶段采用<strong>FP8精度</strong>，训练阶段采用<strong>BF16精度</strong>，优化器状态使用<strong>FP32</strong>。</p><p style=\"text-align: justify;\">每个阶段维护一份独立的模型权重，并在每一步开始时进行同步。</p><p><strong>强化学习：超越R1推理能力的关键</strong></p><p style=\"text-align: justify;\">监督微调（SFT）可以让模型从强大的教师模型中提炼知识，从而获得出色的能力。</p><p style=\"text-align: justify;\">然而，<strong>知识蒸馏本质上为学生模型的性能设定了上限</strong>，特别是当学生模型的基础模型能力不超过教师模型时。</p><p style=\"text-align: justify;\">通过监督微调，LN-Ultra的性能可以接近DeepSeek-R1，但无法超越它。</p><p style=\"text-align: justify;\">为了使学生模型超越教师模型，大规模强化学习（RL）是一种可行的方法，因为它允许模型持续探索新的可能性并进行自我学习。</p><p style=\"text-align: justify;\">由于资源限制，研究者仅对LN-Ultra应用推理RL，结果得到超越教师模型的学生模型。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/aa614ae138b7722de7a18e1a1014e2de\" alt=\"在整个推理强化学习训练过程中，在GPQA-Diamond数据集上，LN-Ultra的准确性\" title=\"在整个推理强化学习训练过程中，在GPQA-Diamond数据集上，LN-Ultra的准确性\" tg-width=\"1080\" tg-height=\"519\"/><span>在整个推理强化学习训练过程中，在GPQA-Diamond数据集上，LN-Ultra的准确性</span></p><p><strong>训练流程</strong></p><p style=\"text-align: justify;\">对于LN-Ultra，研究者通过大规模强化学习（RL）增强它的科学推理能力，采用DeepSeek-R1同款的分组相对策略优化（GRPO）算法。</p><p style=\"text-align: justify;\">整个训练过程大约需要<strong>14万H100小时</strong>，持续训练模型直至其在推理任务上实现收敛。</p><p style=\"text-align: justify;\">图5显示了训练过程中GPQA-Diamond的准确率得分。</p><p style=\"text-align: justify;\"><strong>奖励机制设计包含两类：</strong></p><ul style=\"list-style-type: disc;\"><li><p style=\"text-align: justify;\"><strong>准确性奖励</strong>：基于标准答案（数值/句子/段落），调用Llama-3.3-70B-Instruct模型判断预测结果匹配度</p></li><li><p style=\"text-align: justify;\"><strong>格式奖励</strong>：遵循DeepSeek-AI的方案，强制模型在「详细思考」模式下用<code>&lt;think&gt;</code>标签包裹推理过程，非该模式时禁止出现此类标签</p></li></ul><p style=\"text-align: justify;\">研究团队还对数据进行预处理，包括数据过滤和课程训练（curriculum training）。</p><ul style=\"\"><li><p style=\"text-align: justify;\"><strong>数据筛选</strong>：预先使用LN-Super对每个问题生成8条响应，剔除通过率≥75%的简单样本</p></li><li><p style=\"text-align: justify;\"><strong>课程训练</strong>：采用基于通过率的渐进式批次分配（图6验证其有效性）</p><ul style=\"\"><li><p style=\"text-align: justify;\"><strong><em>动态分布</em></strong>：以高斯函数建模批次难度，初期侧重高通过率（简单）样本，后期转向低通过率（困难）样本</p></li><li><p style=\"text-align: justify;\"><strong><em>填充逻辑</em></strong>：优先按目标分布分配样本，剩余容量从最大剩余样本池补充</p></li><li><p style=\"text-align: justify;\"><strong><em>批内处理</em></strong>：同批次样本随机打乱以保持多样性</p></li></ul></li></ul><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/1930f94aff8c6a215574b550d952fef3\" alt=\"\" title=\"\" tg-width=\"1080\" tg-height=\"601\"/></p><p><strong>用于偏好优化的强化学习</strong></p><p style=\"text-align: justify;\">在完成科学推理训练之后，研究者对LN-Super和LN-Ultra模型进行了一个简短的强化学习阶段，重点提升其<strong>指令跟随能力</strong>。</p><p style=\"text-align: justify;\">研究者还使用RLHF对模型的<strong>通用帮助能力和聊天表现</strong>进行优化，同时<strong>保留</strong>了模型在<strong>数学、科学</strong>等其他领域的能力。</p><p style=\"text-align: justify;\">如表4所示，<strong>LN-Super</strong>在Arena Hard测试中取得了<strong>88.3的高分</strong>，<strong>超越了</strong>专有模型如Claude 3.5 Sonnet和GPT-4o-2024-05-13，也优于体量更大的开源模型。</p><p style=\"text-align: left;\">为了实现这一结果，他们采用了「<strong>在线RPO</strong>」（OnLine Reward-Policy Optimization）方法，最大化模型在HelpSteer2数据集上的预测奖励，奖励模型使用的是Llama-3.1-Nemotron-70B-Reward。</p><p style=\"text-align: justify;\">两轮在线RPO训练将Arena Hard得分<strong>从69.1提升到88.1</strong>。</p><p style=\"text-align: justify;\">对于<strong>LN-Ultra</strong>，他们使用类似流程，但采用了<strong>GRPO</strong>。</p><p style=\"text-align: justify;\">对于<strong>LN-Nano</strong>，他们进行了<strong>两轮离线RPO训练</strong>，使用基于策略生成的训练数据。</p><p style=\"text-align: justify;\">在第一轮中，结合推理类和非推理类数据，并配合适当的系统提示词，以优化模型的推理控制能力。第二轮则专注于提升指令跟随能力。</p><p><strong>评估结果</strong></p><p style=\"text-align: justify;\">研究者在两个基准类别上评估所有Llama-Nemotron模型的性能：推理任务和非推理任务。</p><p style=\"text-align: justify;\"><strong>推理类基准</strong>包括：AIME24和AIME25、GPQA-Diamond、LiveCodeBench以及MATH500。</p><p style=\"text-align: justify;\"><strong>非推理类基准</strong>包括：用于指令遵循评估的IFEval、用于函数调用工具使用评估的BFCL V2 Live以及用于评估对人类对话偏好对齐度的Arena-Hard。</p><p style=\"text-align: justify;\">表3显示，尽管模型体积较小，LN-Nano在所有推理类基准测试中都取得了出色的表现。</p><p style=\"text-align: justify;\">这表明，监督微调流程和精心策划的推理数据集，在将结构化推理能力迁移至小型模型方面是有效的。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/2174c3318e21f72f3f55e3ffaa68c99e\" alt=\"\" title=\"\" tg-width=\"1080\" tg-height=\"345\"/></p><p style=\"text-align: justify;\">表4将LN-Super与其参数规模相近的其他模型进行了对比，可见这个模型在推理任务和非推理任务中都表现出强劲的竞争力。</p><p style=\"text-align: justify;\">在「推理关闭」模式下，LN-Super的表现与其蒸馏来源模型Llama-3.3-70B相当；在「推理开启」模式下，则<strong>超越了其他竞品模型</strong>，例如DeepSeek-R1-Distilled-Llama-70B，在保持良好指令遵循能力的同时展现出强大的推理能力。</p><p style=\"text-align: justify;\">这些结果表明，LN-Super是一个兼具<strong>推理优化模型和非推理</strong>模型优点的通用模型，适用于日常助手型任务和结构化推理任务。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/0e368c348aa6f646767ec33c90da78f7\" alt=\"\" title=\"\" tg-width=\"1080\" tg-height=\"380\"/></p><p style=\"text-align: justify;\">表5显示，LN-Ultra 在推理和非推理基准测试中，与所有现有的开源权重模型相比表现持平或更优。它在GPQA上达到了开源模型中的最先进水平，充分证明了英伟达研究者大规模强化学习训练方法的有效性。</p><p style=\"text-align: justify;\">与DeepSeek-R1需要使用8×H200的硬件配置不同，LN-Ultra专门优化为可在<strong>单个8×H100节点</strong>上高效运行，从而提供更高的推理吞吐量和部署效率。</p><p style=\"text-align: justify;\">从表5可见，LN-Ultra的SFT阶段已经在多个推理基准测试（包括GPQA和AIME）上接近或达到DeepSeek-R1的性能。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/b933c4983c9ece79ba5382f2357416a1\" alt=\"\" title=\"\" tg-width=\"1080\" tg-height=\"390\"/></p><p style=\"text-align: justify;\">除了模型原本接受训练的推理和对话能力之外，他们还对模型在一个<strong>分布外任务</strong>。</p><p style=\"text-align: justify;\">具体来说，模型在<strong>JudgeBench</strong>数据集上进行了测试，要求区分<strong>高质量与低质量的回答</strong>。</p><p style=\"text-align: justify;\">如表6所示，新模型在该任务上表现<strong>优于当前顶尖的专有模型和开源模型</strong>。</p><p style=\"text-align: justify;\">其中，<strong>LN-Ultra成为表现最好的开源模型</strong>，明显超过了 DeepSeek-R1，仅次于专有模型 o3-mini(high)。</p><p style=\"text-align: justify;\">此外，<strong>LN-Super 的表现也超过了o1-mini</strong>，这说明新模型在各类任务中具备<strong>很强的泛化能力</strong>。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/902ea3435fc27f36530275d40400b72d\" alt=\"\" title=\"\" tg-width=\"1080\" tg-height=\"401\"/></p></body></html>","source":"lsy1569730104218","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>超越DeepSeek-R1，英伟达开源新王登顶！14万H100小时训练细节全曝光</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n超越DeepSeek-R1，英伟达开源新王登顶！14万H100小时训练细节全曝光\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-05-06 13:18 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s/r3RdoUFwUs5Mg6JQdFX5Bg><strong>新智元</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>导读：超越DeepSeek-R1的英伟达开源新王Llama-Nemotron，是怎么训练出来的？刚刚放出的论文，把一切细节毫无保留地全部揭秘了！现在，英伟达Llama-Nemotron系列模型，正式超越DeepSeek-R1！而且，这些模型已经全部开源了。换句话说，在推理吞吐量和内存效率上显著超越DeepSeek-R1的一系列推理模型，已经开源可用了。超越DeepSeek-R1的模型，究竟是怎么...</p>\n\n<a href=\"https://mp.weixin.qq.com/s/r3RdoUFwUs5Mg6JQdFX5Bg\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/3f1c866c487eb9e101f73a62d4495ce9","relate_stocks":{},"source_url":"https://mp.weixin.qq.com/s/r3RdoUFwUs5Mg6JQdFX5Bg","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"1151099748","content_text":"导读：超越DeepSeek-R1的英伟达开源新王Llama-Nemotron，是怎么训练出来的？刚刚放出的论文，把一切细节毫无保留地全部揭秘了！现在，英伟达Llama-Nemotron系列模型，正式超越DeepSeek-R1！而且，这些模型已经全部开源了。换句话说，在推理吞吐量和内存效率上显著超越DeepSeek-R1的一系列推理模型，已经开源可用了。超越DeepSeek-R1的模型，究竟是怎么炼出的？就在刚刚，英伟达发布了技术报告中，揭秘了模型训练的关键——利用合成数据监督微调+强化学习，全面提升模型的推理能力从头构建完善的后训练流程上个月，英伟达正式官宣了的Llama-Nemotron 253B，一下子就让发布3天的Llama 4变成了「陪衬」。（后者还陷入了刷榜等「诚信危机」）发布之后，英伟达的这一系列模型在业界引起不小的轰动。根据人工分析智能指数，截至2025年4月，Llama-Nemotron-Ultra被认为是目前「最智能」的开源模型。这次，英伟达一口气推出了Llama-Nemotron系列三个模型——LN-Nano 8B，LN-Super 49B和LN-Ultra 253B。值得一提的是，LN-Ultra不仅在性能上超越了DeepSeek-R1，还能在单个8xH100节点上运行，推理吞吐量更高。这些模型针对高吞吐量推理进行了优化，同时保持强大的推理能力和最多128K的上下文长度。LN-Ultra在各类推理任务中展现出领先的开源模型性能并且，在全球AI开源届，英伟达首次推出了推理开关功能，用户只需通过系统提示词「detailed thinking on/off」就可以动态切换标准聊天模式和推理模式。这种设计让模型既能满足日常通用需求，也能胜任复杂的多步骤推理，无需使用不同的模型或架构。揭秘构建过程Llama-Nemotron模型的构建，分为五个阶段。第一阶段：利用神经架构搜索（NAS）在Llama 3系列模型基础上优化推理效率，并引入前馈网络融合（FFN Fusion）。第二阶段：通过知识蒸馏和继续预训练来恢复模型性能。第三阶段：进行有监督微调（SFT），结合标准指令数据和来自DeepSeek-R1等强大教师模型的推理过程，从而让模型具备多步骤推理能力。第四阶段：在复杂的数学和STEM数据集上进行大规模强化学习，这是学生模型能够超越教师模型能力的关键一步。对于LN-Ultra，这一阶段在GPQA-D基准测试上带来了显著性能提升，确立其作为当前开源领域科学推理最强模型的地位。为了支持如此大规模的强化学习训练，团队专门开发了新的训练框架，包含多项优化措施，其中最重要的是支持 FP8精度的生成能力。最后一个阶段：简短的对齐训练，重点在于指令跟随和符合人类偏好。全新架构设计：优化推理效率借助神经架构搜索Puzzle框架，LN-Super和LN-Ultra优化了模型推理效率。Puzzle能够在实际部署限制下，将大语言模型转化为更适配硬件运行的高效版本，如图3所示。通过「逐块局部蒸馏」的方式，开发者利用Llama 3 Instruct构建了替代Transformer模块的库。在这个过程中，每个模块都会被独立且并行地训练，逼近原始模块的功能，同时优化计算性能。这样，每个替代模块都具有特定的「精度-效率」权衡特性：有些模块虽然更高效，但可能会带来一定的质量下降，从而形成一种在计算成本与模型准确性之间的明确取舍。这些模块的变体包括：注意力机制移除：某些模块完全省略了注意力机制，从而降低了计算量和KV缓存的内存消耗。可变的FFN维度：前馈网络的中间维度被调整，能以不同粒度对模型进行压缩。在构建好模块库后，Puzzle会从每一层中选择一个模块，组装出一个完整的模型。这个选择过程由混合整数规划（MIP）求解器控制，它会根据一系列约束条件（如硬件兼容性、最大允许延迟、内存预算或期望的推理吞吐量）来找出最优配置。Puzzle框架概览垂直压缩与FFN融合在LN-Ultra模型中，研究者引入了一项额外的压缩技术，称为FFN Fusion（前馈网络融合），用于减少模型的序列深度并提升推理延迟效率。Puzzle在移除部分注意力层后，模型结构中出现的一种特性：模型中常会出现多个连续的FFN块。FFN Fusion能识别出这些连续结构，并将其替换为更少但更宽、可并行执行的FFN层。这种替换方式在不牺牲模型表达能力的前提下，减少了顺序计算的步骤，显著提升了计算资源的利用率——特别是在多GPU环境中，跨层通信开销不可忽视的情况下，效果尤为明显。图4展示了在GPQA-Diamond准确率（%）与处理吞吐量（token/秒）之间的权衡。值得注意的是，LN-Ultra始终在准确性和效率上优于DeepSeek-R1和Llama-3.1-405B，取得了准确性和效率的最佳平衡。GPQA-Diamond模型的精确度与吞吐量对比NAS后训练：知识蒸馏与持续预训练在神经架构搜索（NAS）阶段之后，LN-Super和LN-Ultra都进行了额外的训练，以提升模块之间的兼容性，并恢复在模块替换过程中可能出现的质量损失。LN-Super使用Distillation Mix数据集，在知识蒸馏目标下训练了400亿个token。LN-Ultra首先使用相同的蒸馏数据集进行知识蒸馏训练，训练了650亿个token；随后又在Nemotron-H第四阶段预训练数据集上继续训练了880亿个token。这一最终的预训练步骤，使LN-Ultra不仅追平了参考模型Llama 3.1-405B-Instruct的表现，还在关键基准测试中实现了超越。这就，表明通过简短的蒸馏与预训练，可以在激进的架构优化和高模型性能之间实现兼容。监督微调想让Llama-Nemotron模型拥有超厉害的推理能力？监督微调（Supervised Fine-Tuning，SFT）这一步简直就是「神助攻」。前面的开发阶段，团队主要在研究怎么让模型架构更高效，怎么把海量知识塞进去。而SFT就像给模型请了一位「私人教练」，专门针对特定任务的推理步骤，带着它从DeepSeek-R1这些「学霸」模型身上，偷师推理技巧。不过要想让模型真正拥有扎实的推理功底，大规模、高质量的推理训练数据必不可少。合成数据研究者为监督微调精心整理了包含推理和非推理的数据样本。对于推理样本，他们在系统指令中加入「detailed thinking on」（开启详细思考），而对于非推理样本，则使用「detailed thinking off」（关闭详细思考）。这种设置，使模型能够在推理阶段根据提示内容切换推理行为。为推理，精心准备了数学、代码等相关领域的合成数据。为了训练模型遵循「推理开关」指令，研究者构建了成对的数据集，其中每个提示都对应一个带推理的回复和一个不带推理的回复。这种配对方式，使模型能够根据系统指令学习调节其推理行为。随后会依据标准答案或奖励模型对这些回复进行筛选。微调流程在指令微调数据上，所有模型的训练，均采用token级交叉熵损失。在大多数训练设置中，推理数据和非推理数据会被混合在一起，形成训练批次，其中每个提示都会根据系统指令「detailed thinking on/off」的条件，与相应的响应配对。延长训练至多轮周期能提升性能，对小模型尤为明显。这次主要使用NeMo-Aligner来进行强化学习训练，支持GRPO以及异构模型的训练。生成阶段使用vLLM实现，训练阶段则使用Megatron-LM。训练和推理阶段共用同一批GPU，在同一设备上完成。整个训练过程中，他们共使用了72个节点，每个节点配备8张H100 GPU。生成阶段采用FP8精度，训练阶段采用BF16精度，优化器状态使用FP32。每个阶段维护一份独立的模型权重，并在每一步开始时进行同步。强化学习：超越R1推理能力的关键监督微调（SFT）可以让模型从强大的教师模型中提炼知识，从而获得出色的能力。然而，知识蒸馏本质上为学生模型的性能设定了上限，特别是当学生模型的基础模型能力不超过教师模型时。通过监督微调，LN-Ultra的性能可以接近DeepSeek-R1，但无法超越它。为了使学生模型超越教师模型，大规模强化学习（RL）是一种可行的方法，因为它允许模型持续探索新的可能性并进行自我学习。由于资源限制，研究者仅对LN-Ultra应用推理RL，结果得到超越教师模型的学生模型。在整个推理强化学习训练过程中，在GPQA-Diamond数据集上，LN-Ultra的准确性训练流程对于LN-Ultra，研究者通过大规模强化学习（RL）增强它的科学推理能力，采用DeepSeek-R1同款的分组相对策略优化（GRPO）算法。整个训练过程大约需要14万H100小时，持续训练模型直至其在推理任务上实现收敛。图5显示了训练过程中GPQA-Diamond的准确率得分。奖励机制设计包含两类：准确性奖励：基于标准答案（数值/句子/段落），调用Llama-3.3-70B-Instruct模型判断预测结果匹配度格式奖励：遵循DeepSeek-AI的方案，强制模型在「详细思考」模式下用<think>标签包裹推理过程，非该模式时禁止出现此类标签研究团队还对数据进行预处理，包括数据过滤和课程训练（curriculum training）。数据筛选：预先使用LN-Super对每个问题生成8条响应，剔除通过率≥75%的简单样本课程训练：采用基于通过率的渐进式批次分配（图6验证其有效性）动态分布：以高斯函数建模批次难度，初期侧重高通过率（简单）样本，后期转向低通过率（困难）样本填充逻辑：优先按目标分布分配样本，剩余容量从最大剩余样本池补充批内处理：同批次样本随机打乱以保持多样性用于偏好优化的强化学习在完成科学推理训练之后，研究者对LN-Super和LN-Ultra模型进行了一个简短的强化学习阶段，重点提升其指令跟随能力。研究者还使用RLHF对模型的通用帮助能力和聊天表现进行优化，同时保留了模型在数学、科学等其他领域的能力。如表4所示，LN-Super在Arena Hard测试中取得了88.3的高分，超越了专有模型如Claude 3.5 Sonnet和GPT-4o-2024-05-13，也优于体量更大的开源模型。为了实现这一结果，他们采用了「在线RPO」（OnLine Reward-Policy Optimization）方法，最大化模型在HelpSteer2数据集上的预测奖励，奖励模型使用的是Llama-3.1-Nemotron-70B-Reward。两轮在线RPO训练将Arena Hard得分从69.1提升到88.1。对于LN-Ultra，他们使用类似流程，但采用了GRPO。对于LN-Nano，他们进行了两轮离线RPO训练，使用基于策略生成的训练数据。在第一轮中，结合推理类和非推理类数据，并配合适当的系统提示词，以优化模型的推理控制能力。第二轮则专注于提升指令跟随能力。评估结果研究者在两个基准类别上评估所有Llama-Nemotron模型的性能：推理任务和非推理任务。推理类基准包括：AIME24和AIME25、GPQA-Diamond、LiveCodeBench以及MATH500。非推理类基准包括：用于指令遵循评估的IFEval、用于函数调用工具使用评估的BFCL V2 Live以及用于评估对人类对话偏好对齐度的Arena-Hard。表3显示，尽管模型体积较小，LN-Nano在所有推理类基准测试中都取得了出色的表现。这表明，监督微调流程和精心策划的推理数据集，在将结构化推理能力迁移至小型模型方面是有效的。表4将LN-Super与其参数规模相近的其他模型进行了对比，可见这个模型在推理任务和非推理任务中都表现出强劲的竞争力。在「推理关闭」模式下，LN-Super的表现与其蒸馏来源模型Llama-3.3-70B相当；在「推理开启」模式下，则超越了其他竞品模型，例如DeepSeek-R1-Distilled-Llama-70B，在保持良好指令遵循能力的同时展现出强大的推理能力。这些结果表明，LN-Super是一个兼具推理优化模型和非推理模型优点的通用模型，适用于日常助手型任务和结构化推理任务。表5显示，LN-Ultra 在推理和非推理基准测试中，与所有现有的开源权重模型相比表现持平或更优。它在GPQA上达到了开源模型中的最先进水平，充分证明了英伟达研究者大规模强化学习训练方法的有效性。与DeepSeek-R1需要使用8×H200的硬件配置不同，LN-Ultra专门优化为可在单个8×H100节点上高效运行，从而提供更高的推理吞吐量和部署效率。从表5可见，LN-Ultra的SFT阶段已经在多个推理基准测试（包括GPQA和AIME）上接近或达到DeepSeek-R1的性能。除了模型原本接受训练的推理和对话能力之外，他们还对模型在一个分布外任务。具体来说，模型在JudgeBench数据集上进行了测试，要求区分高质量与低质量的回答。如表6所示，新模型在该任务上表现优于当前顶尖的专有模型和开源模型。其中，LN-Ultra成为表现最好的开源模型，明显超过了 DeepSeek-R1，仅次于专有模型 o3-mini(high)。此外，LN-Super 的表现也超过了o1-mini，这说明新模型在各类任务中具备很强的泛化能力。","news_type":1,"symbols_score_info":{"3NVD.UK":0.6,"NVDA":1}},"isVote":1,"tweetType":1,"viewCount":365,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":30,"optionInvolvedFlag":false,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"isCommentEnd":true,"isTiger":false,"isWeiXinMini":false,"url":"/m/post/432253250515088"}