+关注
北方的雨声
暂无个人介绍
IP属地：广东
3
关注
0
粉丝
0
主题
0
勋章
主贴
热门
北方的雨声
03-03
一看是qq.com，我就呵呵了。
DeepSeek首次披露：理论上一天收入409万 成本利润率545% 英伟达CEO黄仁勋要坐不住了
北方的雨声
2024-07-25
$三倍做多半导体ETF-Direxion Daily(SOXL)$
满仓了，扔里面不管了，等两月再说。
去老虎APP查看更多动态
{"i18n":{"language":"zh_CN"},"userPageInfo":{"id":"4091021244120390","uuid":"4091021244120390","gmtCreate":1627918180201,"gmtModify":1627918328902,"name":"北方的雨声","pinyin":"bfdysbeifangdeyusheng","introduction":"","introductionEn":null,"signature":"","avatar":"https://static.tigerbbs.com/1fcfc79101183578709c4d6efd9505da","hat":null,"hatId":null,"hatName":null,"vip":1,"status":2,"fanSize":0,"headSize":3,"tweetSize":2,"questionSize":0,"limitLevel":999,"accountStatus":2,"level":{"id":0,"name":"","nameTw":"","represent":"","factor":"","iconColor":"","bgColor":""},"themeCounts":0,"badgeCounts":0,"badges":[],"moderator":false,"superModerator":false,"manageSymbols":null,"badgeLevel":null,"boolIsFan":false,"boolIsHead":false,"favoriteSize":0,"symbols":null,"coverImage":null,"realNameVerified":null,"userBadges":[{"badgeId":"e50ce593bb40487ebfb542ca54f6a561-3","templateUuid":"e50ce593bb40487ebfb542ca54f6a561","name":"偶像虎友","description":"加入老虎社区1500天","bigImgUrl":"https://static.tigerbbs.com/8b40ae7da5bf081a1c84df14bf9e6367","smallImgUrl":"https://static.tigerbbs.com/f160eceddd7c284a8e1136557615cfad","grayImgUrl":"https://static.tigerbbs.com/11792805c468334a9b31c39f95a41c6a","redirectLinkEnabled":0,"redirectLink":null,"hasAllocated":1,"isWearing":0,"stamp":null,"stampPosition":0,"hasStamp":0,"allocationCount":1,"allocatedDate":"2025.09.11","exceedPercentage":null,"individualDisplayEnabled":0,"backgroundColor":null,"fontColor":null,"individualDisplaySort":0,"categoryType":1001}],"userBadgeCount":1,"currentWearingBadge":null,"individualDisplayBadges":null,"crmLevel":1,"crmLevelSwitch":0,"location":"广东","starInvestorFollowerNum":0,"starInvestorFlag":false,"starInvestorOrderShareNum":0,"subscribeStarInvestorNum":0,"ror":null,"winRationPercentage":null,"showRor":false,"investmentPhilosophy":null,"starInvestorSubscribeFlag":false},"baikeInfo":{},"tab":"post","tweets":[{"id":409531118727736,"gmtCreate":1740992823746,"gmtModify":1740995728882,"author":{"id":"4091021244120390","authorId":"4091021244120390","name":"北方的雨声","avatar":"https://static.tigerbbs.com/1fcfc79101183578709c4d6efd9505da","crmLevel":1,"crmLevelSwitch":0,"followedFlag":false,"idStr":"4091021244120390","authorIdStr":"4091021244120390"},"themes":[],"htmlText":"一看是qq.com，我就呵呵了。","listText":"一看是qq.com，我就呵呵了。","text":"一看是qq.com，我就呵呵了。","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":2,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/409531118727736","repostId":"2516511645","repostType":2,"repost":{"id":"2516511645","kind":"news","pubTimestamp":1740837584,"share":"https://www.laohu8.com/m/news/2516511645?lang=&edition=full","pubTime":"2025-03-01 21:59","market":"us","language":"zh","title":"DeepSeek首次披露：理论上一天收入409万 成本利润率545% 英伟达CEO黄仁勋要坐不住了","url":"https://stock-news.laohu8.com/highlight/detail?id=2516511645","media":"雷递财经","summary":"“假定 GPU 租赁成本为 2 美金/小时，总成本为 $87,072/天。如果所有 tokens 全部按照 DeepSeek R1 的定价[1]计算，理论上一天的总收入为 $562,027，成本利润率545%。”这意味着，DeepSeek理论上一天的利润为474,955美元。DeepSeek也挑战了市场对AI、估值和高支出的叙述。DeepSeek的高性能预算产品也“质疑未来在英伟达芯片和开发上花费数千亿美元的必要性”。DeepSeek火爆以来，英伟达在2025年就失去了上涨的势头。有行业人士评论称，DeepSeek这一波操作，英伟达等公司的股价可能又撑不住了。","content":"<html><body><article><img src=\"https://fid-75186.picgzc.qpic.cn/20250301223032895v152pqps1b8z77u\"/><p><strong>雷递网 乐天 3月1日</strong></p><p>AI大模型DeepSeek日前在<a href=\"https://laohu8.com/S/ZH\">知乎</a>贴文《DeepSeek-V3 / R1 推理系统概览》，DeepSeek称，在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 R1 推理服务占用节点总和，峰值占用为 278 个节点，平均占用 226.75 个节点（每个节点为 8 个 H800 GPU）。</p><p>“假定 GPU 租赁成本为 2 美金/小时，总成本为 $87,072/天。如果所有 tokens 全部按照 DeepSeek R1 的定价[1]计算，理论上一天的总收入为 $562,027（约409万元），成本利润率545%。”</p><p>这意味着，DeepSeek理论上一天的利润为474,955美元（约350万元）。</p><p>据悉，DeepSeek R1 的定价：$0.14 / 百万输入 tokens (缓存命中)，$0.55 / 百万输入 tokens (缓存未命中)，$2.19 / 百万输出 tokens。</p><p>DeepSeek还指出，实际上没有这么多收入，因为 V3 的定价更低，同时收费服务只占了一部分，另外夜间还会有折扣。</p><p>硅基流动创始人、CEO袁进辉指出，“主要是V3/R1架构和其它主流模型差别太大了，由大量小Expert组成，导致瞄准其它主流模型结构开发的系统都不再有效，必须按照DeepSeek报告描述的方法才能达到最好的效率，而开发这样的系统难度很高，需要时间，幸好这周DeepSeek五连发已经把主要模块开源出来了，降低了社区复现的难度。”</p><p>“这些成果充分体现DeepSeek团队第一性原理思考方式和强悍的意志，他们应该是首先是基于某些原因想到了用这样的模型结构，然后发现这样的结构无论是训练还是推理，要做好都有非常大的工程挑战，这些问题在他们工程团队来说并不是搞不定的，关键是花那么大力气做完是否有大的收益呢，在最终结果出来前，谁也说不准，他们还是赌了，结果是赌对了。”</p><p>更有人评论称，怀疑DeepSeek的模型结构就是为了榨干系统和芯片的每一滴油水来设计的。</p><p>这可能让OpenAI CEO Altman（奥特曼）很不好想。外媒曾曝出，OpenAI在2024年可能面临惊人的50亿美元亏损，并可能在未来12个月内耗尽其现金储备。</p><p>DeepSeek也挑战了市场对AI、估值和高支出的叙述。DeepSeek的高性能预算产品也“质疑未来在<a href=\"https://laohu8.com/S/NVDA\">英伟达</a>芯片和开发上花费数千亿美元的必要性”。</p><img src=\"https://fid-75186.picgzc.qpic.cn/20250301223033386v152czgaea9g4y3\"/><p>DeepSeek火爆以来，英伟达在2025年就失去了上涨的势头。有行业人士评论称，DeepSeek这一波操作，英伟达等公司的股价可能又撑不住了。</p><p><strong>以下是DeepSeek-V3 / R1 推理系统概览在知乎贴文：</strong></p><p>DeepSeek-V3 / R1 推理系统的优化目标是：更大的吞吐，更低的延迟。为了实现这两个目标，我们的方案是使用大规模跨节点专家并行（Expert Parallelism / EP）。</p><p>首先 EP 使得 batch size 大大增加，从而提高 GPU 矩阵乘法的效率，提高吞吐。其次 EP 使得专家分散在不同的 GPU 上，每个 GPU 只需要计算很少的专家（因此更少的访存需求），从而降低延迟。但 EP 同时也增加了系统的复杂性。</p><p>复杂性主要体现在两个方面：EP 引入跨节点的传输。为了优化吞吐，需要设计合适的计算流程使得传输和计算可以同步进行。EP 涉及多个节点，因此天然需要 Data Parallelism（DP），不同的 DP 之间需要进行负载均衡。</p><p>因此，本文的主要内容是如何使用 EP 增大 batch size，如何隐藏传输的耗时，如何进行负载均衡。</p><p><strong>大规模跨节点专家并行（Expert Parallelism / EP）</strong></p><p>由于 DeepSeek-V3 / R1 的专家数量众多，并且每层 256 个专家中仅激活其中 8 个。模型的高度稀疏性决定了我们必须采用很大的 overall batch size，才能给每个专家提供足够的 expert batch size，从而实现更大的吞吐、更低的延时。需要大规模跨节点专家并行（Expert Parallelism / EP）。</p><p>我们采用多机多卡间的专家并行策略来达到以下目的：</p><p>Prefill：路由专家 EP32、MLA 和共享专家 DP32，一个部署单元是 4 节点，32 个冗余路由专家，每张卡 9 个路由专家和 1 个共享专家</p><p>Decode：路由专家 EP144、MLA 和共享专家 DP144，一个部署单元是 18 节点，32 个冗余路由专家，每张卡 2 个路由专家和 1 个共享专家</p><p><strong>计算通信重叠</strong></p><p>多机多卡的专家并行会引入比较大的通信开销，所以我们使用了双 batch 重叠来掩盖通信开销，提高整体吞吐。</p><p>对于 prefill 阶段，两个 batch 的计算和通信交错进行，一个 batch 在进行计算的时候可以去掩盖另一个 batch 的通信开销；</p><p>对于 decode 阶段，不同阶段的执行时间有所差别，所以我们把 attention 部分拆成了两个 stage，共计 5 个 stage 的流水线来实现计算和通信的重叠。</p><p><strong>尽可能地负载均衡</strong></p><p>由于采用了很大规模的并行（包括数据并行和专家并行），如果某个 GPU 的计算或通信负载过重，将成为性能瓶颈，拖慢整个系统；同时其他 GPU 因为等待而空转，造成整体利用率下降。因此我们需要尽可能地为每个 GPU 分配均衡的计算负载、通信负载。</p><p><strong>1,Prefill Load Balancer</strong></p><p>核心问题：不同数据并行（DP）实例上的请求个数、长度不同，导致 core-attention 计算量、dispatch 发送量也不同优化目标：各 GPU 的计算量尽量相同（core-attention 计算负载均衡）、输入的 token 数量也尽量相同（dispatch 发送量负载均衡），避免部分 GPU 处理时间过长</p><p><strong>2,Decode Load Balancer</strong></p><p>核心问题：不同数据并行（DP）实例上的请求数量、长度不同，导致 core-attention 计算量（与 KVCache 占用量相关）、dispatch 发送量不同优化目标：各 GPU 的 KVCache 占用量尽量相同（core-attention 计算负载均衡）、请求数量尽量相同（dispatch 发送量负载均衡）</p><p><strong>3,Expert-Parallel Load Balancer</strong></p><p>核心问题：对于给定 MoE 模型，存在一些天然的高负载专家（expert），导致不同 GPU 的专家计算负载不均衡优化目标：每个 GPU 上的专家计算量均衡（即最小化所有 GPU 的 dispatch 接收量的最大值）</p><p>线上系统的实际统计数据DeepSeek V3 和 R1 的所有服务均使用 H800 GPU，使用和训练一致的精度，即矩阵计算和 dispatch 传输采用和训练一致的 FP8 格式，core-attention 计算和 combine 传输采用和训练一致的 BF16，最大程度保证了服务效果。</p><p>另外，由于白天的服务负荷高，晚上的服务负荷低，因此我们实现了一套机制，在白天负荷高的时候，用所有节点部署推理服务。晚上负荷低的时候，减少推理节点，以用来做研究和训练。</p><p>在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 R1 推理服务占用节点总和，峰值占用为 278 个节点，平均占用 226.75 个节点（每个节点为 8 个 H800 GPU）。假定 GPU 租赁成本为 2 美金/小时，总成本为 $87,072/天。</p><img src=\"https://fid-75186.picgzc.qpic.cn/20250301223034297v152cucggl6jbhy\"/><p>在 24 小时统计时段内，DeepSeek V3 和 R1：输入 token 总数为 608B，其中 342B tokens（56.3%）命中 KVCache 硬盘缓存。</p><p>输出 token 总数为 168B。平均输出速率为 20~22 tps，平均每输出一个 token 的 KVCache 长度是 4989。</p><p>平均每台 H800 的吞吐量为：对于 prefill 任务，输入吞吐约 73.7k tokens/s（含缓存命中）；对于 decode 任务，输出吞吐约 14.8k tokens/s。</p><p>以上统计包括了网页、APP 和 API 的所有负载。如果所有 tokens 全部按照 DeepSeek R1 的定价[1]计算，理论上一天的总收入为 $562,027，成本利润率 545%。</p><p>当然我们实际上没有这么多收入，因为 V3 的定价更低，同时收费服务只占了一部分，另外夜间还会有折扣。</p><p>———————————————</p><p>雷递由媒体人雷建平创办，若转载请写明来源。</p><img src=\"https://fid-75186.picgzc.qpic.cn/20250301223035847v152pjf45gs3nzl\"/></article></body></html>","source":"tencent","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>DeepSeek首次披露：理论上一天收入409万 成本利润率545% 英伟达CEO黄仁勋要坐不住了</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nDeepSeek首次披露：理论上一天收入409万 成本利润率545% 英伟达CEO黄仁勋要坐不住了\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-03-01 21:59 北京时间 <a href=http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20250301223037abe299d3&s=b><strong>雷递财经</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>雷递网 乐天 3月1日AI大模型DeepSeek日前在知乎贴文《DeepSeek-V3 / R1 推理系统概览》，DeepSeek称，在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 R1 推理服务占用节点总和，峰值占用为 278 个节点，平均占用 226.75 个节点（每个节点为 8 个 H800 GPU）。“...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20250301223037abe299d3&s=b\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"","relate_stocks":{"NVDA":"英伟达"},"source_url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20250301223037abe299d3&s=b","is_english":false,"share_image_url":"https://static.laohu8.com/9a95c1376e76363c1401fee7d3717173","article_id":"2516511645","content_text":"雷递网 乐天 3月1日AI大模型DeepSeek日前在知乎贴文《DeepSeek-V3 / R1 推理系统概览》，DeepSeek称，在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 R1 推理服务占用节点总和，峰值占用为 278 个节点，平均占用 226.75 个节点（每个节点为 8 个 H800 GPU）。“假定 GPU 租赁成本为 2 美金/小时，总成本为 $87,072/天。如果所有 tokens 全部按照 DeepSeek R1 的定价[1]计算，理论上一天的总收入为 $562,027（约409万元），成本利润率545%。”这意味着，DeepSeek理论上一天的利润为474,955美元（约350万元）。据悉，DeepSeek R1 的定价：$0.14 / 百万输入 tokens (缓存命中)，$0.55 / 百万输入 tokens (缓存未命中)，$2.19 / 百万输出 tokens。DeepSeek还指出，实际上没有这么多收入，因为 V3 的定价更低，同时收费服务只占了一部分，另外夜间还会有折扣。硅基流动创始人、CEO袁进辉指出，“主要是V3/R1架构和其它主流模型差别太大了，由大量小Expert组成，导致瞄准其它主流模型结构开发的系统都不再有效，必须按照DeepSeek报告描述的方法才能达到最好的效率，而开发这样的系统难度很高，需要时间，幸好这周DeepSeek五连发已经把主要模块开源出来了，降低了社区复现的难度。”“这些成果充分体现DeepSeek团队第一性原理思考方式和强悍的意志，他们应该是首先是基于某些原因想到了用这样的模型结构，然后发现这样的结构无论是训练还是推理，要做好都有非常大的工程挑战，这些问题在他们工程团队来说并不是搞不定的，关键是花那么大力气做完是否有大的收益呢，在最终结果出来前，谁也说不准，他们还是赌了，结果是赌对了。”更有人评论称，怀疑DeepSeek的模型结构就是为了榨干系统和芯片的每一滴油水来设计的。这可能让OpenAI CEO Altman（奥特曼）很不好想。外媒曾曝出，OpenAI在2024年可能面临惊人的50亿美元亏损，并可能在未来12个月内耗尽其现金储备。DeepSeek也挑战了市场对AI、估值和高支出的叙述。DeepSeek的高性能预算产品也“质疑未来在英伟达芯片和开发上花费数千亿美元的必要性”。DeepSeek火爆以来，英伟达在2025年就失去了上涨的势头。有行业人士评论称，DeepSeek这一波操作，英伟达等公司的股价可能又撑不住了。以下是DeepSeek-V3 / R1 推理系统概览在知乎贴文：DeepSeek-V3 / R1 推理系统的优化目标是：更大的吞吐，更低的延迟。为了实现这两个目标，我们的方案是使用大规模跨节点专家并行（Expert Parallelism / EP）。首先 EP 使得 batch size 大大增加，从而提高 GPU 矩阵乘法的效率，提高吞吐。其次 EP 使得专家分散在不同的 GPU 上，每个 GPU 只需要计算很少的专家（因此更少的访存需求），从而降低延迟。但 EP 同时也增加了系统的复杂性。复杂性主要体现在两个方面：EP 引入跨节点的传输。为了优化吞吐，需要设计合适的计算流程使得传输和计算可以同步进行。EP 涉及多个节点，因此天然需要 Data Parallelism（DP），不同的 DP 之间需要进行负载均衡。因此，本文的主要内容是如何使用 EP 增大 batch size，如何隐藏传输的耗时，如何进行负载均衡。大规模跨节点专家并行（Expert Parallelism / EP）由于 DeepSeek-V3 / R1 的专家数量众多，并且每层 256 个专家中仅激活其中 8 个。模型的高度稀疏性决定了我们必须采用很大的 overall batch size，才能给每个专家提供足够的 expert batch size，从而实现更大的吞吐、更低的延时。需要大规模跨节点专家并行（Expert Parallelism / EP）。我们采用多机多卡间的专家并行策略来达到以下目的：Prefill：路由专家 EP32、MLA 和共享专家 DP32，一个部署单元是 4 节点，32 个冗余路由专家，每张卡 9 个路由专家和 1 个共享专家Decode：路由专家 EP144、MLA 和共享专家 DP144，一个部署单元是 18 节点，32 个冗余路由专家，每张卡 2 个路由专家和 1 个共享专家计算通信重叠多机多卡的专家并行会引入比较大的通信开销，所以我们使用了双 batch 重叠来掩盖通信开销，提高整体吞吐。对于 prefill 阶段，两个 batch 的计算和通信交错进行，一个 batch 在进行计算的时候可以去掩盖另一个 batch 的通信开销；对于 decode 阶段，不同阶段的执行时间有所差别，所以我们把 attention 部分拆成了两个 stage，共计 5 个 stage 的流水线来实现计算和通信的重叠。尽可能地负载均衡由于采用了很大规模的并行（包括数据并行和专家并行），如果某个 GPU 的计算或通信负载过重，将成为性能瓶颈，拖慢整个系统；同时其他 GPU 因为等待而空转，造成整体利用率下降。因此我们需要尽可能地为每个 GPU 分配均衡的计算负载、通信负载。1,Prefill Load Balancer核心问题：不同数据并行（DP）实例上的请求个数、长度不同，导致 core-attention 计算量、dispatch 发送量也不同优化目标：各 GPU 的计算量尽量相同（core-attention 计算负载均衡）、输入的 token 数量也尽量相同（dispatch 发送量负载均衡），避免部分 GPU 处理时间过长2,Decode Load Balancer核心问题：不同数据并行（DP）实例上的请求数量、长度不同，导致 core-attention 计算量（与 KVCache 占用量相关）、dispatch 发送量不同优化目标：各 GPU 的 KVCache 占用量尽量相同（core-attention 计算负载均衡）、请求数量尽量相同（dispatch 发送量负载均衡）3,Expert-Parallel Load Balancer核心问题：对于给定 MoE 模型，存在一些天然的高负载专家（expert），导致不同 GPU 的专家计算负载不均衡优化目标：每个 GPU 上的专家计算量均衡（即最小化所有 GPU 的 dispatch 接收量的最大值）线上系统的实际统计数据DeepSeek V3 和 R1 的所有服务均使用 H800 GPU，使用和训练一致的精度，即矩阵计算和 dispatch 传输采用和训练一致的 FP8 格式，core-attention 计算和 combine 传输采用和训练一致的 BF16，最大程度保证了服务效果。另外，由于白天的服务负荷高，晚上的服务负荷低，因此我们实现了一套机制，在白天负荷高的时候，用所有节点部署推理服务。晚上负荷低的时候，减少推理节点，以用来做研究和训练。在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 R1 推理服务占用节点总和，峰值占用为 278 个节点，平均占用 226.75 个节点（每个节点为 8 个 H800 GPU）。假定 GPU 租赁成本为 2 美金/小时，总成本为 $87,072/天。在 24 小时统计时段内，DeepSeek V3 和 R1：输入 token 总数为 608B，其中 342B tokens（56.3%）命中 KVCache 硬盘缓存。输出 token 总数为 168B。平均输出速率为 20~22 tps，平均每输出一个 token 的 KVCache 长度是 4989。平均每台 H800 的吞吐量为：对于 prefill 任务，输入吞吐约 73.7k tokens/s（含缓存命中）；对于 decode 任务，输出吞吐约 14.8k tokens/s。以上统计包括了网页、APP 和 API 的所有负载。如果所有 tokens 全部按照 DeepSeek R1 的定价[1]计算，理论上一天的总收入为 $562,027，成本利润率 545%。当然我们实际上没有这么多收入，因为 V3 的定价更低，同时收费服务只占了一部分，另外夜间还会有折扣。———————————————雷递由媒体人雷建平创办，若转载请写明来源。","news_type":1,"symbols_score_info":{"NVDA":1}},"isVote":1,"tweetType":1,"viewCount":2940,"authorTweetTopStatus":1,"verified":2,"comments":[],"imageCount":0,"langContent":"CN","totalScore":0},{"id":331128314151200,"gmtCreate":1721848855562,"gmtModify":1721858398291,"author":{"id":"4091021244120390","authorId":"4091021244120390","name":"北方的雨声","avatar":"https://static.tigerbbs.com/1fcfc79101183578709c4d6efd9505da","crmLevel":1,"crmLevelSwitch":0,"followedFlag":false,"idStr":"4091021244120390","authorIdStr":"4091021244120390"},"themes":[],"htmlText":"<a href=\"https://laohu8.com/S/SOXL\">$三倍做多半导体ETF-Direxion Daily(SOXL)$ </a>满仓了，扔里面不管了，等两月再说。","listText":"<a href=\"https://laohu8.com/S/SOXL\">$三倍做多半导体ETF-Direxion Daily(SOXL)$ </a>满仓了，扔里面不管了，等两月再说。","text":"$三倍做多半导体ETF-Direxion Daily(SOXL)$ 满仓了，扔里面不管了，等两月再说。","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":2,"repostSize":0,"link":"https://laohu8.com/post/331128314151200","isVote":1,"tweetType":1,"viewCount":2373,"authorTweetTopStatus":1,"verified":2,"comments":[{"author":{"id":"4184297385681732","authorId":"4184297385681732","name":"确定方进出","avatar":"https://community-static.tradeup.com/news/default-avatar.jpg","crmLevel":3,"crmLevelSwitch":1,"idStr":"4184297385681732","authorIdStr":"4184297385681732"},"content":"那我三倍做空半导体的多单怎么办？","text":"那我三倍做空半导体的多单怎么办？","html":"那我三倍做空半导体的多单怎么办？"}],"imageCount":0,"langContent":"CN","totalScore":0}],"hots":[{"id":331128314151200,"gmtCreate":1721848855562,"gmtModify":1721858398291,"author":{"id":"4091021244120390","authorId":"4091021244120390","name":"北方的雨声","avatar":"https://static.tigerbbs.com/1fcfc79101183578709c4d6efd9505da","crmLevel":1,"crmLevelSwitch":0,"followedFlag":false,"idStr":"4091021244120390","authorIdStr":"4091021244120390"},"themes":[],"htmlText":"<a href=\"https://laohu8.com/S/SOXL\">$三倍做多半导体ETF-Direxion Daily(SOXL)$ </a>满仓了，扔里面不管了，等两月再说。","listText":"<a href=\"https://laohu8.com/S/SOXL\">$三倍做多半导体ETF-Direxion Daily(SOXL)$ </a>满仓了，扔里面不管了，等两月再说。","text":"$三倍做多半导体ETF-Direxion Daily(SOXL)$ 满仓了，扔里面不管了，等两月再说。","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":2,"repostSize":0,"link":"https://laohu8.com/post/331128314151200","isVote":1,"tweetType":1,"viewCount":2373,"authorTweetTopStatus":1,"verified":2,"comments":[{"author":{"id":"4184297385681732","authorId":"4184297385681732","name":"确定方进出","avatar":"https://community-static.tradeup.com/news/default-avatar.jpg","crmLevel":3,"crmLevelSwitch":1,"idStr":"4184297385681732","authorIdStr":"4184297385681732"},"content":"那我三倍做空半导体的多单怎么办？","text":"那我三倍做空半导体的多单怎么办？","html":"那我三倍做空半导体的多单怎么办？"}],"imageCount":0,"langContent":"CN","totalScore":0},{"id":409531118727736,"gmtCreate":1740992823746,"gmtModify":1740995728882,"author":{"id":"4091021244120390","authorId":"4091021244120390","name":"北方的雨声","avatar":"https://static.tigerbbs.com/1fcfc79101183578709c4d6efd9505da","crmLevel":1,"crmLevelSwitch":0,"followedFlag":false,"idStr":"4091021244120390","authorIdStr":"4091021244120390"},"themes":[],"htmlText":"一看是qq.com，我就呵呵了。","listText":"一看是qq.com，我就呵呵了。","text":"一看是qq.com，我就呵呵了。","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":2,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/409531118727736","repostId":"2516511645","repostType":2,"repost":{"id":"2516511645","kind":"news","pubTimestamp":1740837584,"share":"https://www.laohu8.com/m/news/2516511645?lang=&edition=full","pubTime":"2025-03-01 21:59","market":"us","language":"zh","title":"DeepSeek首次披露：理论上一天收入409万 成本利润率545% 英伟达CEO黄仁勋要坐不住了","url":"https://stock-news.laohu8.com/highlight/detail?id=2516511645","media":"雷递财经","summary":"“假定 GPU 租赁成本为 2 美金/小时，总成本为 $87,072/天。如果所有 tokens 全部按照 DeepSeek R1 的定价[1]计算，理论上一天的总收入为 $562,027，成本利润率545%。”这意味着，DeepSeek理论上一天的利润为474,955美元。DeepSeek也挑战了市场对AI、估值和高支出的叙述。DeepSeek的高性能预算产品也“质疑未来在英伟达芯片和开发上花费数千亿美元的必要性”。DeepSeek火爆以来，英伟达在2025年就失去了上涨的势头。有行业人士评论称，DeepSeek这一波操作，英伟达等公司的股价可能又撑不住了。","content":"<html><body><article><img src=\"https://fid-75186.picgzc.qpic.cn/20250301223032895v152pqps1b8z77u\"/><p><strong>雷递网 乐天 3月1日</strong></p><p>AI大模型DeepSeek日前在<a href=\"https://laohu8.com/S/ZH\">知乎</a>贴文《DeepSeek-V3 / R1 推理系统概览》，DeepSeek称，在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 R1 推理服务占用节点总和，峰值占用为 278 个节点，平均占用 226.75 个节点（每个节点为 8 个 H800 GPU）。</p><p>“假定 GPU 租赁成本为 2 美金/小时，总成本为 $87,072/天。如果所有 tokens 全部按照 DeepSeek R1 的定价[1]计算，理论上一天的总收入为 $562,027（约409万元），成本利润率545%。”</p><p>这意味着，DeepSeek理论上一天的利润为474,955美元（约350万元）。</p><p>据悉，DeepSeek R1 的定价：$0.14 / 百万输入 tokens (缓存命中)，$0.55 / 百万输入 tokens (缓存未命中)，$2.19 / 百万输出 tokens。</p><p>DeepSeek还指出，实际上没有这么多收入，因为 V3 的定价更低，同时收费服务只占了一部分，另外夜间还会有折扣。</p><p>硅基流动创始人、CEO袁进辉指出，“主要是V3/R1架构和其它主流模型差别太大了，由大量小Expert组成，导致瞄准其它主流模型结构开发的系统都不再有效，必须按照DeepSeek报告描述的方法才能达到最好的效率，而开发这样的系统难度很高，需要时间，幸好这周DeepSeek五连发已经把主要模块开源出来了，降低了社区复现的难度。”</p><p>“这些成果充分体现DeepSeek团队第一性原理思考方式和强悍的意志，他们应该是首先是基于某些原因想到了用这样的模型结构，然后发现这样的结构无论是训练还是推理，要做好都有非常大的工程挑战，这些问题在他们工程团队来说并不是搞不定的，关键是花那么大力气做完是否有大的收益呢，在最终结果出来前，谁也说不准，他们还是赌了，结果是赌对了。”</p><p>更有人评论称，怀疑DeepSeek的模型结构就是为了榨干系统和芯片的每一滴油水来设计的。</p><p>这可能让OpenAI CEO Altman（奥特曼）很不好想。外媒曾曝出，OpenAI在2024年可能面临惊人的50亿美元亏损，并可能在未来12个月内耗尽其现金储备。</p><p>DeepSeek也挑战了市场对AI、估值和高支出的叙述。DeepSeek的高性能预算产品也“质疑未来在<a href=\"https://laohu8.com/S/NVDA\">英伟达</a>芯片和开发上花费数千亿美元的必要性”。</p><img src=\"https://fid-75186.picgzc.qpic.cn/20250301223033386v152czgaea9g4y3\"/><p>DeepSeek火爆以来，英伟达在2025年就失去了上涨的势头。有行业人士评论称，DeepSeek这一波操作，英伟达等公司的股价可能又撑不住了。</p><p><strong>以下是DeepSeek-V3 / R1 推理系统概览在知乎贴文：</strong></p><p>DeepSeek-V3 / R1 推理系统的优化目标是：更大的吞吐，更低的延迟。为了实现这两个目标，我们的方案是使用大规模跨节点专家并行（Expert Parallelism / EP）。</p><p>首先 EP 使得 batch size 大大增加，从而提高 GPU 矩阵乘法的效率，提高吞吐。其次 EP 使得专家分散在不同的 GPU 上，每个 GPU 只需要计算很少的专家（因此更少的访存需求），从而降低延迟。但 EP 同时也增加了系统的复杂性。</p><p>复杂性主要体现在两个方面：EP 引入跨节点的传输。为了优化吞吐，需要设计合适的计算流程使得传输和计算可以同步进行。EP 涉及多个节点，因此天然需要 Data Parallelism（DP），不同的 DP 之间需要进行负载均衡。</p><p>因此，本文的主要内容是如何使用 EP 增大 batch size，如何隐藏传输的耗时，如何进行负载均衡。</p><p><strong>大规模跨节点专家并行（Expert Parallelism / EP）</strong></p><p>由于 DeepSeek-V3 / R1 的专家数量众多，并且每层 256 个专家中仅激活其中 8 个。模型的高度稀疏性决定了我们必须采用很大的 overall batch size，才能给每个专家提供足够的 expert batch size，从而实现更大的吞吐、更低的延时。需要大规模跨节点专家并行（Expert Parallelism / EP）。</p><p>我们采用多机多卡间的专家并行策略来达到以下目的：</p><p>Prefill：路由专家 EP32、MLA 和共享专家 DP32，一个部署单元是 4 节点，32 个冗余路由专家，每张卡 9 个路由专家和 1 个共享专家</p><p>Decode：路由专家 EP144、MLA 和共享专家 DP144，一个部署单元是 18 节点，32 个冗余路由专家，每张卡 2 个路由专家和 1 个共享专家</p><p><strong>计算通信重叠</strong></p><p>多机多卡的专家并行会引入比较大的通信开销，所以我们使用了双 batch 重叠来掩盖通信开销，提高整体吞吐。</p><p>对于 prefill 阶段，两个 batch 的计算和通信交错进行，一个 batch 在进行计算的时候可以去掩盖另一个 batch 的通信开销；</p><p>对于 decode 阶段，不同阶段的执行时间有所差别，所以我们把 attention 部分拆成了两个 stage，共计 5 个 stage 的流水线来实现计算和通信的重叠。</p><p><strong>尽可能地负载均衡</strong></p><p>由于采用了很大规模的并行（包括数据并行和专家并行），如果某个 GPU 的计算或通信负载过重，将成为性能瓶颈，拖慢整个系统；同时其他 GPU 因为等待而空转，造成整体利用率下降。因此我们需要尽可能地为每个 GPU 分配均衡的计算负载、通信负载。</p><p><strong>1,Prefill Load Balancer</strong></p><p>核心问题：不同数据并行（DP）实例上的请求个数、长度不同，导致 core-attention 计算量、dispatch 发送量也不同优化目标：各 GPU 的计算量尽量相同（core-attention 计算负载均衡）、输入的 token 数量也尽量相同（dispatch 发送量负载均衡），避免部分 GPU 处理时间过长</p><p><strong>2,Decode Load Balancer</strong></p><p>核心问题：不同数据并行（DP）实例上的请求数量、长度不同，导致 core-attention 计算量（与 KVCache 占用量相关）、dispatch 发送量不同优化目标：各 GPU 的 KVCache 占用量尽量相同（core-attention 计算负载均衡）、请求数量尽量相同（dispatch 发送量负载均衡）</p><p><strong>3,Expert-Parallel Load Balancer</strong></p><p>核心问题：对于给定 MoE 模型，存在一些天然的高负载专家（expert），导致不同 GPU 的专家计算负载不均衡优化目标：每个 GPU 上的专家计算量均衡（即最小化所有 GPU 的 dispatch 接收量的最大值）</p><p>线上系统的实际统计数据DeepSeek V3 和 R1 的所有服务均使用 H800 GPU，使用和训练一致的精度，即矩阵计算和 dispatch 传输采用和训练一致的 FP8 格式，core-attention 计算和 combine 传输采用和训练一致的 BF16，最大程度保证了服务效果。</p><p>另外，由于白天的服务负荷高，晚上的服务负荷低，因此我们实现了一套机制，在白天负荷高的时候，用所有节点部署推理服务。晚上负荷低的时候，减少推理节点，以用来做研究和训练。</p><p>在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 R1 推理服务占用节点总和，峰值占用为 278 个节点，平均占用 226.75 个节点（每个节点为 8 个 H800 GPU）。假定 GPU 租赁成本为 2 美金/小时，总成本为 $87,072/天。</p><img src=\"https://fid-75186.picgzc.qpic.cn/20250301223034297v152cucggl6jbhy\"/><p>在 24 小时统计时段内，DeepSeek V3 和 R1：输入 token 总数为 608B，其中 342B tokens（56.3%）命中 KVCache 硬盘缓存。</p><p>输出 token 总数为 168B。平均输出速率为 20~22 tps，平均每输出一个 token 的 KVCache 长度是 4989。</p><p>平均每台 H800 的吞吐量为：对于 prefill 任务，输入吞吐约 73.7k tokens/s（含缓存命中）；对于 decode 任务，输出吞吐约 14.8k tokens/s。</p><p>以上统计包括了网页、APP 和 API 的所有负载。如果所有 tokens 全部按照 DeepSeek R1 的定价[1]计算，理论上一天的总收入为 $562,027，成本利润率 545%。</p><p>当然我们实际上没有这么多收入，因为 V3 的定价更低，同时收费服务只占了一部分，另外夜间还会有折扣。</p><p>———————————————</p><p>雷递由媒体人雷建平创办，若转载请写明来源。</p><img src=\"https://fid-75186.picgzc.qpic.cn/20250301223035847v152pjf45gs3nzl\"/></article></body></html>","source":"tencent","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>DeepSeek首次披露：理论上一天收入409万 成本利润率545% 英伟达CEO黄仁勋要坐不住了</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nDeepSeek首次披露：理论上一天收入409万 成本利润率545% 英伟达CEO黄仁勋要坐不住了\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-03-01 21:59 北京时间 <a href=http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20250301223037abe299d3&s=b><strong>雷递财经</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>雷递网 乐天 3月1日AI大模型DeepSeek日前在知乎贴文《DeepSeek-V3 / R1 推理系统概览》，DeepSeek称，在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 R1 推理服务占用节点总和，峰值占用为 278 个节点，平均占用 226.75 个节点（每个节点为 8 个 H800 GPU）。“...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20250301223037abe299d3&s=b\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"","relate_stocks":{"NVDA":"英伟达"},"source_url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20250301223037abe299d3&s=b","is_english":false,"share_image_url":"https://static.laohu8.com/9a95c1376e76363c1401fee7d3717173","article_id":"2516511645","content_text":"雷递网 乐天 3月1日AI大模型DeepSeek日前在知乎贴文《DeepSeek-V3 / R1 推理系统概览》，DeepSeek称，在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 R1 推理服务占用节点总和，峰值占用为 278 个节点，平均占用 226.75 个节点（每个节点为 8 个 H800 GPU）。“假定 GPU 租赁成本为 2 美金/小时，总成本为 $87,072/天。如果所有 tokens 全部按照 DeepSeek R1 的定价[1]计算，理论上一天的总收入为 $562,027（约409万元），成本利润率545%。”这意味着，DeepSeek理论上一天的利润为474,955美元（约350万元）。据悉，DeepSeek R1 的定价：$0.14 / 百万输入 tokens (缓存命中)，$0.55 / 百万输入 tokens (缓存未命中)，$2.19 / 百万输出 tokens。DeepSeek还指出，实际上没有这么多收入，因为 V3 的定价更低，同时收费服务只占了一部分，另外夜间还会有折扣。硅基流动创始人、CEO袁进辉指出，“主要是V3/R1架构和其它主流模型差别太大了，由大量小Expert组成，导致瞄准其它主流模型结构开发的系统都不再有效，必须按照DeepSeek报告描述的方法才能达到最好的效率，而开发这样的系统难度很高，需要时间，幸好这周DeepSeek五连发已经把主要模块开源出来了，降低了社区复现的难度。”“这些成果充分体现DeepSeek团队第一性原理思考方式和强悍的意志，他们应该是首先是基于某些原因想到了用这样的模型结构，然后发现这样的结构无论是训练还是推理，要做好都有非常大的工程挑战，这些问题在他们工程团队来说并不是搞不定的，关键是花那么大力气做完是否有大的收益呢，在最终结果出来前，谁也说不准，他们还是赌了，结果是赌对了。”更有人评论称，怀疑DeepSeek的模型结构就是为了榨干系统和芯片的每一滴油水来设计的。这可能让OpenAI CEO Altman（奥特曼）很不好想。外媒曾曝出，OpenAI在2024年可能面临惊人的50亿美元亏损，并可能在未来12个月内耗尽其现金储备。DeepSeek也挑战了市场对AI、估值和高支出的叙述。DeepSeek的高性能预算产品也“质疑未来在英伟达芯片和开发上花费数千亿美元的必要性”。DeepSeek火爆以来，英伟达在2025年就失去了上涨的势头。有行业人士评论称，DeepSeek这一波操作，英伟达等公司的股价可能又撑不住了。以下是DeepSeek-V3 / R1 推理系统概览在知乎贴文：DeepSeek-V3 / R1 推理系统的优化目标是：更大的吞吐，更低的延迟。为了实现这两个目标，我们的方案是使用大规模跨节点专家并行（Expert Parallelism / EP）。首先 EP 使得 batch size 大大增加，从而提高 GPU 矩阵乘法的效率，提高吞吐。其次 EP 使得专家分散在不同的 GPU 上，每个 GPU 只需要计算很少的专家（因此更少的访存需求），从而降低延迟。但 EP 同时也增加了系统的复杂性。复杂性主要体现在两个方面：EP 引入跨节点的传输。为了优化吞吐，需要设计合适的计算流程使得传输和计算可以同步进行。EP 涉及多个节点，因此天然需要 Data Parallelism（DP），不同的 DP 之间需要进行负载均衡。因此，本文的主要内容是如何使用 EP 增大 batch size，如何隐藏传输的耗时，如何进行负载均衡。大规模跨节点专家并行（Expert Parallelism / EP）由于 DeepSeek-V3 / R1 的专家数量众多，并且每层 256 个专家中仅激活其中 8 个。模型的高度稀疏性决定了我们必须采用很大的 overall batch size，才能给每个专家提供足够的 expert batch size，从而实现更大的吞吐、更低的延时。需要大规模跨节点专家并行（Expert Parallelism / EP）。我们采用多机多卡间的专家并行策略来达到以下目的：Prefill：路由专家 EP32、MLA 和共享专家 DP32，一个部署单元是 4 节点，32 个冗余路由专家，每张卡 9 个路由专家和 1 个共享专家Decode：路由专家 EP144、MLA 和共享专家 DP144，一个部署单元是 18 节点，32 个冗余路由专家，每张卡 2 个路由专家和 1 个共享专家计算通信重叠多机多卡的专家并行会引入比较大的通信开销，所以我们使用了双 batch 重叠来掩盖通信开销，提高整体吞吐。对于 prefill 阶段，两个 batch 的计算和通信交错进行，一个 batch 在进行计算的时候可以去掩盖另一个 batch 的通信开销；对于 decode 阶段，不同阶段的执行时间有所差别，所以我们把 attention 部分拆成了两个 stage，共计 5 个 stage 的流水线来实现计算和通信的重叠。尽可能地负载均衡由于采用了很大规模的并行（包括数据并行和专家并行），如果某个 GPU 的计算或通信负载过重，将成为性能瓶颈，拖慢整个系统；同时其他 GPU 因为等待而空转，造成整体利用率下降。因此我们需要尽可能地为每个 GPU 分配均衡的计算负载、通信负载。1,Prefill Load Balancer核心问题：不同数据并行（DP）实例上的请求个数、长度不同，导致 core-attention 计算量、dispatch 发送量也不同优化目标：各 GPU 的计算量尽量相同（core-attention 计算负载均衡）、输入的 token 数量也尽量相同（dispatch 发送量负载均衡），避免部分 GPU 处理时间过长2,Decode Load Balancer核心问题：不同数据并行（DP）实例上的请求数量、长度不同，导致 core-attention 计算量（与 KVCache 占用量相关）、dispatch 发送量不同优化目标：各 GPU 的 KVCache 占用量尽量相同（core-attention 计算负载均衡）、请求数量尽量相同（dispatch 发送量负载均衡）3,Expert-Parallel Load Balancer核心问题：对于给定 MoE 模型，存在一些天然的高负载专家（expert），导致不同 GPU 的专家计算负载不均衡优化目标：每个 GPU 上的专家计算量均衡（即最小化所有 GPU 的 dispatch 接收量的最大值）线上系统的实际统计数据DeepSeek V3 和 R1 的所有服务均使用 H800 GPU，使用和训练一致的精度，即矩阵计算和 dispatch 传输采用和训练一致的 FP8 格式，core-attention 计算和 combine 传输采用和训练一致的 BF16，最大程度保证了服务效果。另外，由于白天的服务负荷高，晚上的服务负荷低，因此我们实现了一套机制，在白天负荷高的时候，用所有节点部署推理服务。晚上负荷低的时候，减少推理节点，以用来做研究和训练。在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 R1 推理服务占用节点总和，峰值占用为 278 个节点，平均占用 226.75 个节点（每个节点为 8 个 H800 GPU）。假定 GPU 租赁成本为 2 美金/小时，总成本为 $87,072/天。在 24 小时统计时段内，DeepSeek V3 和 R1：输入 token 总数为 608B，其中 342B tokens（56.3%）命中 KVCache 硬盘缓存。输出 token 总数为 168B。平均输出速率为 20~22 tps，平均每输出一个 token 的 KVCache 长度是 4989。平均每台 H800 的吞吐量为：对于 prefill 任务，输入吞吐约 73.7k tokens/s（含缓存命中）；对于 decode 任务，输出吞吐约 14.8k tokens/s。以上统计包括了网页、APP 和 API 的所有负载。如果所有 tokens 全部按照 DeepSeek R1 的定价[1]计算，理论上一天的总收入为 $562,027，成本利润率 545%。当然我们实际上没有这么多收入，因为 V3 的定价更低，同时收费服务只占了一部分，另外夜间还会有折扣。———————————————雷递由媒体人雷建平创办，若转载请写明来源。","news_type":1,"symbols_score_info":{"NVDA":1}},"isVote":1,"tweetType":1,"viewCount":2940,"authorTweetTopStatus":1,"verified":2,"comments":[],"imageCount":0,"langContent":"CN","totalScore":0}],"lives":[]}
