清朝人士说超算_老虎社区_美港股上老虎 - 老虎社区

点赞
评论
收藏

听海666
2024-12-31

清朝人士说超算

对话郑纬民院士：用超算做AI大模型训练，成本只需英伟达1/6

　　在训练人工智能大模型的过程中，采购超级计算服务或存储器，也正在成为有效缓解算力焦虑的新途径。　　近日，中国工程院院士、清华大学计算机系教授郑纬民在与新浪科技沟通中指出，“过去训练一个大模型要投入几十亿，但如果把大模型训练拿到超算上去做，价钱只需要用到英伟达的六分之一。”　　此外，郑纬民还指出了一种全新的AI推理发展新趋势——“以存换算”。　　郑纬民建议企业尝试采用超算来进行AI大模型训练。

对话郑纬民院士：用超算做AI大模型训练，成本只需英伟达1/6

免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。

点赞

举报

评论

推荐
最新

empty

暂无评论

热议股票

{"i18n":{"language":"zh_CN"},"data":{"magic":2,"id":387421889692168,"tweetId":"387421889692168","gmtCreate":1735626886188,"gmtModify":1735626888244,"author":{"id":3489977710330409,"idStr":"3489977710330409","authorId":3489977710330409,"authorIdStr":"3489977710330409","name":"听海666","avatar":"https://static.laohu8.com/default-avatar.jpg","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":9,"crmLevelSwitch":1,"currentWearingBadge":{"badgeId":"35ec162348d5460f88c959321e554969-3","templateUuid":"35ec162348d5460f88c959321e554969","name":"传说交易员","description":"证券或期货账户累计交易次数达到300次","bigImgUrl":"https://static.tigerbbs.com/656db16598a0b8f21429e10d6c1cb033","smallImgUrl":"https://static.tigerbbs.com/03f10910d4dd9234f9b5702a3342193a","grayImgUrl":"https://static.tigerbbs.com/0c767e35268feb729d50d3fa9a386c5a","redirectLinkEnabled":0,"hasAllocated":1,"isWearing":1,"stampPosition":0,"hasStamp":0,"allocationCount":1,"allocatedDate":"2021.12.21","exceedPercentage":"93.88%","individualDisplayEnabled":0},"individualDisplayBadges":[],"fanSize":7,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body><p>清朝人士说超算</p></body></html>","htmlText":"<html><head></head><body><p>清朝人士说超算</p></body></html>","text":"清朝人士说超算","highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/387421889692168","repostId":2495363299,"repostType":2,"repost":{"id":"2495363299","kind":"news","pubTimestamp":1735619700,"share":"https://www.laohu8.com/m/news/2495363299?lang=&edition=full","pubTime":"2024-12-31 12:35","market":"us","language":"zh","title":"对话郑纬民院士：用超算做AI大模型训练，成本只需英伟达1/6","url":"https://stock-news.laohu8.com/highlight/detail?id=2495363299","media":"新浪科技","summary":"　　在训练人工智能大模型的过程中，采购超级计算服务或存储器，也正在成为有效缓解算力焦虑的新途径。　　近日，中国工程院院士、清华大学计算机系教授郑纬民在与新浪科技沟通中指出，“过去训练一个大模型要投入几十亿，但如果把大模型训练拿到超算上去做，价钱只需要用到英伟达的六分之一。”　　此外，郑纬民还指出了一种全新的AI推理发展新趋势——“以存换算”。　　郑纬民建议企业尝试采用超算来进行AI大模型训练。","content":"<html><body><div>\n<div><img src=\"http://n.sinaimg.cn/finance/transform/110/w546h364/20241231/89b3-b91bf8452df8238bd71c3706a719c889.png\"/><span></span></div>\n<p>　　文 丨 新浪科技 周文猛</p>\n<p>　　在训练人工<a href=\"https://laohu8.com/S/5RE.SI\">智能</a>大模型的过程中，采购超级计算服务或存储器，也正在成为有效缓解算力焦虑的新途径。</p>\n<p>　　近日，中国工程院院士、清华大学计算机系教授郑纬民在与新浪科技沟通中指出，“过去训练一个大模型要投入几十亿，但如果把大模型训练拿到超算上去做，价钱只需要用到<a href=\"https://laohu8.com/S/NVDA\">英伟达</a>的六分之一。”</p>\n<p>　　此外，郑纬民还指出了一种全新的AI推理发展新趋势——“以存换算”。他以清华大学与AI独角兽企业月之暗面共同开发的Mooncake技术框架为例，介绍了该技术基于“以存换算”思路，帮助月之暗面kimi智能助手缓解算力紧张需求的原理，从而避免服务器宕机。</p>\n<p>　<strong>　“把大模型训练搬到超算上，价钱只需英伟达1/6”</strong></p>\n<p>　　郑纬民看到，在经过ChatGPT发布后全球各科技企业快速追赶后，今年大模型有两个特点：第一，基础大模型进入多模态状态，不只有文本，还有图像、视频等；第二，真的用起来了，大模型正与各行业实际的结合，比如大模型+金融，大模型+医疗、大模型+汽车、大模型+智能制造等。</p>\n<p>　　“大模型真的在与国民经济GDP、跟人们的生活水平密切结合，我一直认为基础大模型我们的水平跟美国比还是差一点，但‘大模型+’这件事，我们还是有希望超过美国的。”郑纬民表示。</p>\n<p>　　然而，大模型真实的应用过程中，在涉及数据获取、数据预处理、模型训练、模型微调、模型推理等五个环节在内的全生命周期中，却需要大量的算力资源。如何以更低的成本获取更加高效、更高可靠的AI大模型算力资源，成为每家企业都在思考的问题。</p>\n<p>　　迫于海外高端芯片获取的困难，目前国内为满足AI大模型训练带来的海量算力需求，主要发展出的一种解决思路是：通过搭建千卡、万卡集群，通过海量芯片半导体堆叠，采购多家厂商的芯片进行异构卡联合训练，来满足自己大模型产品训练的海量算力需求。但在郑纬民看来，这种方式虽能解决算力紧缺问题，但也存在一些弊端。</p>\n<p>　　首先，对于构建国产万卡系统，建成固然重要，但用好却很难。郑纬民以自己做高性能计算的亲身经历现身说法道：“建一个2000卡的系统，其中1000块用英伟达芯片，另外1000块用其他厂家的，系统建成也运转起来了，但最终发现这些芯片性能不一，有的本事小一点，有的本事大一点，一个任务下来分成2000份，还要给其中1000个芯片分小一点的任务，另外1000个分大一点的任务，这还是静态的，如果是动态的，则直接分成了2000份最小的进行处理，性能很低。”</p>\n<p>　　郑纬民指出，大规模算力集群建设过程中存在木桶效应，有的计算卡能力强，有的则弱，就像整个桶装多少水最终是由短板决定的，板子再长也没有用。“所以1000个老GPU和1000个新GPU合起来，性能比2000个老GPU性能还低一点，做大规模算力集群的成本也挺大。”</p>\n<p>　　在郑纬民看来，进行大规模异构卡联合训练，在静态环境下想要实现最高的性能很难，并不划算，如果再涉及异地卡，就会更难，数据从北京传到贵州，贵州做出来结果再送到上海，这中间涉及的时间成本极高。“钱少的人不需要做，钱多的人可以试试。”</p>\n<p>　　郑纬民建议企业尝试采用超算来进行AI大模型训练。“我国有14亿超算系统，钱都是国家付的，有的机器还有一点富余，因为国内超算机器收费便宜，不像英伟达要把机器成本收回来还要赚钱，所以大家做大模型训练到青岛神威超算上做，六分之一的价格就够了。”郑纬民表示。</p>\n<p>　<strong>　“以存换算，能够有效降低AI推理成本”</strong></p>\n<p>　　事实上，大模型真实的应用过程中，在涉及数据获取、数据预处理、模型训练、模型微调、模型推理等五个环节在内的全生命周期中，需要大量算力资源的同时，也需要有着大量的存储资源，用于存储海量计算结果。尤其在模型推理过程中，如何存得多、传得快、性价比高，成为整个行业都在共同思考的问题。</p>\n<p>　　此前，郑纬民曾公开提及，“AI存储是人工智能大模型的关键基座，存储系统存在于大模型生命周期的每一环，是大模型的关键基座，通过以存强算、以存换算，先进的AI存储能够提升训练集群可用度，降低推理成本，提升用户体验。”</p>\n<p>　　在与新浪科技沟通中，郑纬民分享了“以存换算”的基本原理。他指出，“大模型不管是训练还是推理，都需要很大的算力，同时也需要很多存储，用来存储大模型训练出来的海量参数，以及推理过程中产生的一些过程数据。”然而，如果整个训练或推理过程中需要存储的数据越来越多，这会导致存储器资源紧缺，最终反而又会成为大模型性能提升的“负担”。</p>\n<p>　　据郑纬民介绍，为解决上述问题，清华大学想了两个办法：第一，在推理过程当中，目前主要是推理卡工作，主机CPU跟主机存储器是不用的，因此，可以想办法把主机上的存储器用到推理过程中，提升了存储器利用率，性能提升的同时，也节省了不断购买推理卡的资金成本；第二，将推理过程中产生的共性的、用户共用的内容存储起来，通过存储必要推理过程中产生的数据，当后续遇到类似问题的时候直接调用，直接省去了每次遇到类似问题时推理过程，提升了效率，同时节省了资源。</p>\n<p>　　郑纬民以清华大学与月之暗面共同研发的Mooncake技术框架为例介绍指出，“通过将不同用户与Kimi对话的公共内容提炼出来，存储下来，这不仅减少了每次用户提问都要重新生成的过程，节省了许多算力卡，也减少了kimi因访问过大导致的‘访问延迟’或‘宕机’等问题。”</p>\n<div>\n<div><img src=\"\"/></div>\n<div>海量资讯、精准解读，尽在新浪财经APP</div>\n</div>\n<p>责任编辑：李昂 </p>\n</div></body></html>","source":"sina","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>对话郑纬民院士：用超算做AI大模型训练，成本只需英伟达1/6</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n对话郑纬民院士：用超算做AI大模型训练，成本只需英伟达1/6\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-12-31 12:35 北京时间&nbsp;&nbsp;&nbsp;<a href=https://finance.sina.com.cn/chanjing/gsnews/2024-12-31/doc-inecipuc2174396.shtml><strong>新浪科技</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>文 丨 新浪科技 周文猛\n　　在训练人工智能大模型的过程中，采购超级计算服务或存储器，也正在成为有效缓解算力焦虑的新途径。\n　　近日，中国工程院院士、清华大学计算机系教授郑纬民在与新浪科技沟通中指出，“过去训练一个大模型要投入几十亿，但如果把大模型训练拿到超算上去做，价钱只需要用到英伟达的六分之一。”\n　　此外，郑纬民还指出了一种全新的AI推理发展新趋势——“以存换算”。他以清华大学与AI独角兽...</p>\n\n<a href=\"https://finance.sina.com.cn/chanjing/gsnews/2024-12-31/doc-inecipuc2174396.shtml\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"","relate_stocks":{"LU0964807845.USD":"ALLIANZ INCOME & GROWTH \"A\" (USD) INC","LU0511384066.AUD":"SUSTAINABLE GLOBAL THEMATIC PORTFOLIO \"A\" (AUDHDG) ACC","LU0823421416.USD":"BNP PARIBAS DISRUPTIVE TECHNOLOGY \"C\" (USD) INC","NVD2.UK":"2X NVIDIA ETP","3NVD.UK":"LS 3X NVIDIA","NVDA":"英伟达","NVDS.UK":"LS -1X NVIDIA","LU0308772762.SGD":"Blackrock Global Allocation A2 SGD-H","NVD3.UK":"LS 3X NVIDIA","BK4534":"瑞士信贷持仓","IE00BQXX3C00.GBP":"GUINNESS GLOBAL INNOVATORS \"C\" (GBP) ACC","LU0225283273.USD":"SCHRODER ISF GLOBAL EQUITY ALPHA \"A\" (USD) ACC","SG9999004303.SGD":"Nikko AM Shenton Global Opportunities SGD","2NVD.UK":"2X NVIDIA ETP","LU0957808578.USD":"THREADNEEDLE (LUX) GLOBAL TECHNOLOGY \"ZU\" (USD) ACC","LU0251132253.USD":"FIDELITY FUNDS  GLOBAL THEMATIC OPPORTUNITIES \"A\" (USD) ACC","NVDS":"Tradr 1.5X Short NVDA Daily ETF","IE00B19Z9505.USD":"美盛-美国大盘成长股A Acc","LU1778281490.HKD":"HSBC GIF GLOBAL LOWER CARBON EQUITY \"AD\" (HKD) INC","LU2108987350.USD":"UBS (LUX) EQUITY SICAV GLOBAL OPPORTUNITY SUSTAINABLE (USD) \"P\" (USD) ACC","SNVD.UK":"LS -1X NVIDIA","NVDU":"Direxion Daily NVDA Bull 2X Shares","LU1642822529.SGD":"THREADNEEDLE (LUX) GLOBAL TECHNOLOGY \"A\" (SGD) ACC","LU0345770308.USD":"NINETY ONE GSF GLOBAL STRATEGIC EQUITY \"A\" (USD) ACC","LU2213496289.HKD":"ALLIANZ INCOME AND GROWTH \"AT\" (HKD) ACC","LU0345770993.USD":"NINETY ONE GSF GLOBAL STRATEGIC EQUITY \"A\" (USD) INC","IE00BZ199S13.USD":"BNY MELLON MOBILITY INNOVATION \"B\" (USD) ACC","LU1571399168.USD":"ALLSPRING GLOBAL LONG/SHORT EQUITY \"IP\" (USD) ACC","LU1814569148.SGD":"WELLINGTON GLOBAL QUALITY GROWTH \"D\" (SGDHDG) ACC","LU1923623000.USD":"Natixis Thematics AI & Robotics Fund R/A USD","LU0476273544.USD":"CT (LUX) I GLOBAL TECHNOLOGY \"BU\" (USD) ACC","NVDX":"T-REX 2X LONG NVIDIA DAILY TARGET ETF","BK4588":"碎股","BK4579":"人工智能","NVIW.SI":"NVDA 3xLongSG261006","LU0528227936.USD":"富达环球人口趋势基金A-ACC","NVDY":"YIELDMAX NVDA OPTION INCOME STRATEGY ETF","LU0154236417.USD":"BGF US FLEXIBLE EQUITY \"A2\" ACC","LU0069063385.USD":"SUSTAINABLE GLOBAL THEMATIC PORTFOLIO \"A\" (USD) ACC","NVD":"GraniteShares 2x Short NVDA Daily ETF","LU2491050071.SGD":"WELLINGTON SUSTAINABLE OUTCOMES \"A\" (SGDHDG) ACC","LU0289961442.SGD":"SUSTAINABLE GLOBAL THEMATIC PORTFOLIO \"AX\" (SGD) ACC","LU1791710400.SGD":"Fidelity Global Demographics A-ACC-SGD","LU2506951792.HKD":"BNP PARIBAS ENERGY TRANSITION \"CRH\" (HKDHDG)       ACC","LU0170899867.USD":"EASTSPRING INVESTMENTS WORLD VALUE EQUITY  \"A\" (USD) ACC","NVDD":"Direxion Daily NVDA Bear 1X Shares","LU2264538146.SGD":"Fullerton Lux Funds - Global Absolute Alpha A Acc SGD","LU2106854487.HKD":"ALLIANZ THEMATICA \"AMG\" (HKD) INC","GB00BDT5M118.USD":"天利环球扩展Alpha基金A Acc"},"source_url":"https://finance.sina.com.cn/chanjing/gsnews/2024-12-31/doc-inecipuc2174396.shtml","is_english":false,"share_image_url":"https://static.laohu8.com/b0d1b7e8843deea78cc308b15114de44","article_id":"2495363299","content_text":"文 丨 新浪科技 周文猛\n　　在训练人工智能大模型的过程中，采购超级计算服务或存储器，也正在成为有效缓解算力焦虑的新途径。\n　　近日，中国工程院院士、清华大学计算机系教授郑纬民在与新浪科技沟通中指出，“过去训练一个大模型要投入几十亿，但如果把大模型训练拿到超算上去做，价钱只需要用到英伟达的六分之一。”\n　　此外，郑纬民还指出了一种全新的AI推理发展新趋势——“以存换算”。他以清华大学与AI独角兽企业月之暗面共同开发的Mooncake技术框架为例，介绍了该技术基于“以存换算”思路，帮助月之暗面kimi智能助手缓解算力紧张需求的原理，从而避免服务器宕机。\n　　“把大模型训练搬到超算上，价钱只需英伟达1/6”\n　　郑纬民看到，在经过ChatGPT发布后全球各科技企业快速追赶后，今年大模型有两个特点：第一，基础大模型进入多模态状态，不只有文本，还有图像、视频等；第二，真的用起来了，大模型正与各行业实际的结合，比如大模型+金融，大模型+医疗、大模型+汽车、大模型+智能制造等。\n　　“大模型真的在与国民经济GDP、跟人们的生活水平密切结合，我一直认为基础大模型我们的水平跟美国比还是差一点，但‘大模型+’这件事，我们还是有希望超过美国的。”郑纬民表示。\n　　然而，大模型真实的应用过程中，在涉及数据获取、数据预处理、模型训练、模型微调、模型推理等五个环节在内的全生命周期中，却需要大量的算力资源。如何以更低的成本获取更加高效、更高可靠的AI大模型算力资源，成为每家企业都在思考的问题。\n　　迫于海外高端芯片获取的困难，目前国内为满足AI大模型训练带来的海量算力需求，主要发展出的一种解决思路是：通过搭建千卡、万卡集群，通过海量芯片半导体堆叠，采购多家厂商的芯片进行异构卡联合训练，来满足自己大模型产品训练的海量算力需求。但在郑纬民看来，这种方式虽能解决算力紧缺问题，但也存在一些弊端。\n　　首先，对于构建国产万卡系统，建成固然重要，但用好却很难。郑纬民以自己做高性能计算的亲身经历现身说法道：“建一个2000卡的系统，其中1000块用英伟达芯片，另外1000块用其他厂家的，系统建成也运转起来了，但最终发现这些芯片性能不一，有的本事小一点，有的本事大一点，一个任务下来分成2000份，还要给其中1000个芯片分小一点的任务，另外1000个分大一点的任务，这还是静态的，如果是动态的，则直接分成了2000份最小的进行处理，性能很低。”\n　　郑纬民指出，大规模算力集群建设过程中存在木桶效应，有的计算卡能力强，有的则弱，就像整个桶装多少水最终是由短板决定的，板子再长也没有用。“所以1000个老GPU和1000个新GPU合起来，性能比2000个老GPU性能还低一点，做大规模算力集群的成本也挺大。”\n　　在郑纬民看来，进行大规模异构卡联合训练，在静态环境下想要实现最高的性能很难，并不划算，如果再涉及异地卡，就会更难，数据从北京传到贵州，贵州做出来结果再送到上海，这中间涉及的时间成本极高。“钱少的人不需要做，钱多的人可以试试。”\n　　郑纬民建议企业尝试采用超算来进行AI大模型训练。“我国有14亿超算系统，钱都是国家付的，有的机器还有一点富余，因为国内超算机器收费便宜，不像英伟达要把机器成本收回来还要赚钱，所以大家做大模型训练到青岛神威超算上做，六分之一的价格就够了。”郑纬民表示。\n　　“以存换算，能够有效降低AI推理成本”\n　　事实上，大模型真实的应用过程中，在涉及数据获取、数据预处理、模型训练、模型微调、模型推理等五个环节在内的全生命周期中，需要大量算力资源的同时，也需要有着大量的存储资源，用于存储海量计算结果。尤其在模型推理过程中，如何存得多、传得快、性价比高，成为整个行业都在共同思考的问题。\n　　此前，郑纬民曾公开提及，“AI存储是人工智能大模型的关键基座，存储系统存在于大模型生命周期的每一环，是大模型的关键基座，通过以存强算、以存换算，先进的AI存储能够提升训练集群可用度，降低推理成本，提升用户体验。”\n　　在与新浪科技沟通中，郑纬民分享了“以存换算”的基本原理。他指出，“大模型不管是训练还是推理，都需要很大的算力，同时也需要很多存储，用来存储大模型训练出来的海量参数，以及推理过程中产生的一些过程数据。”然而，如果整个训练或推理过程中需要存储的数据越来越多，这会导致存储器资源紧缺，最终反而又会成为大模型性能提升的“负担”。\n　　据郑纬民介绍，为解决上述问题，清华大学想了两个办法：第一，在推理过程当中，目前主要是推理卡工作，主机CPU跟主机存储器是不用的，因此，可以想办法把主机上的存储器用到推理过程中，提升了存储器利用率，性能提升的同时，也节省了不断购买推理卡的资金成本；第二，将推理过程中产生的共性的、用户共用的内容存储起来，通过存储必要推理过程中产生的数据，当后续遇到类似问题的时候直接调用，直接省去了每次遇到类似问题时推理过程，提升了效率，同时节省了资源。\n　　郑纬民以清华大学与月之暗面共同研发的Mooncake技术框架为例介绍指出，“通过将不同用户与Kimi对话的公共内容提炼出来，存储下来，这不仅减少了每次用户提问都要重新生成的过程，节省了许多算力卡，也减少了kimi因访问过大导致的‘访问延迟’或‘宕机’等问题。”\n\n\n海量资讯、精准解读，尽在新浪财经APP\n\n责任编辑：李昂","news_type":1,"symbols_score_info":{"2NVD.UK":0.6,"3NVD.UK":0.6,"NVD":0.6,"NVD2.UK":0.6,"NVD3.UK":0.6,"NVDA":1,"NVDD":0.6,"NVDS":0.6,"NVDS.UK":0.6,"NVDU":0.6,"NVDX":0.6,"NVDY":0.6,"NVIW.SI":0.6,"SNVD.UK":0.6}},"isVote":1,"tweetType":1,"viewCount":1668,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":14,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"hasMoreComment":false,"orderType":2}