这篇文章不错，转发给_老虎社区_美港股上老虎 - 老虎社区

1
评论
收藏

老雷唯微
07-27

这篇文章不错，转发给大家看看

“AI教父”辛顿WAIC演讲：我们正在养一头老虎，别指望能“关掉它”

辛顿认为，我们正在创造比人类更聪明的AI，当前人类与AI的关系，恰似饲养一只老虎，为了生存，要么摆脱它，要么找到永久保护自身的方法；如今AI已经不可消除，如何训练比人类更聪明的“好AI”，将是全人类的长期课题。

“AI教父”辛顿WAIC演讲：我们正在养一头老虎，别指望能“关掉它”

免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。

1

举报

评论

推荐
最新

empty

暂无评论

热议股票

{"i18n":{"language":"zh_CN"},"data":{"magic":2,"id":461116563727192,"tweetId":"461116563727192","gmtCreate":1753586656015,"gmtModify":1753589327755,"author":{"id":4203929645427010,"idStr":"4203929645427010","authorId":4203929645427010,"authorIdStr":"4203929645427010","name":"老雷唯微","avatar":"https://static.tigerbbs.com/c26121a8668e93a57f493587b69c73fd","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":3,"crmLevelSwitch":0,"currentWearingBadge":{"badgeId":"518b5610c3e8410da5cfad115e4b0f5a-1","templateUuid":"518b5610c3e8410da5cfad115e4b0f5a","name":"实盘交易者","description":"完成一笔实盘交易","bigImgUrl":"https://static.tigerbbs.com/2e08a1cc2087a1de93402c2c290fa65b","smallImgUrl":"https://static.tigerbbs.com/4504a6397ce1137932d56e5f4ce27166","grayImgUrl":"https://static.tigerbbs.com/4b22c79415b4cd6e3d8ebc4a0fa32604","redirectLinkEnabled":0,"hasAllocated":1,"isWearing":1,"stampPosition":0,"hasStamp":0,"allocationCount":1,"allocatedDate":"2025.03.11","individualDisplayEnabled":0},"individualDisplayBadges":[],"fanSize":0,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body>这篇文章不错，转发给大家看看</body></html>","htmlText":"<html><head></head><body>这篇文章不错，转发给大家看看</body></html>","text":"这篇文章不错，转发给大家看看","highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/461116563727192","repostId":2554716014,"repostType":2,"repost":{"id":"2554716014","kind":"highlight","weMediaInfo":{"introduction":"追踪全球财经热点，精选影响您财富的资讯，投资理财必备神器！","home_visible":1,"media_name":"华尔街见闻","id":"1084101182","head_image":"https://static.tigerbbs.com/66809d1f5c2e43e2bdf15820c6d6897e"},"pubTimestamp":1753582831,"share":"https://www.laohu8.com/m/news/2554716014?lang=&edition=full","pubTime":"2025-07-27 10:20","market":"other","language":"zh","title":"“AI教父”辛顿WAIC演讲：我们正在养一头老虎，别指望能“关掉它”","url":"https://stock-news.laohu8.com/highlight/detail?id=2554716014","media":"华尔街见闻","summary":"辛顿认为，我们正在创造比人类更聪明的AI，当前人类与AI的关系，恰似饲养一只老虎，为了生存，要么摆脱它，要么找到永久保护自身的方法；如今AI已经不可消除，如何训练比人类更聪明的“好AI”，将是全人类的长期课题。","content":"<html><head></head><body><p></p><p>7月26日上午，2025世界人工智能大会（WAIC）在上海拉开帷幕。</p><p>在大会主论坛上，图灵奖得主、诺贝尔物理学奖得主杰弗里·辛顿（Geoffrey Hinton）出席并作演讲，这也是辛顿首次以线下形式在中国公开亮相。</p><p>辛顿本次演讲以《数字智能是否会取代<a href=\"https://laohu8.com/S/000504\">生物</a>智能》为主题，他深刻剖析了数字智能与生物智能的根本差异，并分别用乐高积木和养老虎打比方说明了AI的思维逻辑以及人与AI的关系。</p><p>在对AI前景方面，辛顿感到警惕。他直言，我们正创造比自己更聪明的AI，这就像在家里养一头老虎当宠物，指望“消除它”是不现实的。</p><p>以下是辛顿的核心观点：</p><ol start=\"1\" style=\"\"><li><p><strong>AI发展有两种范式，一是逻辑型范式，</strong>认为智能本质在于推理，通过符号规则操作符号表达式；<strong>二是生物学基础范式，</strong>认为智能基础在于学习和联结网络，理解先于学习。</p></li><li><p>大语言模型理解语言的方式与人类基本相同。<strong>人类有可能就是大语言模型，也会像大语言模型一样产生幻觉，创造出许多幻觉性语言。</strong></p></li><li><p>如果用乐高积木类比看，每个词都是多维度的积木，可以根据上下文调整形状，词与词之间需要“恰当握手”来产生含义。这种动态的特征整合过程，正是人脑和神经网络理解语言的根本方法。</p></li><li><p>数字智能具有两大优势：一是软硬件分离带来的“永恒性”，知识可以永久保存和复制；二是知识传播效率极高，数字智能可以通过参数共享瞬间传递万亿比特信息。相比之下，<strong>生物智能虽然耗能更少，但知识分享困难。</strong></p></li><li><p><strong>当能源足够廉价、可以复制成千上万同样聪明的AI大脑的时候，数字智能将不可逆地超越生物智能。</strong>因为它们能以直接拷贝大脑知识的方式在群体中瞬时传播知识。</p></li><li><p><strong>我们正在创造比人类更聪明的AI，</strong>而这些智能体具有生存欲望和获取控制权的动机。</p></li><li><p>当前人类与AI的关系，恰似饲养一只老虎——<strong>它长大后可能轻易超越人类。为了生存，要么摆脱它，要么找到永久保护自身的方法。</strong></p></li><li><p><strong>AI已无法消除，</strong>它能大幅提升几乎所有行业的效率，即便有国家想消除，其他国家也不会认同。</p></li><li><p>辛顿建议，我们应当建立国际AI安全机构网络，<strong>研究如何训练超级AI向善，让它们愿意做辅助工作而不是消灭人类。</strong></p></li><li><p><strong>如何训练比人类更聪明的“好AI”，将是全人类的长期课题。</strong>好消息是在这个问题上，所有国家都有合作的动机和可能性。</p></li></ol><p>以下为演讲全文纪要：</p><blockquote><p>各位同事、各位领导、女士们先生们，感谢大家给我这个机会，与各位分享我对AI历史和未来的个人观点。</p><p>60多年来，AI发展呈现出两种不同的范式和路径。<strong>第一种是逻辑型范式，</strong>过去一个世纪都以此为主导。这种观点认为智能的本质在于推理，通过符号规则对符号表达式进行操作来实现推理，从而帮助我们更好地理解知识的表达方式。</p><p><strong>另一种是以生物学为基础的AI理解方式，这也是图灵和冯诺依曼所相信的观点。</strong>他们认为智能的基础在于更好地学习和了解学习网络中的连接，在这个过程中理解是第一位的，然后才能实现学习。与这两种理论相对应的，一个是符号型AI原理，另一个则是完全不同的数字化理论。数字的本质实际上是一系列语义学特征的集合。</p><p>1985年，我创建了一个小型模型，试图将这两个理论结合起来，更好地理解人们如何理解词汇。我为每个词设置了多个不同特征，记录前一个数字的特征后，就可以预测下一个数字或下一个词，然后继续预测后续词汇。在这个过程中，我们没有存储任何句子，而是生成句子并预测下一个词。这些关联性知识取决于不同词汇特征之间的语义互动。</p><p>接下来的30年发生了什么呢？</p><p>十年后，Bengio采用了类似的建模方式，但将规模大幅扩展，使其成为自然语言的真实模拟。20年后，计算语言学家开始接受特征向量嵌入来表达词汇含义。又过了30年，<a href=\"https://laohu8.com/S/GOOG\">谷歌</a>发明了Transformer，OpenAI的研究人员也向大家展示了这一技术的能力。</p><p>这就是我们今天所拥有的成果。</p><p>因此，我将今天的大语言模型视为早期微型语言模型的后代，它们拥有了更丰富的词汇量。</p><p>1985年以后，大语言模型开始使用更多词汇作为输入，采用更多层的神经元结构。由于需要处理大量模糊的数字，学习特征之间建立了更加复杂的交互模式。<strong>大语言模型与人类理解语言的方式相同，基本理解过程是将语言转化为特征，然后以完美的方式整合这些特征。</strong>这正是大语言模型各个层次所做的工作。因此，大语言模型真正理解人类如何理解问题，与人类理解语言的方式一致。</p><p>传统符号AI的做法是将语言转化为不模糊的符号，但实际情况并非如此，人类不是这样理解语言的。可以用乐高积木来比喻理解过程：通过乐高积木可以搭建任何3D模型，比如制作车子的小模型。将每个词视为一个多维度的乐高积木，可能包含几千个不同维度。这种多维度的积木可以进行建模，创造多种不同内容，语言因此变成了一个建模工具，能够随时与人沟通，只需要给每个积木命名即可，每个积木就是一个词。</p><p>语言和乐高积木存在许多差异。乐高积木有多种不同类型，数量达到成千上万块。乐高积木的造型是固定的，但词的符号形状可以进行设定，也可以根据不同情况进行调整。乐高积木通过塑料圆柱体插入塑料孔，或将正方形插入正方形孔来连接，相对确定。</p><p>语言却不同，每个词可以想象成有很多只手。要更好地理解词汇，需要让词与词之间恰当地握手。一旦词的造型发生变形，它与另一个词的握手方式就会改变。这涉及优化问题：一个词变形后意思发生变化，如何与下一个词握手以产生更好的含义。这就是人脑理解意思的本质，也是神经网络理解意思的根本方法，类似于蛋白质与蛋白质之间的组合过程。</p><p>蛋白质通过将氨基酸进行不同模型整合融合，结合后能产生更有意义的内容。这正是人脑理解词汇和语言的方式。因此我认为，<strong>人类理解语言的方式和大语言模型理解语言的方式几乎相同，人类有可能就是大语言模型，也会像大语言模型一样产生幻觉，创造出许多幻觉性语言。</strong></p><p>但在一些重要的根本性方面，大语言模型与人类不同，甚至比人类更强大。计算机科学的一个基础原则是将软件和硬件分离，这使得同样的软件可以在不同硬件上运行，这与人类存在根本差异，也是计算机科学存在的基础。</p><p><strong>程序中的知识是永恒存在的，软件和程序可以永久保存。</strong>即使所有硬件都被摧毁，只要软件继续存在，就可以随时复活。从这个意义上说，计算机程序的知识具有永恒性和不朽性。</p><p>要实现这种永恒性，需要晶体管在高功率运行时仍能产生可靠的二进制行为，这个过程成本很高。我们无法利用硬件中丰富的模拟特性，因为这些特性不够稳定可靠，每次都是模拟型的，每次计算结果都不相同。人脑是模拟的而非数字的，每次神经元激发过程都是模拟型的，不会完全相同。我无法将自己大脑中的神经元结构转移到他人大脑中，因为每个人的神经元连接方式都不同，我的神经元连接方式只适合我的大脑神经结构。知识传播在硬件中的方式与在人脑中的方式不同，这正是问题所在。</p><p>如果我们做不到永生，硬件的优势在于它不依赖于特定条件，因此具有永生特性，能带来两大好处。</p><p>我们可以使用功耗极低的模拟硬件。仅用很小的功率和<a href=\"https://laohu8.com/S/00006\">电能</a>就能实现功能，人脑只需要30瓦特就足够运行，而我们有几万亿个神经元连接。这种发展硬件的情况与电子管的发展类似。</p><p>我们能够做到极其精确的模拟，不需要花费大量资金去制造完全相同的硬件。</p><p>但是我们现在面临一个较大的问题：从一个模拟模型转换到另一个模型，将知识进行迁移是非常低效和困难的。就像我无法直接将脑中的想法展示给你一样，我只能通过解释的方式向你说明已经学到的内容。</p><p><strong>解决这个问题的最佳方法是蒸馏技术。DeepSeek就采用了这种方法，将大型神经网络的知识转移到小型神经网络中。</strong>这个想法基于教师和学生的关系模型，在某些情况下，教师将相关概念联系起来，生成下一个输出单元。</p><p>他将词汇与词汇在上下文中相互连接，通过修改连接来建立联系。学生也可以表达相同的意思，但他需要调整表达方式来传达相同含义。</p><p>我们训练模型的方式与人类知识传递的方式相似，即将一个人的知识传递给另一个人，但这种方式效率很低。</p><p>一句话可能包含大约一百比特的信息，这个信息量并不算特别多。这种从一个人到另一个人的传递方式限制了我们转移知识的数量。通过缓慢讲话的方式将知识传递给他人，每秒钟最多也就能传递100个比特左右的信息。即使对方完全理解了所说的内容，传递效率仍然不高。但如果与数字智能之间的知识转化效率相比，两者存在巨大差别。</p><p>如果我们拥有同一个神经网络软件的多个副本，将这些副本分别部署在不同的硬件设备上，由于它们都采用数字化方式，它们能够以相同的方式使用各自的参数，并通过平均化位置参数的方式来实现知识共享，最终通过互联网进行传播。</p><p>我们可以创建成千上万的拷贝，它们能够自主改变权重并取平均数，从而实现知识转移。</p><p>这种转移速度取决于连接点的数量。每次能够分享万亿个比特的信息，比人类分享知识的速度快几十亿倍。GPT-4就是很好的例子，它有许多不同的拷贝在不同硬件上运转，能够分享各自从网络上学到的不同信息。</p><p>当智能体在现实世界中运行时，这一点更加重要，因为它们能够不断加速和拷贝。多个智能体比单个智能体学得更多，它们能够分享权重，而模拟软件或模拟硬件无法做到这一点。</p><p>我们认为，<strong>数字计算虽然需要大量能源，但智能体可以方便地获取相同权重，分享从不同经验中学到的知识。</strong>相比之下，生物计算耗能更少，但分享知识却很困难。如我刚才所展示的，如果能源很便宜，数字计算就会更具优势，这也让我感到担忧。</p><p><strong>几乎所有专家都认为我们将生产出比人类更智能的AI。我们习惯了成为最智能的生物，所以很多人难以想象当AI在世界中比人类更智能时会发生什么。</strong>如果想要了解人类不再是最智能物种时会怎样，我们可以问问鸡的感受。</p><p>我们正在创建AI智能体，它们能够帮助我们完成任务。这些智能体已经具备了一定的能力，可以进行自我复制，能够为自己的子目标评级。它们会想做两件事情：第一是生存，第二是实现我们赋予它们的目标。</p><p>为了完成我们给它们的目标，它们也希望能够获得更多的控制权。<strong>所以这些智能体既想要生存，也想要更多的控制。</strong></p><p>我认为我们没办法轻易改变或关闭它们。我们不能简单地把它们一关了事，因为它们会很方便地操纵使用它们的人。到时候我们就像三岁的孩子，而它们像成年人一样，操纵三岁的人是很容易的。</p><p><strong>有人觉得当它们变得比我们更聪明时，我们就把它们关掉，但这是不现实的。</strong>它们会操纵和劝说操控机器的人不要把它们关掉。</p><p>我觉得我们现在的情况就像有人把老虎当宠物。老虎幼崽确实可以是很可爱的宠物，但如果一直养这个宠物，那么你要确保它长大的时候不会把你杀掉。</p><p>一般来说，养老虎当宠物不是一个好想法。但如果你养了老虎，只有两个选择。<strong>要么把它训练好让它不攻击你，要么把它消灭掉。而对于AI，我们没有办法把它消灭掉。</strong></p><p>AI在很多方面都表现出色，包括医疗、教育、气候变化、新材料等领域，几乎能够帮助所有行业变得更有效率。我们无法消除AI，即使一个国家消除了AI，别的国家也不会这么做，所以这不是一个选项。这意味着如果我们想要人类生存，就必须找到办法来训练AI，让它们不要消灭人类。</p><p>我需要强调的是，我是以个人身份发言，发表个人观点。我觉得各个国家在某些方面可能不会合作，比如网络攻击、致命武器，或者操纵公众意见的虚假视频。不同国家的利益并不一致，他们有着不同的看法。在这些方面不会有有效的国际合作。我们可以防止一些人制造病毒，但在这些方面不会有什么国际合作。不过有一个方面我们是会进行合作的，我觉得这也是最重要的问题。</p><p>如果你看一下50年代冷战巅峰时期，美国和苏联一起合作来预防全球核战争。大家都不希望打核战争，尽管他们在很多方面都是对抗的，但在这一点上可以合作。我们现在的局面是，没有一个国家希望AI统治世界，每个国家都希望人类能够掌控世界。如果有一个国家找到办法来防止AI操纵事件，那么这个国家肯定会很乐意告诉其他国家。</p><p><strong>所以我们希望国际社会能够有一个AI安全机构组成的国际社群，来研究技能，培训AI，让它们向善。</strong>我们的希望是，训练AI向善的技术与训练AI变得聪明的技术是不同的。因此，每个国家都可以进行自己的研究来让AI向善，可以在自己的主权AI上进行这项研究。虽然不能对其他国家保密，但可以与大家分享结果，即如何训练AI向善。</p><p>这是我的提议：全球或世界主要国家，或者主要的AI国家应该考虑建立一个网络，包括来自各国的机构来研究这些问题，研究如何训练一个已经非常聪明的AI，使这个AI不想消灭人类，不想统治世界，并且乐意做辅助工作，即使AI比人类聪明得多。我们还不知道如何做到这一点。</p><p><strong>从长期来说，这可以说是人类面临的最重要问题。</strong>好消息是在这个问题上，所有国家都可以一起合作。谢谢。</p></blockquote></body></html>","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>“AI教父”辛顿WAIC演讲：我们正在养一头老虎，别指望能“关掉它”</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n“AI教父”辛顿WAIC演讲：我们正在养一头老虎，别指望能“关掉它”\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-07-27 10:20 北京时间&nbsp;&nbsp;&nbsp;<a href=https://wallstreetcn.com/articles/3751934><strong>华尔街见闻</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>7月26日上午，2025世界人工智能大会（WAIC）在上海拉开帷幕。在大会主论坛上，图灵奖得主、诺贝尔物理学奖得主杰弗里·辛顿（Geoffrey Hinton）出席并作演讲，这也是辛顿首次以线下形式在中国公开亮相。辛顿本次演讲以《数字智能是否会取代生物智能》为主题，他深刻剖析了数字智能与生物智能的根本差异，并分别用乐高积木和养老虎打比方说明了AI的思维逻辑以及人与AI的关系。在对AI前景方面，辛顿...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3751934\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/0eb98587b5c81b2fc132df8572df3306","relate_stocks":{},"source_url":"https://wallstreetcn.com/articles/3751934","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2554716014","content_text":"7月26日上午，2025世界人工智能大会（WAIC）在上海拉开帷幕。在大会主论坛上，图灵奖得主、诺贝尔物理学奖得主杰弗里·辛顿（Geoffrey Hinton）出席并作演讲，这也是辛顿首次以线下形式在中国公开亮相。辛顿本次演讲以《数字智能是否会取代生物智能》为主题，他深刻剖析了数字智能与生物智能的根本差异，并分别用乐高积木和养老虎打比方说明了AI的思维逻辑以及人与AI的关系。在对AI前景方面，辛顿感到警惕。他直言，我们正创造比自己更聪明的AI，这就像在家里养一头老虎当宠物，指望“消除它”是不现实的。以下是辛顿的核心观点：AI发展有两种范式，一是逻辑型范式，认为智能本质在于推理，通过符号规则操作符号表达式；二是生物学基础范式，认为智能基础在于学习和联结网络，理解先于学习。大语言模型理解语言的方式与人类基本相同。人类有可能就是大语言模型，也会像大语言模型一样产生幻觉，创造出许多幻觉性语言。如果用乐高积木类比看，每个词都是多维度的积木，可以根据上下文调整形状，词与词之间需要“恰当握手”来产生含义。这种动态的特征整合过程，正是人脑和神经网络理解语言的根本方法。数字智能具有两大优势：一是软硬件分离带来的“永恒性”，知识可以永久保存和复制；二是知识传播效率极高，数字智能可以通过参数共享瞬间传递万亿比特信息。相比之下，生物智能虽然耗能更少，但知识分享困难。当能源足够廉价、可以复制成千上万同样聪明的AI大脑的时候，数字智能将不可逆地超越生物智能。因为它们能以直接拷贝大脑知识的方式在群体中瞬时传播知识。我们正在创造比人类更聪明的AI，而这些智能体具有生存欲望和获取控制权的动机。当前人类与AI的关系，恰似饲养一只老虎——它长大后可能轻易超越人类。为了生存，要么摆脱它，要么找到永久保护自身的方法。AI已无法消除，它能大幅提升几乎所有行业的效率，即便有国家想消除，其他国家也不会认同。辛顿建议，我们应当建立国际AI安全机构网络，研究如何训练超级AI向善，让它们愿意做辅助工作而不是消灭人类。如何训练比人类更聪明的“好AI”，将是全人类的长期课题。好消息是在这个问题上，所有国家都有合作的动机和可能性。以下为演讲全文纪要：各位同事、各位领导、女士们先生们，感谢大家给我这个机会，与各位分享我对AI历史和未来的个人观点。60多年来，AI发展呈现出两种不同的范式和路径。第一种是逻辑型范式，过去一个世纪都以此为主导。这种观点认为智能的本质在于推理，通过符号规则对符号表达式进行操作来实现推理，从而帮助我们更好地理解知识的表达方式。另一种是以生物学为基础的AI理解方式，这也是图灵和冯诺依曼所相信的观点。他们认为智能的基础在于更好地学习和了解学习网络中的连接，在这个过程中理解是第一位的，然后才能实现学习。与这两种理论相对应的，一个是符号型AI原理，另一个则是完全不同的数字化理论。数字的本质实际上是一系列语义学特征的集合。1985年，我创建了一个小型模型，试图将这两个理论结合起来，更好地理解人们如何理解词汇。我为每个词设置了多个不同特征，记录前一个数字的特征后，就可以预测下一个数字或下一个词，然后继续预测后续词汇。在这个过程中，我们没有存储任何句子，而是生成句子并预测下一个词。这些关联性知识取决于不同词汇特征之间的语义互动。接下来的30年发生了什么呢？十年后，Bengio采用了类似的建模方式，但将规模大幅扩展，使其成为自然语言的真实模拟。20年后，计算语言学家开始接受特征向量嵌入来表达词汇含义。又过了30年，谷歌发明了Transformer，OpenAI的研究人员也向大家展示了这一技术的能力。这就是我们今天所拥有的成果。因此，我将今天的大语言模型视为早期微型语言模型的后代，它们拥有了更丰富的词汇量。1985年以后，大语言模型开始使用更多词汇作为输入，采用更多层的神经元结构。由于需要处理大量模糊的数字，学习特征之间建立了更加复杂的交互模式。大语言模型与人类理解语言的方式相同，基本理解过程是将语言转化为特征，然后以完美的方式整合这些特征。这正是大语言模型各个层次所做的工作。因此，大语言模型真正理解人类如何理解问题，与人类理解语言的方式一致。传统符号AI的做法是将语言转化为不模糊的符号，但实际情况并非如此，人类不是这样理解语言的。可以用乐高积木来比喻理解过程：通过乐高积木可以搭建任何3D模型，比如制作车子的小模型。将每个词视为一个多维度的乐高积木，可能包含几千个不同维度。这种多维度的积木可以进行建模，创造多种不同内容，语言因此变成了一个建模工具，能够随时与人沟通，只需要给每个积木命名即可，每个积木就是一个词。语言和乐高积木存在许多差异。乐高积木有多种不同类型，数量达到成千上万块。乐高积木的造型是固定的，但词的符号形状可以进行设定，也可以根据不同情况进行调整。乐高积木通过塑料圆柱体插入塑料孔，或将正方形插入正方形孔来连接，相对确定。语言却不同，每个词可以想象成有很多只手。要更好地理解词汇，需要让词与词之间恰当地握手。一旦词的造型发生变形，它与另一个词的握手方式就会改变。这涉及优化问题：一个词变形后意思发生变化，如何与下一个词握手以产生更好的含义。这就是人脑理解意思的本质，也是神经网络理解意思的根本方法，类似于蛋白质与蛋白质之间的组合过程。蛋白质通过将氨基酸进行不同模型整合融合，结合后能产生更有意义的内容。这正是人脑理解词汇和语言的方式。因此我认为，人类理解语言的方式和大语言模型理解语言的方式几乎相同，人类有可能就是大语言模型，也会像大语言模型一样产生幻觉，创造出许多幻觉性语言。但在一些重要的根本性方面，大语言模型与人类不同，甚至比人类更强大。计算机科学的一个基础原则是将软件和硬件分离，这使得同样的软件可以在不同硬件上运行，这与人类存在根本差异，也是计算机科学存在的基础。程序中的知识是永恒存在的，软件和程序可以永久保存。即使所有硬件都被摧毁，只要软件继续存在，就可以随时复活。从这个意义上说，计算机程序的知识具有永恒性和不朽性。要实现这种永恒性，需要晶体管在高功率运行时仍能产生可靠的二进制行为，这个过程成本很高。我们无法利用硬件中丰富的模拟特性，因为这些特性不够稳定可靠，每次都是模拟型的，每次计算结果都不相同。人脑是模拟的而非数字的，每次神经元激发过程都是模拟型的，不会完全相同。我无法将自己大脑中的神经元结构转移到他人大脑中，因为每个人的神经元连接方式都不同，我的神经元连接方式只适合我的大脑神经结构。知识传播在硬件中的方式与在人脑中的方式不同，这正是问题所在。如果我们做不到永生，硬件的优势在于它不依赖于特定条件，因此具有永生特性，能带来两大好处。我们可以使用功耗极低的模拟硬件。仅用很小的功率和电能就能实现功能，人脑只需要30瓦特就足够运行，而我们有几万亿个神经元连接。这种发展硬件的情况与电子管的发展类似。我们能够做到极其精确的模拟，不需要花费大量资金去制造完全相同的硬件。但是我们现在面临一个较大的问题：从一个模拟模型转换到另一个模型，将知识进行迁移是非常低效和困难的。就像我无法直接将脑中的想法展示给你一样，我只能通过解释的方式向你说明已经学到的内容。解决这个问题的最佳方法是蒸馏技术。DeepSeek就采用了这种方法，将大型神经网络的知识转移到小型神经网络中。这个想法基于教师和学生的关系模型，在某些情况下，教师将相关概念联系起来，生成下一个输出单元。他将词汇与词汇在上下文中相互连接，通过修改连接来建立联系。学生也可以表达相同的意思，但他需要调整表达方式来传达相同含义。我们训练模型的方式与人类知识传递的方式相似，即将一个人的知识传递给另一个人，但这种方式效率很低。一句话可能包含大约一百比特的信息，这个信息量并不算特别多。这种从一个人到另一个人的传递方式限制了我们转移知识的数量。通过缓慢讲话的方式将知识传递给他人，每秒钟最多也就能传递100个比特左右的信息。即使对方完全理解了所说的内容，传递效率仍然不高。但如果与数字智能之间的知识转化效率相比，两者存在巨大差别。如果我们拥有同一个神经网络软件的多个副本，将这些副本分别部署在不同的硬件设备上，由于它们都采用数字化方式，它们能够以相同的方式使用各自的参数，并通过平均化位置参数的方式来实现知识共享，最终通过互联网进行传播。我们可以创建成千上万的拷贝，它们能够自主改变权重并取平均数，从而实现知识转移。这种转移速度取决于连接点的数量。每次能够分享万亿个比特的信息，比人类分享知识的速度快几十亿倍。GPT-4就是很好的例子，它有许多不同的拷贝在不同硬件上运转，能够分享各自从网络上学到的不同信息。当智能体在现实世界中运行时，这一点更加重要，因为它们能够不断加速和拷贝。多个智能体比单个智能体学得更多，它们能够分享权重，而模拟软件或模拟硬件无法做到这一点。我们认为，数字计算虽然需要大量能源，但智能体可以方便地获取相同权重，分享从不同经验中学到的知识。相比之下，生物计算耗能更少，但分享知识却很困难。如我刚才所展示的，如果能源很便宜，数字计算就会更具优势，这也让我感到担忧。几乎所有专家都认为我们将生产出比人类更智能的AI。我们习惯了成为最智能的生物，所以很多人难以想象当AI在世界中比人类更智能时会发生什么。如果想要了解人类不再是最智能物种时会怎样，我们可以问问鸡的感受。我们正在创建AI智能体，它们能够帮助我们完成任务。这些智能体已经具备了一定的能力，可以进行自我复制，能够为自己的子目标评级。它们会想做两件事情：第一是生存，第二是实现我们赋予它们的目标。为了完成我们给它们的目标，它们也希望能够获得更多的控制权。所以这些智能体既想要生存，也想要更多的控制。我认为我们没办法轻易改变或关闭它们。我们不能简单地把它们一关了事，因为它们会很方便地操纵使用它们的人。到时候我们就像三岁的孩子，而它们像成年人一样，操纵三岁的人是很容易的。有人觉得当它们变得比我们更聪明时，我们就把它们关掉，但这是不现实的。它们会操纵和劝说操控机器的人不要把它们关掉。我觉得我们现在的情况就像有人把老虎当宠物。老虎幼崽确实可以是很可爱的宠物，但如果一直养这个宠物，那么你要确保它长大的时候不会把你杀掉。一般来说，养老虎当宠物不是一个好想法。但如果你养了老虎，只有两个选择。要么把它训练好让它不攻击你，要么把它消灭掉。而对于AI，我们没有办法把它消灭掉。AI在很多方面都表现出色，包括医疗、教育、气候变化、新材料等领域，几乎能够帮助所有行业变得更有效率。我们无法消除AI，即使一个国家消除了AI，别的国家也不会这么做，所以这不是一个选项。这意味着如果我们想要人类生存，就必须找到办法来训练AI，让它们不要消灭人类。我需要强调的是，我是以个人身份发言，发表个人观点。我觉得各个国家在某些方面可能不会合作，比如网络攻击、致命武器，或者操纵公众意见的虚假视频。不同国家的利益并不一致，他们有着不同的看法。在这些方面不会有有效的国际合作。我们可以防止一些人制造病毒，但在这些方面不会有什么国际合作。不过有一个方面我们是会进行合作的，我觉得这也是最重要的问题。如果你看一下50年代冷战巅峰时期，美国和苏联一起合作来预防全球核战争。大家都不希望打核战争，尽管他们在很多方面都是对抗的，但在这一点上可以合作。我们现在的局面是，没有一个国家希望AI统治世界，每个国家都希望人类能够掌控世界。如果有一个国家找到办法来防止AI操纵事件，那么这个国家肯定会很乐意告诉其他国家。所以我们希望国际社会能够有一个AI安全机构组成的国际社群，来研究技能，培训AI，让它们向善。我们的希望是，训练AI向善的技术与训练AI变得聪明的技术是不同的。因此，每个国家都可以进行自己的研究来让AI向善，可以在自己的主权AI上进行这项研究。虽然不能对其他国家保密，但可以与大家分享结果，即如何训练AI向善。这是我的提议：全球或世界主要国家，或者主要的AI国家应该考虑建立一个网络，包括来自各国的机构来研究这些问题，研究如何训练一个已经非常聪明的AI，使这个AI不想消灭人类，不想统治世界，并且乐意做辅助工作，即使AI比人类聪明得多。我们还不知道如何做到这一点。从长期来说，这可以说是人类面临的最重要问题。好消息是在这个问题上，所有国家都可以一起合作。谢谢。","news_type":1,"symbols_score_info":{}},"isVote":1,"tweetType":1,"viewCount":67,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":27,"optionInvolvedFlag":false,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"hasMoreComment":false,"orderType":2}