雷递网 乐天 11月2日 Momenta创始人曹旭东日前做了一场公开演讲,他在大会上提出第三个洞察就是大模型定义芯片。早前,Momenta提出了另外两个洞察,分别为:数据驱动解决长尾问题、规模量产获取海量数据。 曹旭东说,大模型定义芯片,这里面有两个非常重要的支撑:第一个,大模型定义的芯片相比于通用的芯片性能能提升10倍。第二个,要实现规模化L4,需要至少10B,大概率需要100B参数的模型,100B就是1000亿的参数量。通用芯片没办法同时满足功耗、车规可靠性、成本三重约束,Momenta把它称之为通用芯片的不可能三角。 当下,Momenta世界模型主要有三个支柱,首先是预训练Pre-train,让模型学习物理世界的常识;然后是 Mid-train,中间训练,更多使⽤⾃动驾驶的数据,让模型具备开⻋的常识;最后是Post train,后训练,让模型和金牌司机行为对⻬。预训练是世界模型的第一个重要支柱。 第二个支柱是世界模型的仿真,世界模型本身是一个生成式模型,除可以生成自动驾驶的轨迹,还可以生成自动驾驶的环境,可以在里面进行海量仿真。 第三个支柱是世界模型的强化学习,仿真类似于练兵场,强化学习是在练兵场里面不断地利用长尾场景进行模拟演练,演练有成功,有失败,成功就是正反馈,失败了就给负反馈,就像在里面反复练习打怪升级,Momenta世界模型在强化学习的训练下,比人类老司机开的更好,甚至未来有可能大幅超过人类老司机的水平。 曹旭东透露,Momenta即将发布R7 Ultra世界模型。基于XHEART的 大模型芯片X7 Ultra,模型参数规模扩大到了原来的5倍,安全性能表现到现在已经有了5倍的提升,未来还会进一步把模型参数提升到10倍,安全性表现也进一步提升到10倍以上。 曹旭东说,Momenta将携手XHEART,共同迎接2028年L4引爆点的到来, 以下是Momenta创