雷递网 乐天 11月2日
XHEART新芯航途日前在苏州公开亮相。发布会当天，XHEART正式发布大模型芯片X7 Ultra，并现场宣布X7系列已量产8个月，累计出货超过20万颗，搭载10款量产车型，获得超过40款车型订单。
XHEART新芯航途CEO李宗霖也公开亮相。李宗霖在创办XHEART新芯航途前，曾任联发科无线通信事业部总经理，还曾担任OPPO旗下芯片设计公司哲库首席运营官（COO）。2023年，OPPO解散了哲库，随后李宗霖带领核心团队创办了XHEART新芯航途。
李宗霖说，2023年刚创业的时候，坦率说比较辛苦，因为那时候资本市场不景气，在资源很有限的情况下，团队只能做一次选择，只有一次机会。
对团队当时来说，有两个大方向选择，一个是做非常安全、不容易犯错的选择，就是跟所有人一样，做一个比较通用性的架构芯片，这是一个安全的方向。也就是说，不管模型怎么变，芯片都能跑，但它不可能有太好的性能。另一条路线有风险，有不确定性，但坚信这个路线是能够给用户提供巨大价值的。
当时李宗霖跟Momenta CEO曹旭东做了非常大量的讨论，彼此的看法是，相信智驾行业会从传统的规则判断，非常剧烈地转成数据为驱动的算法。在往数据驱动方向上，模型会变成一个快速转动的飞轮，而这个飞轮是有大量海量的数据在驱动。数据的飞轮越转越快，会让模型的迭代速度越来越快，进步越来越快，用户体验会越来越强。
“我们当时觉得要做这种芯片，有风险，有不确定性，但这才是一个对的方向，对的方向能提供客户、用户真正的价值。我们非常欣慰，三年走来，确实也验证了当时对数据驱动，大模型趋势方向的判断。”
李宗霖说，XHEART的大模型芯片“X7 Ultra”，大模型算力，700 TOPS。是用真实量产智驾模型来评测芯片，同时基于量化后模型精度达到99.99%以上，这个严苛条件所得到的性能。
模型还在进化，应⽤还在深⼊。芯⽚也必须提前做好准备：既要有更强的计算能⼒，也要让数据跟得上计算，让整个系统⾼效协同。所以，今天还有⼀个X more thing。
XHEART四团队研发节奏始终是：量产⼀代、开发⼀代、预研⼀代。
“今天发布的X7 Ultra，带来了这⼀阶段软硬协同的最新成果。⽽⾯向下⼀代更⼤规模的模型，XHEART也已经在推进⼀颗全新的芯片，就是XHEART⼤模型芯⽚X9。”李宗霖指出，X9核⼼研发目标是大模型算⼒3000 TOPS，同时单芯片内存带宽达到创纪录的700GB/s。
“我们认为，计算和访存带宽需要同步⼤幅提升，才能更好的适配未来更⼤规模的模型。所以X9会围绕下⼀代世界模型的需求，继续推进软硬件协同设计，让更⼤的模型能够⾼效运⾏，让更强的算⼒能够充分发挥。”李宗霖透露，公司计划在2027年推出X9，目标是成为全球领先的大模型芯片。
以下是新芯航途CEO李宗霖演讲主要内容：
李宗霖：大模型时代，我们究竟需要⼀颗什么样的芯片？这个问题，关系到模型的进步，能不能真正的变成产品的进步；也关系到更强的智能，什么时候能够进⼊更多人的⽇常⽣活。
今天，我想从更早⼀点开始讲起。因为在2023年决定重新创业的时候，我们就反复一直在问自己这些问题。那⼀年，我们几位同事经历了⼀次职业上的重新选择。大家在芯片这个⾏业已经做了十几、二十年，也⼀起做过相当复杂的芯片产品。重新开始，反⽽让我们更加谨慎。
这⼀次，到底要做什么？能解决客户什么问题？几年以后，芯片做出来，是不是市场所需要的？我们希望把过去积累的经验，做成真正被需要的产品。也就是在那段时间，非常好的缘份，我们认识了旭东，跟旭东聊了很多，聊技术，聊市场，也聊未来几年智能驾驶会发⽣什么的变化。
经过多次的交流，我们逐渐形成了两个判断。第⼀个判断，我们相信大模型会改变智能驾驶，也会改变芯片的设计方式。
过去的智驾系统，基本是由多个"小模型"拼出来的——感知是⼀个模型，预测是⼀个模型，规划又是另外⼀个模型。每个模型各司其职，看起来分⼯很明确，但是问题也恰恰出现在这⾥。首先，信息在模型传递过程中维度降低了，导致大量的有效信息丢失了，数据利用率也被拉低了。
第⼆，性能天花板比较低，泛化能力比较差。小模型能力的上限，本质上就是规则设计者的认知上限。所以小模型时代的智驾，本质上是⼀个"人脑驱动"的系统——⼯程师写顶层规则，机器通过小模型来执⾏这些规则。
随着基于transfomer端到端大模型的发展，海量数据被真正的高效利用起来，我们真正地⾛向数据驱动。模型正在改变汽车理解世界、作出决策的方式，也给芯片提出了三道新的挑战和题⽬。
⾸先，芯片算力能不能在真实的系统中发挥出来？用户最终需要的，不在于这些纸⾯上的数据，⽽在于量产大模型部署环境下，计算推理要快，系统判断要及时。
第⼆，今天设计的芯片能不能跟上明天的模型？如果在芯片设计的时候，缺少对模型架构发展趋势的预判并且预留足够的资源，那么随着产品落地，后续的OTA升级很快就会遇到限制。
第三，我们能不能以合理的能耗获得所需要的能力？提高算力，⼀个很直接的办法是堆砌晶体管，投⼊更多的计算资源。但是在车上，散热条件永远都有一个非常明确的边界。算力上去了，如果能耗也大幅度增加，这个方案就很难走向真正的大规模应用。这三道题是要放在⼀起回答的。
我们的判断是，需要从真实的大模型需求出发，重新思考计算、存储和数据流动怎么组织，才能让芯片的资源真正用在模型需要的地方。这就是我们认定的技术方向：大模型，定义芯片。我们坚信，这是值得投⼊的技术方向，能够让大模型的进步真正⾛进产品、服务用户。既然认定了，就应该从现在开始，把它做出来。这也是我们在2023年决定创业的原因之⼀。
第⼆个判断，大模型将推动新⼀轮科技变⾰，⽽汽车，是我们让这场变⾰率先惠及更多用户的起点。
一项好技术的价值，在于它最终能⾛进多少人的⽣活。我们希望让更多品牌、更多级别的车型都能搭载更好的智能驾驶，让更多人享受到科技进步带来的安全与便利。要做到这⼀点，芯片就必须要同时做好性能、能效和成本。让更强的模型能够高效运⾏，也让车企能够把这样的能力带进更多量产车型。我们希望用更好的大模型芯片，降低先进技术⾛向规模应用的⻔槛，让更多用户用得上、用得起好的智能驾驶。
当技术服务的人越来越多，真实场景和用户需求也会推动产品持续进步，规模化应用则能够⽀撑下⼀轮研发。从第⼀颗芯片开始，我们就希望⾛通这条路：把技术做好，把产品做出来，让更好的体验⾛向更⼴泛的人群。
基于这些判断，我们确定了全新的芯片设计思路：大模型定义芯片。当时，常⻅的路径是先做芯片，再让模型去适配。我们决定从真实应用中的模型需求出发，倒推芯片的架构。这条路走来事实上是不轻松的。当时正处于资本寒冬，团队规模比较小，做芯片又需要⻓期的投⼊，每⼀次取舍都事关⽣死。但是我们的⽬标是非常明确的：做出为大模型设计的芯片，并且实现规模化量产。
我们决定从汽车做起。在这个对性能、成本和安全都有严格要求的场景⾥，检验⾃⼰的判断。今天，我们沿着“大模型定义芯片”的技术路线，打造出了⾯向量产的大模型芯片。
XHEART的大模型芯片“X7 Ultra”，大模型算力，700 TOPS。特别强调的是，我们是用真实量产智驾模型来评测芯片，同时基于量化后模型精度达到99.99%以上，这个严苛条件所得到的性能。
如何理解这个算力背后的价值呢？通常⾏业会通过实验室⾥的基准测试来评估芯片性能，比如说FPS或者模型运⾏耗时，但是实验室的结果与智驾量产模型的性能和体验往往相去甚远。所以我们直接用实际的量产智驾大模型来评测芯片，让性能评测从⼀开始就对准最终的智驾体验。这样做也意味着性能优化必须在更严格的约束下完成。包括模型结构不能随意调整，计算精度必须得到保证，最终的驾驶体验也不能有任何的折扣。
我们的要求是：量化部署以后，模型输出与训练后的FP32浮点模型相比，相似度要达到99.99%以上，也就是四个九以上。在这样的精度约束下，我们要确保芯片的性能能够充分释放出来。700 TOPS背后是⼀项项具体的设计与优化。接下来，我会为大家逐⼀介绍“X7 Ultra”组特的架构设计。
第一项，超大核NPU架构。研发开始的时候，我和SoC设计负责人讨论最多的一件事是：怎么样把我们对大模型的判断真正做进芯片的架构？模型正在⾛向集中，芯片架构就要为这种集中做好准备。因此，我们把优化重点放在NPU上面，并且选择了超大核架构。
超大核架构带来了什么？打个比方，过去协作的人分散在不同办公室，资料需要来回传递。而超大核就像把紧密协作的团队放进同⼀个宽敞的⼯作空间，让大量的交流在内部高效完成。模型数据交互，从传统小核之间的百GB/s级，聚合到超大核内部的TB/s级，互联速率实现了数量级的提升。
同时，我们设计了大容量、高并发的多级缓存，让计算需要的数据尽量留在身边，减少等待和搬运，让计算少等待，让数据少绕路，这就是超大核NPU⾸先要解决的问题。
第⼆项，为关键计算配备专用加速引擎。计算集中以后，还有一个问题要解决，那就是模型⾥的关键算⼦，能不能都在NPU内高效执⾏呢？
大家都知道，算⼦会直接影响整个模型的运⾏效率。早期的NPU主要⾯向卷积⽹络设计。当模型发展到了transformer架构的时候，⼀些原本不⽀持的计算就需要交回CPU去处理。这不仅带来了处理器之间的任务切换，也增加了对外部内存的读写，影响了整个模型的执⾏效率。
为了解决这个问题，业界开始在NPU内部加⼊了向量处理器，让更多类型的计算可以直接在NPU内直接完成。同时，利用芯片内部的高速片上SRAM，提高数据的访问效率。但我们发现，仅仅把计算放回NPU内部，带来的性能提升仍然非常有限。有没有比向量处理器更快的计算方式呢？有没有比片上SRAM更高效的访问路径呢？
我们继续深⼊研究，并且针对模型中使用频繁、对整体耗时影响较大的一系列计算环节，进⾏更加极致的优化。比如针对transformer模型中经常使用到的LayerNorm、Softmax和Transpose等⼀系列关键算⼦，我们专⻔设计了硬件加速器，并且搭配访问效率最高的缓冲寄存器，实现计算和数据访问双双极致优化。
在这⾥，我想讲⼀段当时芯片定义的经历。2023年我们就和算法模型团队⼀起，围绕持续演进的主线模型，深⼊讨论模型架构和算⼦需求：我们既要分析当时的模型是怎样运⾏的，还要充分结合算法团队的研发方向，判断未来几年哪些计算会变得越来越重要。最终找到最值得深度优化的哪些环节。模型告诉我们，计算时间花在哪⾥；软硬协同让我们进⼀步判断，硬件应该为未来做什么样的准备？
同时，对于智驾这样的高安全应用来说，模型推理速度是⼀方⾯，模型的推理精度同样重要。为了保障模型精度不丢失，我们精⼼设计的这些加速器要求原⽣⽀持浮点高精度向量计算。我们的⽬标很明确，那就是让关键计算又快又准。
第三项，解锁硬件并⾏度并重构AI⼯具链。大模型下的计算利用率是⼀个非常有挑战的⽬标。基于量产智驾模型实测，X7 Ultra的计算利用率可以达到98.7%。这⾥有⼀个具体的技术取舍：计算的任务怎样安排才能充分发挥硬件的并⾏能力，又不让数据搬运成为新的瓶颈？
简单说，就是让芯片⾥的计算单元更充分的协同⼯作，减少等待，把硬件的能力真正释放出来。⼀方⾯，让更多计算单元同时⼯作；另⼀方⾯，让计算与权重加载同时进⾏。当前这批计算还在执⾏，下⼀批需要的数据就已经提前准备好了。打个比方，⼀条⽣产线上，设备已经具备很强的加⼯能力，我们还要把⼯序和供料安排好：不同的⼯位协同运转，原料提前送到，设备才能持续高效的⼯作。
为此，我们的软件团队和算法模型团队⼀起深⼊到底层，找到影响效率的根本原因，把原来需要排队等待的环节，尽可能变成并⾏⼯作。
与此同时，我们也针对X7 Ultra的AI⼯具链进⾏了深度重构，让模型在芯片上运⾏的更高效。其中⼀个关键的能力就是整⽹级融合。常规的模型推理是把⼀个算⼦作为kernel单独来执⾏，每完成⼀步，往往都需要把中间的结果写回外部内存；下⼀步要开始的时候再把数据读回来。数据这样来回搬运，既占用内存带宽，也消耗时间和电力。
业界常⻅的优化方法是把几个连续的计算步骤合并起来，让中间结果尽可能留在芯片内部的高速缓存⾥面，减少对外部内存的读写。而X7 Ultra把这种优化进⼀步扩展到了整张⽹络。通过融⼊新的搜索算法和优化策略，我们的AI⼯具链可以从全局出发，对整张⽹络中不同分层、不同分⽀的计算任务，统⼀拆分、编排和合并，最终融合为⼀个整⽹级的大算⼦。
也就是说，优化的范围，从局部的几个计算步骤扩大到了整个模型的计算流程。这样做的最大价值就是实现了整⽹的内存零拷⻉：中间计算的结果不再需要反复的写回外部内存、再读取回来。外部内存的数据传输主要集中在最开始的输⼊、最后的输出，以及必要的模型权重加载。数据搬运减少了，内存带宽开销也就大幅下降，NPU也能够把更多时间用在真正的计算上面。
基于全新的NPU架构以及深度重构的AI⼯具链，X7 Ultra具有业界领先的极致效率，包括：1.基于量产智驾大模型实测，X7 Ultra NPU计算利用率可以达到98.7%。2.与⾏业旗舰产品相比，我们的内存带宽消耗下降了80%，同时能效提升了100%。这就是我们强调的“大模型定义芯片”所带来的巨大优势。
第四项，中国⾸发量产Armv9车规级CPU，大家知道，CPU是整颗芯片中的“超级调度官”。我们希望它精⼲，同时有⾜够强的能力把复杂控制和系统协同做好。X7系列上采用Armv9车规级CPU，我们是中国率先采用并⾸发量产的。今年3⽉已经随客户车型进⼊量产。
相比上⼀代CPU内核，Armv9性能提升20%，能效提升10%；全新SVE2向量处理引擎相比上⼀代NEON具备更强的DSP性能，大集群架构进⼀步提升了多核协同和L3缓存访问性能。这是我们与Arm共同完成中国⾸发的价值：以更高效的CPU⽀持整颗芯片的协同。
第五项，深度异构计算。有了CPU，也不能把所有事情都交给这个调度官处理。合适的任务应该由最合适的计算单元来做，这就是深度异构计算的设计初衷。
我讲⼀个当时参与讨论的具体例⼦，大家就比较容易理解了。各位都知道，激光雷达是智驾系统最重要的传感器之⼀。过去两年，车载激光雷达经历了⼀个跨越式的演进，从128 线、192 线，⼀路演进到 500 线级，甚⾄1000线级的图像级激光雷达。线束越高意味着在同样距离上看得越清楚，判断得越准确。
同样的碎片，以前只有⼀个点来覆盖，甚⾄还有可能被漏检，现在会被5-10个点云覆盖，检测置信度大幅提升，但是随之⽽来的则是海量点云数据在智驾芯片上的处理需求。为此，我们在传感器处理⼦系统中专⻔集成了激光雷达处理加速器，通过专用的计算单元和流⽔线设计，更加高效的⽀持高达2000万点/秒的处理带宽。这个2000 万点/秒的处理能力，⾜以⽀持千线激光雷达的点云处理需求，最终带给用户的是感知安全。
讲完激光雷达，我们再来看看摄像头处理。摄像头是智驾系统里面最核⼼的传感器，摄像头处理流⽔线的精细设计直接关系到端到端处理的时延。过去业界普遍关注的是平均时延——从摄像头曝光到特征输出，但是平均时延是会骗人的。真正决定系统安全的往往不是平均时延，⽽是时延的抖动。什么意思呢？比如说平时处理30毫秒，但是抖动范围在20-50毫秒之间波动，这就意味着差的时候50毫秒才处理完毕，那么在这个时刻，整个系统的安全性是由这50毫秒来保障，这50毫秒就变成了整个系统安全的下限。这就是为什么我们要关注更重要的词“确定性”。
X7 Ultra在传感器处理⼦系统中引⼊了专注于本地计算的高性能多核处理器系统，在更近的距离上实现了本地计算和流⽔线控制，在实测表现上，X7 Ultra的摄像头处理稳定性相比竞品提高了100%，这带给用户的是更安全、更安⼼。
第六项，软硬兼备的安全能力。我想重点讲一讲X7 Ultra的安全理念：实现真正的智驾安全，X7 Ultra满⾜ISO26262 ASIL-B功能安全要求，同时内置的MCU则通过了最高ASIL-D认证；信息安全也满⾜了国密⼆级要求，⽀持多项物理攻击的防护⼿段。
这些能力为硬件提供了底层安全基础，但对于智驾来说，这是远远不够的。就好比⼀个人身板很硬朗，并不代表办事靠谱。据统计，智驾系统故障中，真正属于硬件故障的比例其实是不高的，大部分都是因为超出了模型算法的边界。
因此我们认为，评价智驾这样⼀个复杂系统是否安全和值得信赖，还有⼀个重要层⾯就是由智驾芯片和算法所⽀撑的⾏驶安全。硬件安全好比身体，⾏驶安全好比大脑。两者构成的智驾安全才是用户最直观可感受的安全保障。因此，除了硬件安全，X7 Ultra在⾏驶安全上也能提供强大的⽀撑，拥有⾏业领先的高效算力，以及为模型持续迭代预留的空间，可以更加全⾯的保障整个系统的智驾安全。⼀句话，硬件安全+⾏驶安全才是真正意义上的智驾安全。先有安全，才有安⼼。
我觉得这不只是⼀颗芯片的突破，更是智驾体验的跃升。专为大模型设计的超大核NPU，互联带宽数量级提升，让关键计算和数据交流更高效。同时，高精度专用算⼦加速引擎，让算⼦的执⾏又快又准。
硬件架构与AI⼯具链双重优化释放了700 TOPS智驾大模型算力，同时能效达到⾏业旗舰的2倍。中国⾸发量产Armv9车规级CPU让整颗芯片高效协同。深度异构计算，本地任务，本地处理，传感器预处理稳定性提升100%。软硬兼备的安全能力为这⼀切系好安全带。
这六项能力都来⾃同⼀个起点，那就是先理解大模型，再设计芯片，实现模型参数的10倍释放。从第⼀个提出“大模型定义芯片”到第⼀个让大模型芯片实现量产，我们⾛到了⾏业的前列。X7 Ultra芯片的成功，不仅需要产品优秀，还要有⼀⽀高效协作的团队。
不到24小时，我们就成功点亮芯片，主要数据通路全部打通。快速的成功点亮是⼀个好的开始，但只是第⼀步。
接下来，还要经过严苛的系统验证和实车检验。我们要交付的是⼀颗能在真实车辆上稳定、可靠⼯作的芯片。
其中，有件事情令我印象深刻：我们的⾸台测试车，其实短短几天就已经成功上路，但是经过内部充分讨论，我们决定，这一次要用更严格、更接近量产的标准来重新定义“回片上车”这个节点。
我们希望验证的是由芯片、底层软件和智驾模型所组成的完整系统，能不能在真实道路上跑出接近量产的表现。细致到每⼀个路⼝的转弯，模型所规划出来的⾏驶轨迹都要和量产项⽬标准保持⼀致。这个严苛的要求，对于⼀颗刚回来的芯片是⾮常有挑战的。
经过团队的⽇夜攻坚，整个系统从芯片，到底软，再到算法，磨合的越来越稳定，直到我们的测试车辆可以在城区道路上连续稳定⾏驶数小时，全程⽆接管。⽆论⽩天、夜晚，还是那段时间经常出现的暴⾬天⽓，我们的系统都经受住了考验。⽽这距离这颗芯片的出⽣仅仅过了17天。
第21天，驶⼊了真实的车流，并且向客户开放体验。随后，我们邀请大量合作伙伴和客户来试乘测试车。他们对系统的表现、落地的速度以及团队的专业给予了高度认可，这份认可让我们感受到⾏业对大模型芯片的期待，也推动我们加快脚步，把这样的体验带进客户的量产车型。
回顾整个回片和上车的过程：不到24小时点亮；17天实现整车闭环；然后接受合作伙伴和客户的实车检验。每⼀个节点都让我们对这颗芯片在真实车辆上的能力，多了⼀份验证，也多了⼀份信⼼。在这⾥要感谢每⼀位选择我们的客户。感谢他们对“大模型定义芯片”的共同认可，也看到了软硬协同带来的价值，大家志同道合⾛到了⼀起；这份信任，也让双方团队在量产攻坚中并肩作战，⼀起解决问题、力保高质量交付。
有件事让我印象特别深：XHEART团队有⼀位同事在当时准备去客户现场，出发前被HR问到什么时候回来。他说：“我也不知道什么时候可以回来，所以就先买了一张单程机票。”
那张票没有返程的⽇期，作为HR的同事，他把归期留给了问题解决的那⼀天，当时我非常触动的。最终，我们与客户成功打造的多款重磅车型，顺利通过各项严格的测试和评审，成功上市。
从⼀款车型的成功⾛向更多客户的规模量产，⼀颗芯片，从设计、制造到真正搭载上车需要产业链伙伴共同努力。对XHEART来说，把芯片做出来之后，我们还要进⼀步帮助客户降低开发难度，让项⽬更快⾛向量产。为此，我们围绕X7芯片系列提供了丰富的解决方案参考设计。
我们的定位非常明确：我们不做直接向车企供应硬件系统的⼀级供应商，也就是硬件Tier1。但是对于参考设计，我们会尽可能的按照主机⼚的量产标准严格要求，比如进⾏了大量域控级的PreDV测试。我们希望交到客户⼿中的是经过充分验证、能够⽀撑量产开发的成熟方案。客户用得更省⼼，开发落地的效率才会更高。
这⾥，我特别想和大家分享的是，除了会场外大家看到的L2++（城市NOA）量产车型，X7还成功导⼊多个L3和L4⾃动驾驶项⽬。比如这套参考设计：这是我们基于两颗X7芯片为L3、L4级⾃动驾驶打造的计算平台。⽬前，它已经获得多个车型项⽬定点，预计不久后就会和大家⻅⾯。
这套L3/L4计算平台采用统⼀双大脑架构，统⼀硬件兼容L3和L4；通过冗余的电源域设计、冗余的传感器接⼊，以及冗余的通信互联设计，再搭配强劲的算力和基于安全操作系统的安全软件栈，满⾜L3/L4对硬件安全和⾏驶安全的高标准要求。
从公司成⽴到芯片流片，再到量产，我们用了两年。在这些关键阶段，我们实现了⾏业通常需要几倍的时间才能完成的跨越。
今天，我很荣幸跟大家宣布，X7系列芯片已经量产8个⽉，累计出货超过20万颗，搭载于10款量产车型，获得超过40款车型的订单。这20万颗芯片的背后是客户⼀次次的选择，也是产业伙伴与我们的并肩协作。
从第⼀个提出“大模型定义芯片”，到将这条技术路线落地量产，我们⾛到今天，靠的是对技术方向的判断，也靠⼀路同⾏的朋友。
———————————————
雷递由媒体人雷建平创办，若转载请写明来源。
精彩评论