“粮厂点评”频道致力于点评粮厂的季度财报、产品发布会、市场表现或其他重大事件，不追求信息即时性和效率性，主要为读者提供粮厂研究员的观点。
2025年3月29日，一辆开启辅助驾驶的小米SU7在安徽铜陵发生了交通事故，车上三名年轻人不幸遇难。车祸事件把小米卷入了巨大的舆论漩涡，不仅打乱了小米后续产品发布的节奏，资本市场股价也遭遇波折。
事件发生过去了一个多月，互联网上关于流量的追逐已经褪去，只留下那些真正关心小米和事件本身的人。我知道小米内部已进行了多轮的复盘和讨论，并正在着手做出改变。我也希望从我的专业角度，为大家提供一些事件底层的思考角度。
熟悉我的朋友知道，我过去5年在工作之余，先后获得了香港大学法学院的法学硕士（LLM）和爱丁堡大学哲学院的科技哲学硕士，正在着手申请人工智能伦理（AI Ethics）方向的PhD。
这篇文章约7700字，内容是从我的PhD申请材料里节选，并结合小米的案例展开分析；从车祸本身延伸开来和大家分享：在人工智能呼啸而来的时代里，小米应当如何更好地应对和生存。
时间闪回到2018年3月18日晚，一辆沃尔沃XC90改装的Uber自动驾驶测试车在美国亚利桑那州坦佩市以约64公里/小时的速度行驶时，撞上49岁行人Elaine Herzberg，致其死亡。
这是自动驾驶技术发展史上的标志性事件，也是第一起有记录的自动驾驶车辆（self-driving car / autonomous car）造成的行人死亡案例。
似乎所有人都没准备好这个事件的到来，学术界和产业界为“谁来负责”的问题展开了漫长的讨论，很多与此相关的概念和讨论框架都同样适合小米的事故案例。
1. 先等等，你在讨论哪些责任？
学哲学的有一个坏毛病，就是讨论问题前，先讨论“定义”（Definition），“责任”也不例外。我们首先需要厘清两个概念：“法律责任”和“道德责任”。
在英语里，这是两个不同的单词。法律责任是Liability，而道德责任是Responsibility或者Blameworthiness。“法律责任”是客观存在的一套行为标准，是可归罪的（imputability）；而“道德责任”是在共同舆论场内的主观评价体系，并不存在确定的行为后果。
纵然法律和道德中间存在着模糊的灰色地带，一些学者还是建议在分析实际问题时“将法律和道德脱钩”。
我们首先从“法律责任”谈起。
很多人想将车祸事故归咎于小米的设计或者制造缺陷，这是非常武断且没有根据的。其实，关于产品的设计和制造缺陷责任认定，中国和美国给出了两种不同的法律评价路径，都具有讨论价值。
中国法律注重客观技术标准，并结合生产者主观过错来评判。中国《产品质量法》第26条规定：“产品需符合保障人体健康和人身、财产安全的国家标准、行业标准。”
我身边在麦格纳（Magna）做汽车量产开发验证的朋友告诉我：“能在中国公路上跑的汽车几乎都可以放心开，你根本想象不到这个行业有多少国家标准。”
按照他的推荐，我去下载了一份由国家标准化管理委员会（SAC）和工信部（MIIT）联合下辖“全国汽车标准化技术委员会”（NTCAS）发布的《2025年汽车标准法规目录》。
这份文件共有223页；注意，这223页只是罗列了法规和标准的名字而已，而没有具体的内容，可想而知一台车涉及多少条标准和法规；其中光“电动车辆标准”和“智能网联汽车标准”就有上百项。
而在美国法庭上，法官更可能会询问：“肇事车辆是否达到了大多数其他无人驾驶汽车所能达到的标准？”
这个问题背后的标准来源，是美国1998年的《产品责任法重述三》（The Third Restatement of the Law, Torts: Products Liability）里提出的“风险-效用测试”（Risk-Utility Test）。
抛开法律专业描述，“风险-效用测试”就是要证明：“在合理的范围内，其他人能否做得比你更好”。这不是简单的在网络上拍脑袋谁好谁坏，而是要用严谨的证据说明改善产品的成本与可以避免或减少的伤害程度相比是合理的责任。
正如2018年Uber事故后，英伟达CEO黄仁勋曾评论道：“我们不知道自己是否会做的更好，但我们应该给自己一些时间，看看能否从事故中吸取教训。”（We don't know that we would do anything different, but we should give ourselves time to see if we can learn from that incident.）
回到小米的事故案例里，我认为无论是中国还是美国的评价路径，小米都不存在法律责任。
在中国法律里，没有任何证据显示了小米SU7违法了国家标准和法规；如果有的话，可能现在已经开始召回了。在美国评价体系里，在夜晚复杂路况的情况下，车辆以近百公里速度撞向石墩，几乎很难有其他新能源厂商敢说自己比小米做得更好。相反，小米在整体辅助驾驶行业里的表现，还是相对靠前的，并且迅速地在向第一梯队靠拢。
2. 我们为什么从不指责菜刀？
谈完法律责任，我们再回到“道德责任”。
哲学上，当我们通过自己的行为直接影响世界，或者是通过行为的后果间接的影响世界，并且被共同的舆论场赞扬或谴责，那便具备了“道德责任”。
从这个意义上，每一个生活在互联网时代的人和公司都或多或少的承担着道德责任。
如果这只是一起普通的车祸，如同全球每年发生的上百万起车祸事故一样，那没有任何什么值得深入讨论的地方。但2018年的Uber车祸是一起由“自动驾驶”车辆引起的人类死亡事故，把陈旧的“道德责任”话题又重新推回了聚光灯下。
传统观点认为，车祸事故的责任只会由厂商或者驾驶员承担，因为汽车不过是被操作的工具，和具有决策能力和道德判断的人类之间泾渭分明。就像我们很少有人去指责菜刀，发生问题的时候都是去找使用菜刀的人。
但是，当汽车从单纯的驾驶工具，向具有一定自主能力的行为主体转变时，事情就复杂了起来，人们模糊地觉得汽车本身似乎也应该承担一些责任，但又说不清楚为何。
耶鲁大学的AI伦理专家Wendell Wallach理论化了这种直觉反应，他将机器人伦理分为三个等级，从低级到高级分别是：操作式道德（operational morality）；功能式道德（functional morality）和完全道德主体（full moral agency）。
很明显，菜刀承担的仅仅是最初级的“操作式道德”，而自动驾驶汽车已经向更高的伦理等级演进，成为了人工道德主体（Aritificial Moral Agent, AMA）。
伦理等级提升的同时，自然也伴随着道德责任的范式转移。但是，自动驾驶的道德责任复杂性也由此产生，因为很难决定事故的责任如何在不同主体之间分配。AI伦理里把这个问题叫做“责任的分配”（Distribution of Responsibility）。
众所周知，国际汽车工程师学会（SAE）将自动驾驶按照智能化水平分为L0到L5的等级，当前绝大多数电动汽车所采用的只是L2或者特定场景下的L3级别辅助驾驶，离真正的L5（完全自动化）差距很远。这也是为什么，大家会关注到小米事故车辆只是纯视觉的普通版SU7，同时强调只是辅助驾驶，而不是自动驾驶。
放入Wallach教授的机器人伦理框架里，虽然当前的自动驾驶水平已经脱离了菜刀式的的“操作式道德”，但还远达不到像人类一样为自己行为负责的“完全道德主体”，充其量只能算作还在不断进步的“功能式道德”。
那么出现问题时，大家就很难把责任在厂商、驾驶员和车辆之间进行分配，究竟谁该承担更多的道德责任？再复杂一点，每一台自动化机器都涉及设计、算法、编程、开发、部署、生产等环节；每一个人工智能算法，要与传感器交互、要应用各种数据、要与各种软硬件交互，所有这些所涉的项目都有历史，都有编程人员或生产人员牵扯其中。
这是一个很大的话题，很难在这篇文章里进一步展开讨论。我想借此表达的观点不过是：自动驾驶的“分配问题”给道德责任的界定带来了很大的复杂性，这是小米事故被互联网舆论反复讨论和分歧不断的原因之一。
3. 不确定性和“科林格里困境”
关于“正在进步的辅助驾驶”，这里还隐含了一个如何理性看待“科技发展”的子话题。
我们先来看一个Google人工智能专家Peter Norvig举过的例子：
“设想在美国高速公路上有一半的汽车是由机器人驾驶的，一年的死亡人数从42,000人降低到31,000人，那出售这些汽车的公司会得到奖励吗？抑或他们会面临成千上万起死亡诉讼。”
最初的科技是寻求确定性的产物，无论是牛顿经典物理学，还是爱因斯坦的相对论，都是人类对于世界的“确定性”探索。但是，人类逐渐意识到科技的确定性是相对的，上帝也会掷骰子。
在“确定性定律”所支配的世界与由“掷骰子的上帝”所支配的世界之间寻求一条中间道路，是绝大多数现代科技的真面貌。
同济大学哲学系教授杜严勇提出，科学的不确定性存在于三个维度：（1）技术自身的不确定性；（2）技术应用的不确定性；（3）技术导致的社会后果不确定性。
所以，理性看待科技发展最重要的一点是理解科技的“不确定性”；或者更加大胆地说，“科技伦理学”本质上就是“不确定性的伦理”。无论承认与否，科技的进步往往伴随着一些所有人都不希望发生的代价。
人类科技发展的历史上，除了2018年Uber车祸以外，还出现过很多由于科技造成的安全问题。从1952年伦敦光化学污染事件，到1979年福特工厂首例机械臂击中工人身亡，到2005年费城医院的手术机器人故障伤人，到2015年德国大众工人被机器人碾压致死，再到最近的美国少年被AI教唆杀人，这些都是人类在发展和驯服科技过程中的副作用。
学者Edward Tenner把这称为技术的报复（Revenge of Technology）：“报复效应的发生，是由于新的设备、装置和结构以人们未能预见的方式，跟实际情况下的人们相作用的结果。”
伦敦国王学院（KCL）的David Collingridge教授在1980年就提出过著名的“科林格里困境”（Collingridge’s Dilemma）：“我们不能在一种技术的生命早期阶段就预言到它的社会后果。然而，当我们发现其不好的后果之时，技术通常已经成为整个经济与社会结构的一部分，以至于对它的控制变得极端困难。”
这就是理性看待科技发展的困境：当容易进行改变时，对其的需要无法得以预见；当改变的需要变得清楚明了之时，改变已经变得昂贵、困难以及颇费时日了。如果说数字时代的加速发展已经给我们上了一课，那就是责任滞后于技术；尤其是在大模型（LLM）快速迭代的今天，即便最领先的模型也只能在6-9个月里维持自己的竞争优势。
然而，人们总是会从这些事件中吸取教训，并进一步让科技更好的服务人类；我们看到伦敦环境法案、美国安全生产法案和AI伦理法案因为前述事件而陆续推动。因此，相对宽容和理性地看待“科技发展”，对我们厘定事故中的道德责任有很大的帮助。
4. 我们终将拥有完美的机器人吗？
有些读者朋友会问，是不是等到技术成熟或者法律完善之后，我们就会拥有完美的自动驾驶汽车或者机器人，也不再需要讨论这些伦理问题了？
其实不然，虽然技术发展和法律完善能解决绝大部分的问题，但并非所有问题都有非黑即白的答案，甚至有一些问题是无解的。
我将从道德完美的不可能性、道德困境和黑盒子问题三个核心角度展开。
（1）道德完美的不可能性
我们把为机器人设计和确定伦理选择叫做伦理设定（Ethical Setting），业界主流有两种实现模式：自上而下的路径（top down approaches）和自下而上的路径（bottom up approaches）。
“自上而下”是指选择一套可以转化为算法的道德准则作为机器行为的指导原则；而“自下而上”类似于人类的道德发展模式，通过试错法培养道德判断能力。
骄傲的人类，初始自然不愿意承担试错产生的代价，而认为自己可以以上帝视角设计一套完美的道德准则。
但是，实践发现机器人几乎不可能成为人类心中的道德楷模。有四个方面的原因：
第一，机器人的道德能力是由人类设计建构的，在建构的过程中不可避免地会有设计者的一些主观偏好融入其中，从而使机器人表现出设计者的某种“偏见”；
第二，由于人类社会环境的复杂性，设计者不可能预见所有情况，机器人只能在有限的知识与信息的基础上进行道德判断与抉择。
第三，“对与错”的概念只能放在特定的文化或社会语境中去理解，在某个时代被视为理所应当的事情，到了另一个时代会被认为是骇人听闻。
例如在现代医学出来前，护理工作被认为在道德上等同于卖淫；而在莎士比亚时代的剧院中，人们对女演员也有同样的看法，所以很多女性角色由男孩子扮演。标准，无论是指行为的哪个方面，在不同的文化中都在正极到负极之间浮动，这在社会学里叫作“文化相对主义”（cultural relativism）。
第四，绝大多数的伦理理论都是源于以人为中心（Human Centric）之视角的。这个世界的宗教、哲学传统中所表达的价值和关心并不易于应用在机器上。人工智能在规则比较明确的领域取得了巨大的成功，Alpha Go的强大能力就是证明。但是计算机在现实生活环境的灵巧性、适应性，跟人类相比还有很大的差距。
因而，在“自上而下”和“自下而上”的路径都存在显著问题的背景下，科学家们已经几乎放弃将机器人出厂即培养成道德完美的主体，而转向两种路径的混合前进路线。
（2）道德困境的案例
截止目前，我们讨论的假设都是机器人或自动驾驶车辆如何避免事故发生，或者完全不伤害人类。但是，在某些情况下，自动驾驶必须造成一定伤害时，又该如何选择呢？
在自动驾驶的伦理讨论里，我们叫它“不可避免的碰撞”（Unavoidable Accident）。其中，有两个很出名的思维实验：头盔问题（Helmet Problem）和隧道问题（Tunnel Problem）：
“头盔问题”：一辆自动驾驶汽车在路上发生了故障，必须撞向左右任意一方。汽车左右两侧各有一位骑自行车的路人，左侧的佩戴了头盔，而右侧的没有佩戴。自动驾驶汽车应该如何选择？
“隧道问题”：一辆自动驾驶汽车即将驶入单行隧道，前方突然出现一个儿童，刹车已无法避免事故。只有两种选择：直行撞死儿童，或者转向撞墙牺牲驾驶员。自动驾驶汽车应该如何选择？
这两个问题的结构大家应该并不陌生，都是英国哲学家Philippa Foot提出的“电车难题”（Trolley Problem）的衍生。这类问题的特点是将行为主体放入道德困境之中，每种选择都有合理性和值得怀疑的地方，结果陷入两难。
在“头盔问题”里，如果我们希望最小化伤亡，那应该去撞佩戴头盔的人；但很多人会质疑，重视安全、主动戴头盔的人又做错了什么呢？在“隧道问题”里，每个人的价值取向分歧就更大，究竟是牺牲自己还是牺牲他人？
电车难题自1967年提出已经接近60年，至今没有一个让所有人都满意的答案，不同的道德出发点会得出不同的结论（例如边沁的功利主义、康德的义务论等），同时还衍生出来无数的支线讨论。
而人工智能和自动驾驶把传统的“电车难题”变得更加复杂，主要原因在于决策主体从人类变成了机器。人类在尚未在自己的群体里达成一致，就面临着要去教机器做道德决策的任务。
从某种程度上来说，自动驾驶的道德困境是无解的。以“隧道问题”为例，把驾驶员的生死交给自动驾驶来决定从根本上就是不可行的；这点可以类比医疗道德（Medical Ethics）准则里，只有病人自身（或直接亲属）才可以做病人的生死决定。
学术界想出了很多迂回的解决办法，但截至目前均不理想。例如，让驾驶员在开车之前就在系统里设定好自己的选择，但结果是每次上车前驾驶员都要去思考今天是你死还是我死的问题，多晦气呀。而且，即便这种方式理论上可行，那如果在碰撞的最后一刻，你反悔了最初的选择，应该怎么办？或如果车上有多名乘客，而他们的选择并不一致又怎么办……
（3）人工智能的黑盒子问题
ChatGPT为代表的大语言模型（LLM）的出现，给我们讨论的所有问题增加了一个新的困难维度，那就是“黑盒子问题”（Black Box Problem）。
“黑盒子问题”指的是人工智能的内部决策过程难以被人类理解和解释的现象。简单来说，有两个维度：
第一是“可解释性”（Explainability）：像ChatGPT和DeepSeek的模型参数高达万亿级别，多层神经网络通过非线性变换处理海量数据，形成复杂的计算链路，难以逆向追踪推理路径。
第二是“透明性”（Transparency）：并非所有人工智能模型都是开源的，其底层代码和算法都是私人的，并受到知识产权的保护，著名的ChatGPT便是如此。
“黑盒子问题”带来的后果是显而易见的。由于传统的因果逻辑链不能够被清晰地识别出来，除了前述讨论过的责任分配问题外，还会带来显著的信任问题。
当我们把一些十分重要的决策委任给AI或者机器人时，几乎都投射了足够的信任。然而，学术界在几乎所有领域里（政治、经济、法律等），都已经证明了“可解释性”和“透明性”是构成信任的基础要素。
所以，“黑盒子问题”似乎成为了人类信任AI的天堑。（当然，黑盒子问题的学术分歧很多，业界也有很多解决方案，这里不做展开。）
“黑盒子问题”还隐含了一层问题：即语言的模糊性与计算机程序的准确性之间的矛盾。计算机程序对准确性要求很高，要使机器人伦理真正得以实现，这些基本的术语究竟意味着什么，必须给予清楚界定。
英国计算机科学家Stuart Russell提出过一个有趣的思维实验：
如果我们给人工智能提出使人类痛苦最小化的目标，考虑到人类的生活方式，我们即使在天堂里也会发现受苦受难的方式，所以对人工智能来说最理想的措施就是尽快灭绝人类，因为没有人类就无所谓痛苦。
因此，当含混的人类语言再叠加“黑盒子问题”，会使得原来已经剪不清、理还乱的推理链条变得更加复杂。
5. 给小米的两点小建议
小米集团致力于构建“人车家全生态”的消费电子产品矩阵，并通过AI技术赋能所有核心品类。例如智能手机上有小爱同学、家居产品有智能管家、电动汽车有自动（辅助）驾驶。可以说，人工智能无论对于小米公司的中长期发展，还是资本市场估值，都起到了至关重要的因素。
因此，文章最后给小米集团提两点小建议：
（1）将AI伦理系统性地在产品设计和生产里考虑。
虽然现在小米尚不是AI领域的绝对领导者，但这是小米未来的星辰大海。随着小米的力量越强大，责任就越重大；很多时候，技术上的可能，并不能成为道德上的应当。本篇文章里提及的AI伦理问题不过是科普性的冰山一角，还有大量的其他维度的问题，需要系统化地去考虑和解决。光是作为IoT业务未来的智能管家，是否应该坚持为陌生人开门的问题，就值得展开多维度的探讨。
（2）重视AI伦理问题带来的舆论和声誉风险。
小米集团在《2024年度报告》里已经将“舆情与危机应对风险”列为公司面临的最大风险之一。3月29日的SU7事故可能只是刚刚开始；随着人工智能技术在小米产品上的布局越来越深，未来还会有更多且更复杂的AI伦理分歧和讨论；很多问题可能在短期内不会有正确或者一致的答案。对于这些分歧和讨论，小米能否提前识别、准确认知并且抽丝剥茧地找到回应的关键，都会影响到公司的舆论和声誉。
6. 写在结尾的话
人工智能的发展方向，就是“去人类未踏之境，让人类无法企及”。因此，在人类的自主性及其对技术的依赖之间，永远存在着恐惧和迷恋的张力。
我们会遗憾地看到类似的情形：在科幻电影《太空漫游》（A Space Odyssey）中，机器人哈尔HAL面对人类打开舱门的命令时，回答说：“很抱歉，恐怕我做不到”。
但无论如何，我们还是应当乐观相信，人工智能技术的发展和对自动系统的依赖，并不会削弱我们基本的人性。人类总是会适应他们的技术产品，与人工智能交往的得到的好处，一定会超过我们为此付出的代价。
如同赫尔曼·黑塞（Hermann Hesse）在《克林索尔的最后夏天》里写道：
“我还会走许多弯路，还会为许多‘已实现’感到失望。但一切终将实现它们的意义。那儿，矛盾对立寂灭之处，即是涅槃。挚爱的渴望之星，依然向我灼灼燃烧。”
粮厂研究员Will
2025年5月4日 于 香港
核心参考资料（供大家延伸阅读，非学术标准引用）：
1. 杜严勇，《人工智能伦理引论》，2020
2. 赵万一，侯东德，《法律的人工智能时代》，2020
3. David C. Vladeck, 《负责人缺失的机器：责任规则与人工智能》（Machines Without Principals: Liability Rules and Artificial Intelligence），2014
4. David Collingridge，《技术的社会控制》（The Social Control of Technology）， 1980
5. Edward Tenner，《事与愿违：技术与非意图结果的报复》（Why Things Bite Back: Technology and the Revenge of Unintended Consequences）， 1997
6. Jason Millar, 《自动驾驶车辆的道德设定》（Ethical Seetings for Autonomous Vehicles），2017
7. Mark Coeckelbergh, 《人工智能伦理》（Ethics of Artificial Intelligence)，2020
8. Patrick Lin, etc, 《机器人伦理：机器的伦理和社会影响》（Robot Ethics: The Ethical and Social Implications of Robotics），2012
9. Patrick Lin, etc, 《机器人伦理2：从自动驾驶车辆到人工智能》（Robot Ethics 2.0 From Autonomous Cars to Artificial Intelligence），2017
10. Robert Gianni, 《责任与自由》（Responsibility and Freedom），2023
11. Wendell Wallach, Colin Allen, 《道德机器：如何让机器明辨是非》(Moral Machine: Teaching Robots Right from Wrong)，2017
精彩评论