浅谈AI丨算力的前世今生

2022 年底 ChatGPT 一夜爆红之后,全世界才突然意识到:原来支撑"大模型"这件事的,是几千张甚至上万张 GPU 在 24 小时不间断地运转。GPT-3含 1700 亿参数,单次训练一天需要的算力就高达 3640 PFLOPS。算力是 AI 的"石油",但它并不是凭空出现的。它从手指、齿轮、继电器一路长成今天的数据中心,走了几千年。

本文就顺着这条线,把"算力"这件事拆成三块:它从哪里来(历史演进)、它在硬件里到底长什么样(计算机架构)、以及今天它以什么形态分布在世界各处(云边端)。

$国证算力(399363)$

算力的历史演进

手动计算时代:从手指到算盘

人类最早的“算力”工具,就是自己。

十进制不是天经地义的——它起源于我们有十根手指。手指能用,但存不了数、也做不了稍微复杂一点的乘法。春秋时期中国人发明了算筹(小棍子),用纵、横两种摆放代表 1~5,用一根放在上面的额外筹代表 6~9,组合起来就能表示任意大的自然数。算筹之外,1617 年英国数学家约翰·纳皮尔发明了"纳皮尔乘除器"——本质是一张实体九九乘法表。

但真正把"手动计算"推进到工业级的,是算盘。算盘是元代以后大规模使用的工具,至今仍在。钱学森说过一句话:"算盘的发明,并不比中国古代的四大发明逊色。"——它把"计算"这件事标准化、流程化了,普通人经过训练就能算得又快又准。算盘后来从中国传到日本、朝鲜,再到西方,是人类历史上第一种被大规模工业化使用的计算工具。

这一阶段的共同特征是:人在驱动机器。不管是手指、小棍、还是算珠,所有的"算"都在人脑的指挥下进行。

机械计算时代:齿轮替代手指

手动计算的天花板,是“加法都嫌慢”。17世纪开始,欧洲的工程师们开始用齿轮来“代替”手指。

1642 年,19 岁的布莱瑟·帕斯卡为了帮做税务的父亲减负,发明了帕斯卡加法器——一个长方体盒子里装着 5 个定位齿轮,分别代表个、十、百、千、万位。顺时针转是加法,逆时针是减法;进位用一个"小爪子"式的棘轮装置实现:当前位转到 9 时棘爪抬起,转到 0 时跌落,推动前一位进一格。这是人类历史上第一台机械式计算工具,原理是"用机械装置模拟人脑的思维过程"。

1673 年,戈特弗里德·莱布尼茨在帕斯卡加法器基础上改进,发明了莱布尼茨乘法器——它能做四则运算,并且莱布尼茨还率先提出了二进制的运算法则。这个二进制思想当时只是个理论玩具,250 年后却成了所有数字计算机的基石。

接下来一步更重要。1804 年法国人约瑟夫·雅各发明了可编程织布机——用穿孔卡片编码,自动控制编织图案。这件事的革命性不在"纺织",而在穿孔卡片这个"输入方式"第一次出现:从此"程序"有了物理载体。

受此启发,1822 年英国数学家查尔斯·巴贝奇开始造差分机——内部有齿轮式存贮库,每个齿轮存 10 个数,整个阵列能存 1000 个50 位数。这已经接近"内存"的雏形。在差分机基础上,巴贝奇又设计了分析机,由存储装置、运算装置、控制装置三部分组成——这和我们今天用的计算机结构几乎一一对应。巴贝奇被尊为"计算机之父",不是因为他的机器真的造出来了,而是因为他画出了现代计算机的蓝图。

机械时代的关键进步是:机器开始替代人脑的部分功能。齿轮不会累、不会忘,每一步操作都严格可重复。但这些机器本质上还是"手摇"或"电动马达驱动",每次计算前要花大量时间重新配置机械装置——程序和计算是分离的。

电子计算时代:从继电器到超大规模集成电路

机械计算的天花板,是“齿轮再快也快不过电流”。

1831 年法拉第发现电磁感应;1847 年乔治·布尔出版《逻辑的数学分析》,提出"与、或、非"三种基本逻辑运算。这两件事分别给了工程师两件工具:继电器(电路开关)和布尔代数(电路该怎么连)。1886 年美国统计学家赫尔曼·霍勒瑞斯借鉴雅各织布机的穿孔卡原理,制造了制表机,实现了自动四则运算、累计存档和制表——霍勒瑞斯创办的公司后来演化成 IBM。

1938 年,克劳德·香农发表论文《继电器和开关电路的符号化分析》,把布尔的"真/假"和电路的"开/关"严格对应起来——这篇硕士论文被哈佛大学霍华德·加德纳教授誉为"20 世纪最重要、最著名的一篇硕士论文"。同年德国工程师康拉德·朱斯造出 Z-1(机械+电动),后续 Z-3 是世界上第一台通用程序控制计算机,全部用继电器实现,第一次把"二进制"和"浮点数"具体落实。

但继电器还是太慢。1939 年约翰·阿塔纳索夫造出ABC 机——历史上第一台电子计算机,只是不可编程、不可存储程序,用途有限。真正改变世界的,是 1946 年的 ENIAC:长 30 米、重 30 吨、占地 170 平方米、造价48 万美元;每秒钟 5000 次加法或 400 次乘法——是机电计算机的 1000 倍、手工计算的 20 万倍。据说每次开机费城西区的电灯都会变暗。

ENIAC 快是快,但它有一个致命缺陷:程序和计算分离。每次换一道题,得用手工插线方式重新接线,准备时间比计算时间还长——所谓"计算 5 分钟,输入 2 小时"。

转折点在 1945 年。约翰·冯·诺依曼和他的团队发表了著名的"101页报告"(EDVAC 方案),提出三条至今仍然成立的铁律:一、采用二进制;二、存储程序(程序和数据放在同一个存储器里);三、计算机由运算器、控制器、存储器、输入设备、输出设备五部分组成。这就是"冯·诺依曼架构"。

从那以后,电子计算机的发展按硬件分了四代:

图片

这条线索给我们的启示是:每一种新材料的突破(继电器→电子管→晶体管→集成电路),都会带来算力一次量级跃迁。而架构层面的关键飞跃只有两次——布尔代数把电路变成逻辑、冯·诺依曼把程序和数据放进同一内存。之后 80 年所有计算机的骨架,就是这两件事搭出来的。

从计算机架构认识算力

讲完了算力从哪里来,现在把它拆开来看一看:今天我们说的“算力”,在硬件里到底长什么样?

冯·诺依曼架构:经典骨架

冯·诺依曼架构的核心是一个极其朴素的图:

图片

左侧:CPU(中央处理器),里面分成运算器(ALU)——做加减乘除、与或非;和控制器(CU)——译码并发出控制信号。

右侧:存储器(主存),里面装着"程序 + 数据",统一编址、不加区分。

下面:系统总线——地址总线、数据总线、控制总线,CPU 和存储器都通过它通信。

再下面:输入设备(键盘、鼠标、磁盘)和输出设备(显示器、打印机),同样挂在总线上。

只要"输入→计算→输出"这三件事能跑起来,就是一台计算机。

这个架构有一个著名的缺点,叫冯·诺依曼瓶颈:CPU 和存储器共用一组总线,指令和数据必须串行地从存储器取到 CPU,存储器速度跟不上 CPU 速度,整个系统就被这条总线卡死。几十年来计算机性能的所有进步,本质上都是在绕开这条瓶颈:加缓存、多级存储、预取、分支预测,目的都是让 CPU 少等内存。

"存储器"——程序和数据放在同一个地方,CPU 可以像数据一样读取、修改程序。这才让"运行一段程序"这件事变成通用操作,而不是每道题都得重新接线。

CPU:通用大脑的内部结构

CPU 是“通用算力”的核心。要理解它,先理解两个底层概念。

l 指令集架构(ISA)——CPU 和软件之间的"合同"。它规定 CPU 能识别哪些指令、每条指令什么意思、寄存器长什么样、内存怎么寻址。x86、ARM、RISC-V 都是 ISA,而不是具体的芯片。ISA 是"语言",具体怎么实现这门语言是"微架构"——比如英特尔和 AMD 都做 x86,但内部设计可以完全不同。

l 指令——CPU 真正能执行的东西。每条指令由"操作码(要做什么)+ 操作数(对谁做)"组成,比如"把寄存器 X 里的 A 和内存地址 Y 里的 B 相加,结果放回 X"。

CPU 的执行流程最早是串行的——取一条、译码、执行、取下一条。MIPS 架构把它标准化成 5 级流水线(IF/ID/EX/MEM/WB),让多条指令的不同阶段同时跑,像工厂流水线一样把"吞吐量"翻了几倍。现代 CPU 早就把流水线切到 15~25 级(超流水线),并且配上乱序执行、分支预测、超标量、寄存器重命名、超线程等机制——这些都是为了让 CPU"每个时钟周期多做点事"。

现代 CPU 的设计哲学有两条主线:CISC vs RISC——复杂指令集(x86)追求"一条指令干很多事",每条指令长度不等、执行时间不等;精简指令集(ARM、RISC-V、MIPS)追求"指令短小、定长、单周期",把复杂工作交给编译器。1980 年代 RISC 概念由帕特森等人在伯克利提出,斯坦福的约翰·亨尼斯基于此创立了 MIPS 公司。现代主流 x86 CPU 内部其实是"把 CISC 指令拆成RISC 微指令执行"——两条路线早就合流了。

多核与缓存——主频遇到物理极限后,CPU 的进步转向"堆核心"。但核心一多,缓存一致性和内存带宽就成了新瓶颈,于是出现"多级缓存(L1/L2/L3)+ 总线协议(MESI)+ 内存控制器"这一整套基础设施。

值得专门提的是 RISC-V:诞生于 2010 年加州大学伯克利分校,开源、模块化(基础指令集仅 40 多条,可选扩展),2020 年基金会迁至瑞士。RISC-V 是 ARM 之外"第二条非 x86 路线",因为开源特性,特别受中国芯片产业青睐——2018 年 4 月阿里巴巴收购中天微并整合达摩院成立平头哥半导体,2019 年 7 月推出玄铁 910 处理器(16 核、2.5 GHz,可对标 ARM Cortex-A72);2018 年 9 月华米科技发布"黄山一号"——第一款基于 RISC-V 指令集的智能穿戴芯片,内置 AI 神经网络模块;阿里平头哥、华米、中科院计算所等都是 RISC-V 国际协会最高级别成员。

GPU:把"通用"让给"并行"

CPU 适合逻辑复杂、串行依赖强的任务;遇到"对一万个数同时做加法"这种活,它就吃力了。GPU 的设计哲学完全反过来:放弃复杂的逻辑控制,把芯片上尽可能多的晶体管都拿来做计算单元。

GPU 的历史可以一句话讲完:1995 年前后 3dfx 推出 Voodoo、消费级 3D 加速卡诞生;1999 年英伟达推出 GeForce,把"GPU"这个概念立了起来;后来英伟达推出 CUDA,让 GPU 不只能做图形渲染,还能做通用计算(GPGPU),从此 GPU 在 AI、HPC、科学计算领域全面开花。

GPU 内部和 CPU 的关键差别:

CPU:少量强大核心(典型 8~64 核),每核有复杂的乱序执行、分支预测、大缓存。

GPU:成千上万个简单核心(一张 H100 GPU 有 1.4 万多个 CUDA 核心),每个核心都很"笨",但它们可以同步执行同一条指令(SIMT,Single Instruction Multiple Threads),适合数据并行的场景。

张量核心(Tensor Core)是 GPU 在 AI 时代的胜负手——它专门做矩阵乘加(matrix-multiply-accumulate)这一种运算。从 Volta 架构开始引入,Ampere 引入稀疏性加速,Hopper 进一步强化。AI 训练本质就是大矩阵乘法,所以张量核心直接决定了训练速度。一张 H100 SXM5 在 Tensor Core 加速下,TF32 算力达到 989.4 TFLOPS,基本达到 1 PFLOPS;FP8/INT8 算力 3957.8 TFLOPS(使用结构化稀疏性特性后),接近 4 PFLOPS——这个数字比 2008 年世界第一超算 Roadrunner 整机的 1 PFLOPS 还高 4 倍。换句话说,现在一颗 GPU 已经顶得上 2008 年的一台超级计算机。

NPU/TPU:为 AI 而生的专用芯片

GPU 是个通用并行处理器——它对矩阵乘加这种活效率高,但不是为它量身定制的。下一步就是 NPU(神经网络处理器)/ TPU(张量处理器),专门为神经网络运算设计的 ASIC。

谷歌 TPU 从 2016 年 Google I/O 大会上首次公开算起,核心结构是脉动阵列(Systolic Array)——数据像脉搏一样在计算单元之间"流动",每过一个单元就完成一次乘加,避免数据反复搬运。第一代 TPU v1 的 MXU 脉动阵列256×256=65 536 个 ALU,以 700 MHz 运行,每秒约 92 万亿次乘加。TPU v4 单芯片 BF16 算力达到275 TFLOPS(两个张量核心共享,每个核心 22.5 TFLOPS),单芯片内存带宽 1200 GB/s;通过自研光学开关把 4096 个 TPU 核心(即 2048 颗芯片)组成 Pod,集群总算力可达 1 EFLOPS——是 2021 年富岳超算的两倍。

****(Ascend)系列是国内目前算力最强的 NPU。** 910 基于自研达芬奇架构 3D Cube 技术,每颗芯片集成 32 个达芬奇核心;AI Core 内部包含立方体(Cube)单元、向量(Vector)单元、标量(Scalar)单元三部分,分别处理矩阵、向量、标量运算——Cube 单元可在单周期完成两个 16×16 矩阵相乘,相当于 4096次乘加。** 910 FP16 算力 320 TFLOPS,INT8 算力640 TOPS,功耗 310 W,采用 7nm 制程;片外 HBM 带宽 1.2 TB/s,片内HCCS 自研高速互连支持芯片间缓存一致性。配套的 CANN 异构计算架构和 MindSpore 框架,是这套硬件真正能用的关键。

** 310(12nm工艺、低功耗版)FP16 算力 16 TFLOPS,主要面向边缘推理场景,与** 910(数据中心训练)形成高低搭配。整套** IP(Lite/Tiny/Nano)覆盖从数据中心到物联网终端的全栈。

NPU 的代价是不够通用——它跑不了办公软件、也跑不了游戏。但 AI 模型越来越大、推理场景越来越多(手机、智能音箱、汽车、摄像头……),专用芯片的能效比优势压倒了灵活性。

互联与存储:把单芯片变成"一台机器"

一颗芯片再强也跑不动今天的 AI 大模型。真正决定系统上限的,是芯片之间怎么连、芯片到内存的带宽有多宽。

HBM(High Bandwidth Memory)——把多个DRAM 堆叠在一起,通过硅穿孔(TSV)和 GPU/加速器封装在同一块基板上。和传统 DDR 内存比,HBM 走的是"宽而近"的路子:**** 910 片外 HBM 带宽 1.2 TB/s,特斯拉Dojo 训练瓦片用 DIP 卡每张提供 32 GB HBM、单卡带宽 900 GB/s,NVIDIA H100 显存带宽 3 TB/s(H200 进一步可达 8 TB/s)——这种带宽量级是传统 DDR5 主存(Zen4 EPYC 12 通道约 460 GB/s)所不能及的。没有HBM,就没有今天的千亿参数大模型训练。

PCIe / CXL——CPU 和 GPU、加速器之间的标准总线。PCIe 5.0 单通道 32 GT/s;CXL 在 PCIe 物理层之上加了缓存一致性协议,让 CPU 和加速器可以共享内存池。2023 年的第四代英特尔至强已经支持 80 条 PCIe 5.0 通道和CXL 1.1。

NVLink / InfiniBand——NVIDIA 自家的 GPU-GPU 高速互联。Hopper 架构第四代 NVLink 总带宽 900 GB/s,配合 NVSwitch 可以连接 256 颗 GPU。再大范围就得靠InfiniBand/RDMA 网络。TOP500 冠军机器在互联上的投入往往超过单核微架构——"互连"是比"算力"更隐蔽的瓶颈。

异构计算:现代算力的总形态

CPU、GPU、NPU、互联、存储——这些零件单独看都不新鲜;放进同一台机器、按业务特性组合起来,才形成现代数据中心的样子。

图片

这就是异构计算——不再追求"一颗 CPU 干所有事",而是把任务按特性分给最合适的硬件,再由上层软件栈(CUDA、ROCm、SYCL、NCCL、MPI)统一调度。这是过去十年算力增长的主线,也是大模型能够跑起来的前提。

中国在这一格局里并不缺席。申威 SW26010 是神威·太湖之光的内置处理器,64 位 RISC 自研架构,单芯片包含4 个核心组(CG),每个 CG 配 1 个管理处理器(MPE,64 位 RISC)+ 64 个计算处理器(CPE,64 位 RISC,向量指令 256 位),合计 4×(1+64)=260 个处理器核心(其中 256 CPE 是计算主力);时钟频率 1.45 GHz,单芯片双精度浮点峰值 2.969 TFLOPS,让太湖之光在 2016 年 6 月登顶 TOP500,并在之后多次蝉联。**鲲鹏 920 是基于 ARM 架构自研的数据中心 CPU,7nm 工艺,对标英特尔和AMD 服务器芯片,配套自研编译器,构建鲲鹏生态。海光则在 AMD 早期 Naples 架构授权基础上自研 x86 兼容 CPU,加了国密算法指令集 SM2/SM3/SM4,覆盖国内部分市场。这三家加上飞腾、平头哥、寒武纪等,构成了中国算力芯片的"国产矩阵"。

下表是几款典型算力芯片的对比——把上面零散的数据汇在一起看,差异更直观了:

图片

现代算力格局

讲完了硬件内部,现在把镜头拉远——今天算力以什么形态、分布在世界的哪些地方?

算力的多样化:从 x86 一统天下到多架构共存

过去三十年,"算力"几乎等于 x86——2020 年全球服务器市场x86 营收占比超过 92%。但 2020 年以后,这个格局正在松动。

松动的第一个力量是 AI。深度学习训练要求"算得快、并行度高"——x86 CPU 这种"通用控制优先、串行优化"的设计路线恰好相反。GPU、ASIC、TPU 这些专用芯片在 AI 场景里的能效比远超 CPU。摩尔定律放缓之后,CPU 单核性能提升几乎停滞,行业只能靠堆核心、加专用硬件来继续提升算力。

松动的第二个力量是 移动和物联网。智能手机、可穿戴、智能家居、IoT 终端对功耗极度敏感——x86 那种"复杂指令、高频率、大功耗"的设计根本走不通。ARM 凭借"低功耗 + 授权模式",在移动端拿下 95% 以上的份额。RISC-V 以开源、模块化、零授权费的特点,从 IoT 和嵌入式切入,逐步向高性能计算扩展。

松动的第三个力量是地缘政治。当算力变成国家战略生产力,"单一架构依赖"就成了供应链风险。各国都在推多样性算力体系——中国推鲲鹏、**、海光、飞腾、**,欧洲推 RISC-V 生态,美国自己也在 RISC-V 上加注。架构多样化,已经从"技术路线"升级成了"供应链安全"问题。

TOP500 排行榜是观察这一变化最好的窗口:

图片

值得专门说的是神威·太湖之光:它是 2016 年 6 月至 2018 年 11 月期间TOP500 冠军,2023 年 6 月榜单里仍位列第 7(Rmax 93.01 PFLOPS),且是当时 TOP10 中唯一一款使用国产处理器的超算——在异构路线(CPU+GPU)席卷 TOP10 的背景下,这份"纯 CPU 跑 Exascale 候选"的成绩相当罕见。

但 TOP500 测的是FP64 双精度浮点,反映的是"科学计算"算力。AI算力有自己的标准——MLPerf,由图灵奖得主大卫·帕特森联合谷歌、斯坦福、哈佛等机构发起,针对 ResNet、BERT、Mask R-CNN、GPT-3 等 8 个真实 AI 训练任务做基准测试。TOP500 比的是"谁算得最猛",MLPerf比的是"谁训 AI 更快"——两个榜单共同构成了今天评价算力的两条主线。

云、边、端:算力在空间上的分布

算力不再只存在于某个"数据中心"里——它已经分布在整个网络的各个位置。讨论"今天算力在哪里",答案通常是三个字:云、边、端。

云(云计算)——传统大型数据中心。亚马逊 2007 年提出云计算概念,本质是把分散的服务器资源通过虚拟化、分布式数据库、统一调度管理软件"池化",按需提供给用户。它的优势是规模效应:算力大、弹性伸缩、成本低;缺点是远离用户——数据从端到云来回传,延迟高、隐私风险大。

边(边缘计算)——把计算能力推到靠近用户和数据源的网络边缘。ETSI 2014 年发布 MEC(Mobile-Edge Computing)白皮书,2015 年将其定义为"在RAN 内的移动终端近端提供 IT 服务环境和云计算能力",2017 年扩展为多接入(Multi-access)边缘计算,接入方式从蜂窝扩展到 Wi-Fi、有线等多种。边缘计算没有统一的国际定义,但业界共识是:在更接近用户或数据源的网络边缘侧,融合网络、计算、存储、应用能力的新的网络架构和开放平台。

边缘计算兴起的核心动力是 5G + AI 时代的"新型业务":自动驾驶要求毫秒级时延、智能工厂要求本地实时控制、智慧家庭要求隐私不出户——这些场景传一个来回再到云上,根本来不及。边缘计算的本质是把一部分原本属于云的算力"下沉"到网络边缘。

端(端计算)——手机、PC、IoT 终端设备本身具备的计算能力。终端设备可以做实时数据处理、本地优化控制、故障识别;和网络连接时把高价值数据上传到云或边,做全网分析;网络覆盖不到时先在本地处理。这种"端边云协同"是今天智能系统的标配。

三者的协同关系是端做实时、云做规模、边做协同。一个典型场景:自动驾驶汽车——端(车载 NPU)做 100 ms 内的实时决策;边(路侧 MEC)做 1 s 内的区域协同;云(数据中心)做模型训练和大规模仿真。三层算力缺一不可。

算力网络:从"水网电网"到"算网"

云边端三层算力要真正协同,需要一张能把它们统一调度起来的"网"——这就是算力网络。

算力网络的核心思想是:通过分发算力节点的算力、存储、算法等信息,结合网络状态(路径、时延等),为用户提供最佳的资源分配与连接方案,并实现整网资源最优化使用。它有四个基本特征:

1.资源抽象:把计算、存储、网络(尤其广域连接)、算法四类资源抽象成可调度的"产品"。

2.业务保证:以业务 SLA(时延 ms、算力 TFLOPS)划分服务等级,而不是以"机房在哪"划分。

3.统一管控:跨云、跨边、跨端,对算力与网络资源统一编排。

4.弹性调度:实时监测业务流量,动态调整算力位置与规模。

中国在这方面的代表性工程是 "东数西算"——把东部沿海的计算需求,调度到西部能源富集地区的数据中心处理,本质是把"算力"像"电"一样跨地域调度。这条路走下去,逻辑和水网、电网是同一条:基础设施的演进,总是把稀缺资源变成即取即用的东西。水网解决供水,电网解决供电,算网解决供算力。

到这里,文章想讲的事就讲完了。算力的故事,三个时间尺度:几千年从手指走到算盘,几百年从算盘走到电子管,几十年从电子管走到今天的数据中心。硬件层面,冯·诺依曼骨架没动过,但 CPU、GPU、NPU、TPU 各管一段,靠高速互联拼成一台机器。分布层面,云、边、端三层协同,算力网络统一调度。

回过头看 ChatGPT 的"贵",贵的不只是算法,是几千张 GPU 几周不停机的电费和折旧。谈"AI 浪潮"如果不谈算力,就像谈洪水不谈水源——本源不在这儿。

投资咨询业务资格:证监许可【2011】1290号

作者:南华研究院新能源分析师 赵搏 投资咨询证号:Z0021236

图片

免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。

举报

评论

  • 推荐
  • 最新
empty
暂无评论