CPU 微架构·让 CPU 变快的十二个发明

在 CPU 入门 里我们讲过：CPU 不停地重复“取指令、译码、执行”。它跟着一个节拍器走，这个节拍器叫时钟，每秒跳 50 亿下就是 5 GHz。一拍只有 0.2 纳秒，光在这段时间里只能走 6 厘米。

一个程序跑多快，可以拆成一个简单的乘法：

微架构（microarchitecture）就是“CPU 核心内部怎么设计”。同一套 x86 指令集，Intel 和 AMD 可以用完全不同的微架构去实现，就像同一份菜谱，不同饭店的厨房布局完全不同。1990 年代，频率从几十 MHz 涨到 1 GHz 以上，几乎是白送的；2005 年前后频率撞墙（原因见 晶体管），此后的提升主要来自提高 IPC 和增加核心数。下图是一个现代核心的“地图”，十二个发明各住在哪里。

为什么诞生。早期 CPU 一次只处理一条指令：取指、译码、执行、写回全部做完，才开始下一条。问题是每一步只用到 CPU 的一部分电路，其他部分都在发呆。1960 年代 IBM 的 Stretch（1961）和 CDC 6600 等大型机先用上了“重叠执行”；1980 年代的 RISC 芯片（如 MIPS）把经典的五级流水线做成了教科书。x86 上，1989 年的 i486 第一次有了完整的五级流水线，1993 年的 Pentium 把它发扬光大。

它解决了什么。五级流水线理想情况下把吞吐量提高到接近 5 倍。更妙的是，每一级要做的事变少了，所以每一拍可以更短，频率也能提高。这就是 1990 年代主频狂飙的秘诀之一。

它的缺陷。流水线最怕“断流”。后一条指令要用前一条的结果（数据依赖），或者遇到岔路不知道往哪走（分支），流水线就得停下来等，这叫气泡。流水线越长，断流的代价越大。Pentium 4 把流水线拉到 20 级、后来 31 级，想冲 10 GHz，结果功耗和猜错代价双双失控，详见 走进死胡同的路线。

现状。所有现代 CPU 都是流水线的。今天的高性能核心大约 14 到 20 级，是“频率”和“断流代价”之间的折中。后面讲的几个发明（分支预测、乱序执行），很大程度上就是为了让长流水线别断流。

为什么诞生。流水线做到极致，也只能每拍出一条指令（IPC = 1）。要再快，就得在同一拍里同时做好几条：多放几个加法器、几套译码器。这种设计叫超标量（superscalar，“超过标量”的意思，标量就是一次处理一个）。1964 年的 CDC 6600 已经有 10 个独立的功能单元；1990 年 IBM 的 RS/6000 让这个词流行起来。x86 上，1993 年的 Pentium 有 U、V 两条整数流水线，是第一颗超标量 x86。

它解决了什么。突破了 IPC = 1 的上限。今天的高端核心，如 AMD Zen 5 和 Intel Lion Cove，每拍能分派约 8 个操作，苹果 M 系列的大核更宽。

它的缺陷。越宽越难填满。原因有三：指令之间有依赖；x86 指令长短不一，一拍译出很多条非常难（见发明 12）；每多一条通道，检查“谁依赖谁”的电路就要成倍增加，面积和功耗上升。所以只靠“加宽”不够，还得配上下一个发明：乱序执行，帮它找到可以同时做的指令。

现状。所有桌面、服务器、手机大核都是超标量。这场“加宽竞赛”还在继续，但每加宽一次换来的提升越来越少。

为什么诞生。想象一个厨师按菜单顺序做菜：第一道菜要等送货员送来鱼，他就站着等 20 分钟，后面三道蔬菜也不做。这显然很傻。CPU 里最常见的“等鱼”是等内存：读一次内存要上百个时钟拍。1967 年 IBM 的 Robert Tomasulo 为 System/360 Model 91 设计了一套算法，让后面不相关的指令先做，这就是乱序执行（out-of-order execution）。x86 上，Intel 1995 年的 Pentium Pro（P6 架构）第一次把它带进来，AMD 随后在 K5、K6（来自收购的 NexGen）上也跟进。

它是怎么做到“乱中有序”的

1. 重命名给每条指令的结果分配一个临时“格子”，避免假冲突。
2. 进候场区指令在调度器里等材料（操作数）齐。
3. 谁齐谁先做调度器每拍挑出已经齐了的指令，发给执行单元。
4. 按序交卷结果先放进重排序缓冲（ROB），再按程序原顺序正式生效。

它解决了什么。把等内存、等除法这些“慢动作”的时间用来干别的活，是 IPC 提高最大的功臣之一。Pentium Pro 的 ROB 能放 40 条指令；今天的大核能同时“在飞”约 500 条（Zen 5 约 448 条，Intel Golden Cove 约 512 条）。

它的缺陷。非常耗电、耗面积。重命名表、调度器、ROB 这些“记账”电路，常常比真正做加法的电路还大。所以低功耗的小核（如早期 Atom）曾经故意不用乱序执行。另外，它和下面的推测执行结合后，埋下了 2018 年安全漏洞的伏笔。

现状。所有 PC 和服务器 CPU 的大核都是乱序的；Intel 从 2013 年的 Silvermont 起，连 Atom 小核也改成了乱序。

为什么诞生。“如果分数大于等于 60，就打印及格，否则打印不及格”，这种语句在机器里叫分支。问题是：分支条件要到“执行”那一步才算出来，可流水线的“取指”早在好几拍之前就得决定下一条从哪取。停下来等？一条 15 级的流水线每遇到一个分支就要白等十几拍，而分支又这么多。所以 CPU 必须先猜。

最早的办法是“静态猜”，比如“往回跳的总是猜跳”（循环大多如此）。1981 年 James Smith 提出用一个 2 位计数器记住每个分支最近的表现；1991 年 Yeh 与 Patt 提出“两级预测”，把最近一串分支的走向也考虑进去。x86 上，1993 年的 Pentium 带有分支目标缓冲（BTB），Pentium Pro 用上了两级预测。

它解决了什么。现代分支预测器的准确率在常见程序里通常超过 95%，有的测试里接近 99%。AMD 从 2017 年的 Zen 起公开使用基于“感知机”（一种最简单的神经网络，2001 年 Jiménez 与 Lin 提出）的预测器，后来又加上 TAGE 类预测器（2006 年 André Seznec 提出）。预测器越准，流水线就可以越长、越宽。

它的缺陷。猜错一次，就要扔掉已经进入流水线的十几到上百条指令，浪费时间也浪费电。对于真正随机的数据（比如加密、压缩），再聪明的预测器也只能靠运气。预测器本身也越来越大，要占不少面积。

现状。它是 CPU 设计公司最核心的“秘方”之一，细节很少公开。每一代新核心几乎都会宣传“分支预测更准、容量更大”。

为什么诞生。分支预测只是猜“下一条从哪取”。如果取进来的指令不去执行，乱序执行就没活可干。于是 CPU 干脆沿着猜的路径真的执行下去，把结果先暂存在 ROB 里，等分支结果出来：猜对了就正式生效，猜错了就整个丢掉。这叫推测执行（speculative execution）。它和乱序执行是一对搭档，1995 年 Pentium Pro 起成为 x86 的标配。

它解决了什么。让乱序引擎的几百个格子能一直装满。没有它，乱序执行最多只能看到下一个分支之前的几条指令。

缺陷：撤销不干净

设计者原本以为：猜错的结果反正都丢了，程序看不到，就等于没发生过。2018 年 1 月 3 日，Google Project Zero 的 Jann Horn 和几个学术团队（包括格拉茨工业大学、Paul Kocher 等）同时公布了两类漏洞：Meltdown（熔断）和 Spectre（幽灵）。它们证明：寄存器里的结果虽然撤销了，但推测执行时顺手读进缓存的数据不会撤销。攻击者测量“读哪一格特别快”，就能把本不该看到的秘密一点一点“读”出来。这种靠测时间偷信息的方法叫侧信道攻击。

后果。操作系统紧急打补丁（例如把内核内存和用户程序彻底隔开的 KPTI，以及编译器里的 retpoline 技巧）。对频繁调用系统功能的程序，如数据库和存储服务，早期补丁带来的性能损失据报道在个位数到 30% 不等。之后几年又陆续冒出同类漏洞：Foreshadow（2018）、MDS / ZombieLoad（2019）、Zenbleed（2023，AMD Zen 2）、Downfall（2023，Intel）、Inception（2023，AMD）。

现状与未来。推测执行没法放弃，放弃了性能会倒退十几年。厂商的办法是在硬件里补洞：Intel 从 2018 年底到 2019 年的新芯片起，在硬件层面修复了 Meltdown，并为各种变体加了“隔离”开关。今天“安全”已经和“性能”“功耗”并列成为微架构设计的第三个目标，每次发布新核心都要说明对这类攻击的防护。

为什么诞生。CPU 要处理的数据放在内存（DRAM，就是电脑里的内存条）里。1980 年以后，CPU 每年快约 50%，内存的反应速度每年只快几个百分点。到 1990 年代，CPU 等一次内存要几十上百拍。1995 年 Wulf 和 McKee 写了一篇论文，给它起名内存墙（memory wall）。

解决办法是缓存（cache）：在 CPU 旁边放一小块又快又贵的存储（SRAM，用 6 个晶体管存 1 位），把最近用过的数据和它旁边的数据放在里面。这能行，是因为程序有“局部性”：刚用过的数据，很可能马上再用；用了第 100 号，很可能接着用第 101 号。1968 年 IBM System/360 Model 85 是第一台商用带缓存的计算机。x86 上，1989 年 i486 把 8 KB 缓存做进芯片；1995 年 Pentium Pro 把 L2 放进同一个封装；1999 年 Pentium III（Coppermine）把 L2 做进芯片；2007 年 AMD Phenom、2008 年 Intel Nehalem 给多个核心加了共享的 L3。

它解决了什么。常见程序里，L1 的命中率通常在 90% 以上。缓存让 CPU 大多数时候感觉不到内存有多慢。今天一颗 CPU 芯片上，缓存往往占去三分之一甚至一半的面积。

它的缺陷。贵、占地方，而且 SRAM 在新工艺下几乎缩不动了（见 晶体管）。缓存越大越慢，所以只能分层。多个核心共享数据时，还要有一套“一致性”机制保证大家看到的数据一样，又增加了复杂度。缓存也是前面侧信道攻击的“作案工具”。

现状与未来。缓存越来越大，开始往“上下”长：AMD 的 3D V-Cache 用混合键合在芯片上叠了一层 64 MB 的 L3（2022 年 5800X3D，详见 AMD 路线 和 混合键合），游戏性能明显提升。Intel 也计划在后续产品里用堆叠缓存。内存本身也在往 CPU 靠：Lunar Lake 把内存放进封装，服务器和 AI 芯片用 HBM。

为什么诞生。1990 年代中期，PC 开始播放 MP3、VCD 和 3D 游戏。这些任务的特点是：同一个操作（比如“亮度加 10”）要对几百万个像素各做一遍。普通指令一次只能算一对数。SIMD（单指令多数据，Single Instruction Multiple Data）的想法是：把一个很宽的寄存器切成好几格，一条指令同时算所有格。

一路加宽的历史。1997 年 Pentium MMX 带来 MMX（64 位，只能算整数，还和 x87 浮点单元共用寄存器，两者不能同时用）。1999 年 Pentium III 的 SSE 加了独立的 128 位寄存器，能算浮点；2000 年 SSE2 能算双精度。2011 年 Sandy Bridge 的 AVX 把宽度翻到 256 位，2013 年 Haswell 的 AVX2 补上整数运算和“乘加”指令。2016 年 Xeon Phi、2017 年 Skylake 服务器版引入 512 位的 AVX-512。

它解决了什么。视频编解码、图片处理、科学计算、加密、压缩、数据库，甚至字符串搜索，都靠 SIMD 提速好几倍。在 CPU 上跑小型 AI 模型时，它也是主力。

它的缺陷。第一，碎片化：AVX-512 有十几个子集，不同芯片支持的不一样，软件很难写。第二，又热又降频：早期 Intel 服务器芯片跑重度 AVX-512 时会主动降频，有时反而拖慢别的程序。第三，大小核不匹配：2021 年 Alder Lake 的能效核（E 核）不支持 AVX-512，Intel 只好在消费级芯片上把它关掉，2022 年后出厂的芯片干脆在硬件上屏蔽。讽刺的是，AMD 从 2022 年 Zen 4 起反而支持了 AVX-512，Zen 5 在桌面和服务器上做成了完整的 512 位数据通路。

现状与未来。2023 年 Intel 发布 AVX10 规范，想把这一团乱麻统一起来：一个版本号说清支持什么，大核小核都支持同一套指令。2025 年 Intel 修订规范，让 AVX10.2 在所有核心上都支持 512 位。据报道，Intel 计划在 2026 年底的 Nova Lake 起让消费级芯片重新支持 512 位向量。另一方面，大量 AI 运算已经转移到 GPU 和 NPU（见 AI 芯片），CPU 上的 SIMD 更多承担“通用的小块并行”工作。

为什么诞生。先认识一个词：线程，就是一串要按顺序执行的指令，可以理解为“一个任务”。前面讲过，超标量核心有好几个执行通道，但一个线程常常凑不出那么多可以同时做的指令，尤其在等内存的时候，通道大片空着。1995 年前后，华盛顿大学的 Dean Tullsen、Susan Eggers、Henry Levy 等人提出同时多线程（SMT）：让一个核心同时装两个线程的状态，执行单元谁有活就给谁。Intel 在 2002 年把它用在 Xeon 和 Pentium 4（3.06 GHz）上，起名超线程（Hyper-Threading）。AMD 直到 2017 年的 Zen 才用上 SMT。

它解决了什么。只多花约 5% 的芯片面积，就能在多任务、服务器负载下多出约 15%–30% 的吞吐量。操作系统里一个物理核心显示成两个“逻辑处理器”，就是这个原因。

它的缺陷。两个线程共用缓存和执行单元，彼此能“听到”对方的动静。2018 年的 PortSmash 等研究证明，可以借此偷取同一核心上另一个线程的加密密钥，OpenBSD 当年因此默认关闭了超线程。对游戏等只要求单线程快的负载，它帮助不大，有时还会抢资源。在大小核设计里，它还让操作系统的调度变得更复杂。

现状与未来。两家走向分岔。Intel 2024 年的 Lunar Lake 和 Arrow Lake 去掉了大核的超线程：Intel 的理由是省下的面积和功耗可以让大核更强，多线程吞吐交给数量众多的能效核。AMD 的 Zen 5 依旧保留 SMT。服务器上 SMT 仍然很重要，据报道 Intel 计划在之后的 Xeon 中让它回归。

为什么诞生。芯片的动态功耗大约和“电压的平方 × 频率”成正比。频率要提高，电压往往也得提高，功耗就像滚雪球一样涨。2004 年，Intel 的 Pentium 4（Prescott）功耗超过 100 瓦，原计划冲上 4 GHz 以上的后续产品 Tejas 被取消。业界意识到：与其让一个核心跑得更快，不如放两个核心各跑一份活。IBM 在 2001 年的 POWER4 上已经做出双核；2005 年 4 月 AMD 发布双核 Opteron，5 月 Intel 发布 Pentium D（其实是两颗芯片装在一个封装里），随后 AMD 推出 Athlon 64 X2。

它解决了什么。在功耗不变的前提下继续提高总算力。今天桌面 CPU 有 16 到 24 个核心；服务器 CPU 更夸张：AMD EPYC 9965（2024）有 192 个核心，Intel Xeon 6 的能效核版本最多 288 个核心。

它的缺陷。软件必须改写成“多线程”才能用上多核，很多程序做不到。1967 年 Gene Amdahl 指出：程序里只要有一部分必须按顺序执行，再多的核心也帮不上那一部分，这叫阿姆达尔定律。比如一个程序 10% 只能串行，那么无论有多少核心，最多只能快 10 倍。核心越多，彼此通信、共享缓存、保持数据一致也越难，芯片越大良率越低，这直接催生了 芯粒。

现状与未来。核心数仍在涨，但方式变了：一是把多个小芯片拼起来（AMD 的 CCD 芯粒、Intel 的 tile）；二是大小核混搭（Intel 的 P 核 + E 核、AMD 的 Zen 与 Zen c），详见 Intel 路线和 AMD 路线。

为什么诞生。内存控制器是负责和内存条“对话”的电路：发地址、收数据、按时刷新。2003 年以前，它放在主板上一颗叫北桥的芯片里，CPU 通过前端总线（FSB）和北桥相连。一次读内存要走两段路，还要和显卡、硬盘等争抢同一条总线。核心越多，这条总线越堵。2003 年 AMD 的 K8（Opteron 和 Athlon 64）把内存控制器直接做进 CPU，并用 HyperTransport 连接芯片组。Intel 直到 2008 年的 Nehalem（第一代 Core i7）才跟进，同时用 QPI 取代了 FSB。

它解决了什么。内存延迟据当年测试降低了数十纳秒，带宽随核心数一起增长（每颗 CPU 自带内存通道，多路服务器的总带宽成倍增加）。这是 Athlon 64 和 Opteron 在 2003–2006 年压过 Pentium 4 的重要原因之一，Intel 在 Nehalem 上补课后也收获了巨大提升。

它的缺陷。CPU 和内存类型绑死了：内存从 DDR 换到 DDR2，AMD 就得出新 CPU 和新插槽（2006 年的 AM2）。多路服务器里，每颗 CPU 只直接连自己的内存，访问“别人家”的内存要绕路，这叫 NUMA（非一致内存访问），软件得特别优化。

现状与未来。今天所有 x86 CPU 都集成了内存控制器。有意思的是，它又“搬了一次家”：AMD 从 2019 年 Zen 2 起把它放在单独的 I/O 芯粒（IOD）上，Intel 的 Meteor Lake 放在 SoC tile 上。它仍在同一个封装里，只是不和计算核心挤在一颗芯片上。下一步是内存本身也搬进封装（Lunar Lake、Apple M 系列），以及服务器上的 CXL 内存扩展。

为什么诞生。多核时代出现了一个矛盾：标称频率要按“所有核心同时满载”来定，否则会过热；可日常很多程序只用一两个核心，其余核心闲着，散热和供电还有大把余量。2008 年 Intel 在 Nehalem 上推出 Turbo Boost（睿频加速）：芯片里的电源管理单元实时监测温度、电流和功耗，有余量就自动把频率往上提。AMD 2010 年推出 Turbo Core，2017 年 Zen 起改为更精细的 Precision Boost，可以按 25 MHz 一档连续调节。

它解决了什么。兼顾了单线程和多线程：打开网页、玩游戏这类“少数核心很忙”的场景，频率能冲到 5.5–6 GHz；渲染、编译这类“全部核心都忙”的场景，频率回落但总量更大。它把散热和供电的余量变成了性能。

它的缺陷。性能变得不可预测：同一颗 CPU 装在散热差的机箱里，就会跑得慢一截。厂商为了榜单越推越激进，电压和温度一路走高。2024 年 Intel 确认部分第 13、14 代桌面酷睿出现不稳定，原因是微码要求的工作电压偏高，导致芯片加速老化，Intel 为此发布了多次微码更新，并把受影响型号的保修延长两年。

现状与未来。睿频已成为标配，而且越来越聪明：按每个核心的体质分别设定频率，按温度、电池状态，甚至按操作系统告诉它的“这个任务重要不重要”来调节。AMD 的 PBO、Curve Optimizer 让玩家可以自己调节加速曲线。

为什么诞生。在 CPU 入门 里讲过：x86 CPU 内部会把复杂的 x86 指令拆成简单的微操作（µop，读作“micro-op”）再执行。这个“拆”就是译码。麻烦在于 x86 指令的长度从 1 到 15 字节不等，CPU 拿到一串字节时，得先弄清楚每条指令从哪开始、到哪结束，才能并行译码。这就像读一段没有标点的文字，还要一眼读出好几句。相比之下，ARM 64 位指令一律 4 字节，切起来非常简单。

演变。2000 年 Pentium 4 先尝试过一种“踪迹缓存”（trace cache），把一整段执行路径上的 µop 存起来，但它复杂又费面积，后来被放弃。2011 年 Sandy Bridge 换成更简单的 µop 缓存（约 1500 条 µop），一举成功。AMD 从 2017 年 Zen 起也采用（约 2000 条），之后几代不断扩大，Zen 4 约 6750 条。

它解决了什么。程序大部分时间在跑循环，同一段代码会重复成千上万次。µop 缓存命中率往往很高，命中时既绕过了最慢最费电的译码环节，又缩短了猜错分支后的恢复时间。它在很大程度上抹平了 x86“译码难”的先天劣势。

它的缺陷。占面积；容量有限，大型程序（数据库、浏览器）代码太多，装不下时又退回慢路径。2021 年弗吉尼亚大学等的研究（“I See Dead µops”）还演示了利用 µop 缓存的新型侧信道攻击。

现状与未来。Intel 和 AMD 的大核都有 µop 缓存，而且越做越大。AMD 的 Zen 5 还把译码器分成两组，可以同时译码两段预测好的代码。有趣的对照是：ARM 的部分新核心（如 Cortex-A715）因为指令定长、译码便宜，反而把这类缓存去掉了。这正是 x86 的未来 里“指令集到底有多重要”争论的一个注脚。