【10】 α 与 β：我们模型里最不确定的两个数
Ola · 发布于 2026/10/16 · 更新于 2026/10/16
Ola2026/10/16
承接【09】第七节的"待标定"清单。α（存算一体）和 β（网络内计算）。 这篇我们通过公开证据的锚点，给出区间和处分级。
一、α 与 β为什么要紧
我们的能耗恒等式里，搬移能耗是最大的一项：
E 总能耗 = E计算 + E搬运 + E存储 + E冷却 + E配电
（其中 E搬运：实测占比 76%）
而存算一体和网络内计算，两条路径打的都是这一项：
| 路径 | 打的是什么 | 对应因子 |
|---|---|---|
| 存算一体（CIM） | 把计算搬进存储阵列里，省掉"取数"这一趟 | α |
| 网络内计算（INC） | 在交换机上先聚合，省掉"多跳往返" | β |
这两个数直接决定"存算一体能省多少电"这个结论站不站得住。
二、锚点一：内存访问和计算之间，隔着两个数量级（证据强）
| 层级 | 能耗（pJ/bit） | 出处 | 证据等级 |
|---|---|---|---|
| 片外 DDR DRAM | 20 | Horowitz, ISSCC 2014（640 pJ / 32-bit 折算） | 强 |
| HBM 主存 | 7 | PIM-AI, arXiv:2411.17309, Table 1 | 中（建模值） |
| 片间 SerDes | 2.5 | 工程假设（无公开数据，Horowitz 原表与 Eyeriss 实测都支持"每跨一层封装边界，能耗跳一个数量级"的结构——取2.5 落在 HBM(7 与 SRAM(0.156) 之间。） | 弱（无公开数据；但与两个独立强来源的结构一致——见下） |
| 片上 SRAM | 0.156 | Horowitz ISSCC 2014（5 pJ / 32-bit） | 强 |
光是在存储层级内部，从片外 DRAM 到片上 SRAM 就差 128 倍。
和计算相比：
| 操作 | 能耗 |
|---|---|
| 32-bit 整数加法 | 0.1 pJ |
| 32-bit DRAM 访问 | 640 pJ |
差了 6400 倍。这就是"搬数据比算数据贵得多"的定量来源。 也正因为这个数量级足够大，即使我们对 α 的估计差一倍，结论的方向也不会变。
三、α：存算一体的搬移削减（证据中）
定义（用消融法，避免重复计数）
α = 用存算一体之后，每 token 的搬移能耗 / 用之前
α < 1 表示省电。 区间下限越接近 0，省得越多。
注：我们模型内部用的是增益口径（α_gain = 1/α ≥ 1）。 两种写法等价，本文统一用"剩余比例"口径，因为对非专业读者更直观。
上界
如果 CIM 完全替代主存访问，用阵列内计算替代取数：
α 下界 ≈ 0.1 / 7 ≈ 0.014
即省掉 98.6%。这是理想数字 CIM 的量级。
但这个数字不能用，原因：
模拟 CIM 的 ADC/DAC 开销与面积占比，没有公开可引用的数值。 阵列里做完模拟乘加，还得把结果转回数字域——ADC 的能耗常常吃掉大部分收益。 我们的参数表里把这一项定为 0.1 pJ/bit、置信度 low，并明确标注"必须敏感性分析"。
下界
参考公开基准的系统级结论：全覆盖率下，总能耗降幅约 45.8%（CENT 基准，本模型【06】据此做过外部校验）。
折算成剩余比例：
α 上界 ≈ 0.54
给出区间
| 值 | 依据 | |
|---|---|---|
| α 剩余比例 | 0.3 ~ 0.6 | 下界取理想 CIM（0.014）与工程现实之间的折中；上界取 0.54 并留裕度。厂商系统级口径（0.50）落在区间内 |
| 换算成增益 | 1.7 ~ 3.3 倍 | = 1/α |
| 证据等级 | 中 | 锚点（DRAM vs SRAM 的 128 倍）很强，但从锚点到系统级 α 的推导链有一环是假设（ADC/DAC 开销） |
数据来源：Samsung HBM-PIM（Aquabolt-XL）官方：能耗 −50% ；SK hynix GDDR6-AiM 官方：传输功耗 −80% ；CENT 基准系统级 −45.8% 另：以上 α 证据全部来自 memory-bound 负载（注意力/检索/推荐/图计算）；对 compute-bound 的稠密训练层，收益趋近于零。
四、β：网络内计算的通信削减（证据弱）
定义
β = 用网络内聚合之后，跨节点通信能耗 / 用之前
它省的是什么
分布式训练/推理里，跨节点通信的能耗主要来自集合通信（all-reduce 之类）的多跳往返。
网络内计算（in-network aggregation / reduction）的思路是：让交换机在转发时就地聚合，而不是把数据全送到目的节点再算回来。
理论上，一次多跳的往返可以压成一次单跳的聚合。
下界
厂商锚点：NVIDIA SHARP（InfiniBand 交换机的在网规约协议）官方口径：AllReduce 的网络传输量减少约 50%——交换机转发时就地求和，N 路进、1 路出，上层网络流量降 N 倍。
按"能耗 ≈ 流量 × 单位比特传输能耗"折算：
β 下界 ≈ 0.5 [B级·厂商宣称]
备注：
- SHARP 附带的"AllReduce 带宽 2×、BERT 训练吞吐 +17%（MLPerf v1.0）"是性能口径，不能直接折算成能耗；
- 能耗数字是由流量数字折算的，非直接实测。
-
给出区间
| 值 | 说明 | |
|---|---|---|
| β 剩余比例 | 0.5 ~ 0.8 | 下界 = SHARP 流量减半 [B级·厂商宣称，推算]；上界 = 结构判断 [弱]，对应拓扑/门限不利的情形 |
| 换算成增益 | 1.25 ~ 2 倍 | = 1/β |
| 证据等级 | 弱（但下界已有厂商口径支撑） | 强依赖拓扑与门限；交换机自身能耗无数据 |
β 是我们整个模型里证据最弱的一个参数。但它影响的 E搬运 子项在稠密解码场景下只占 1.1%（本模型【06】测过），所以 β 的宽区间对最终结论的影响，比看起来要小得多。
五、关键：区间这么宽，结论还站得住吗
这是本文最该回答的问题。
我们把 α 和 β 分别在区间内取极值，实跑模型。
做法：把目标 α 反解成模型内部的覆盖率 f_cim，把目标 β 反解成 inc_eff，再跑完整流程。
模型内部 e_w = W·8·[(1−f)·e_hbm + f·e_cim] 所以 α = e_w(f)/e_w(0) = 1 − f·(1 − e_cim/e_hbm) β = 1 − inc_eff
5.1 三档情景的结果
| 情景 | α | β | → f_cim | → inc_eff | 搬移占比 | J/token | 日算力 | vs 基准 |
|---|---|---|---|---|---|---|---|---|
| 最乐观 | 0.30 | 0.50 | 0.710 | 0.500 | 64.3% | 0.4961 | 1.297e13 | +10.7% |
| 基准 | 0.45 | 0.65 | 0.558 | 0.350 | 67.7% | 0.5490 | 1.172e13 | — |
| 最悲观 | 0.60 | 0.80 | 0.406 | 0.200 | 70.6% | 0.6019 | 1.069e13 | −8.8% |
搬移占比只在 64.3% ~ 70.6% 之间变化——6 个百分点的带宽。
5.2 两种方法交叉验证（手算 vs 实跑）
按队友给的手算公式（设 c = CIM 可承接的搬移占比 ≈ 0.40）：
m = α·c + β·(1−c) 新搬移占比 = 0.76·m / (1 − 0.76 + 0.76·m)
| 方法 | 基准情景的搬移占比 |
|---|---|
| 手算公式 | 64.4% |
| 模型实跑 | 67.7% |
两者相差 3.3 个百分点，方向完全一致。
差异来源：手算公式把 c 当成常数；而模型里权重搬运项随覆盖率缩小、KV 项不变，
所以 c 会随 f_cim 变化。模型实跑更准，手算公式作为快速估算足够。
两种独立方法给出同一个量级，这本身就是一种校验。
5.3 结构性结论保持一致
| 检查项 | 最乐观 | 基准 | 最悲观 |
|---|---|---|---|
| 钠电最优容量 | 10 MW | 10 MW | 10 MW |
| 冷却最优液温 | 25°C | 25°C | 25°C |
| 三杠杆联合增益 | 1.83 倍 | 1.66 倍 | 1.51 倍 |
- 结论：
α 和 β 的宽区间，只改变"总量增益有多大"（1.83 → 1.51 倍），完全不改变任何一条结构性结论——钠电最优容量还是 10 MW，冷却最优液温还是 25°C。
原因：
三条路径作用在恒等式的不同位置——α 只动分母里的「搬运」一项，钠电只动分子里的「供电稳定系数」， 冷却只动「PUE」和「热约束系数」。改变 α 只改变其中一项的量级，碰不到另外两项的位置。
5.4 发现：α 有三种口径，差了 38 倍
做这个分析时我们发现，"存算一体省了多少"可以有三种都正确但数值完全不同的说法：
| 口径 | f=0（无 CIM） | f=1.0（全覆盖） | 能耗降幅 |
|---|---|---|---|
| ① 权重搬运项 | 0.3445 | 0.0049 | 98.6% |
| ② 总搬移项（含 KV + 网络） | 0.5642 | 0.2246 | 60.2% |
| ③ 总 IT 能耗 | 0.7414 | 0.4018 | 45.8% |
同一个模型、同一组参数，能得出 98.6% / 60.2% / 45.8% 三个降幅——相差 38 倍。
这就是"口径必须声明"的实证。 如果一篇论文说"存算一体省了 98% 的电"，另一篇说"省了 46%"， 它们可能都没错，只是分母不同。
而且我们找到了一个锚点证明模型自洽：
口径 ③ 的 45.8%，恰好等于 CENT 基准的外部校验值（本模型【06】据此做过校验）。
模型算得没错，差异纯粹来自口径，不是计算错误。
所以第三节那句"覆盖率口径需要声明"要升级为：
不但"覆盖率"的口径要声明，"缩减比例算在哪个分母上"同样要声明。
本文的 α 统一采用口径 ①（权重搬运项）——这才是"存算一体搬运能耗缩减"的字面含义。
六、局限性
- α 的推导链有一环是假设（ADC/DAC 开销）。这是公开数据缺口。SK hynix 的 −80% 这类厂商口径恰恰说明：不计这一环，数字会漂亮到什么程度。
- β 证据弱：下界有 SHARP 厂商口径（推算），上界仍是结构判断；交换机规约自身能耗、RoCE 以太网下的迁移性均无公开值。
- 本模型用"算子占比"定义覆盖率，与部分论文的"数据量占比"口径不同，比较时需换算。
- SerDes / UCIe / NVLink 的 pJ/bit 均无公开数据（NVIDIA 未公布），相关参数为工程假设（但与"跨封装边界跳一个数量级"的结构一致）。
- 本文不给出点值，是有意的——一个没有出处的精确数字，比一个诚实的区间更危险。
登录后可以留言
Peter YU2026/10/16 15:07:39
NVIDIA的是一方面，虽然他们家是芯片的老大，但是他们家擅长卖芯片，不是很擅长工程落地，也是为何游戏主机的定制订单NVIDIA拿不到而是AMD拿到，一方面是AMD是CPU和GPU都做，容易整合定制方案，但底层能力就是整合不同工程领域的远见和探索优化能力。因此，AMD的Helios也值得研究，因为看到了未来AI基建的主要问题不是芯片，而是工程落地的持续优化，所以AMD用自己的GPU结合应用厂商去自迭代这个路径。这方面与我们的方向有点重合，但是他们还没让中国企业上牌桌，所以90%的空间是空余的，更何况储能方面钠电还没真正进入全球一线的AIDC，也是由于工程学，而钠电的产业化曲线其实可以被工程优化的Capex分摊。这也是AMD的Helios要去寻求的一些商业持续优化的创新思维，也在用AI4S结合合作方一起推进。仅供参考的思路哈~