训练大模型的 Scaling Law：科学、工程与边界

2026-06-25 更新：本文从原"训练大模型的工程学：从 Chinchilla 到 2026"全面升级——前半段（§1-§4）补齐 Lilian Weng 在 Scaling Laws, Carefully 中梳理的 scaling law 完整科学叙述（前史、Why power law、数据约束、拟合脆弱性），并增加一个交互式 D3 拟合 playground；后半段（§5-§10）保留原文的越界训练、训练基建、Post-training、VLA 工程清单，但每节都加上前半段科学结论在 VLA 场景的具体投影。Lilian 原文是这次升级的主要参考来源——我做的是把她的科学叙述与本博客原有的工程落地视角融合。

DeepMind 2022 年的 Chinchilla 论文 (arXiv:2203.15556)，把"训练一个大模型"这件事从匠人工艺变成了可计算的约束优化问题。它给出的结论简洁到可以一句话讲完——给定计算预算 $C$，模型参数量 $N$ 和训练 token 数 $D$ 应该等比例放大，每翻倍 compute 同时把 $N$ 和 $D$ 各翻一倍。

但 Chinchilla 既不是 scaling law 的起点，也不是终点。在它之前，Hestness 2017、Rosenfeld 2020 已经把"loss 在 log-log 上是直线"做成了实证事实；与它同期的 Kaplan 2020 拟出过另一个看似无可争议的指数；它之后的 Pearce 2024 / Besiroglu 2024 又对它的拟合方法做了系统批判。把这些拼起来才能看出 scaling law 究竟是一套什么样的科学。

行业的实际走向更值得玩味：2022 之后的四年里，所有 SOTA 模型都在系统性地偏离 Chinchilla 的字面 prescription——Llama 1 7B 用 1T tokens（Chinchilla optimal 的 7 倍超训）、Llama 3 8B 干到 15T（90 倍超训）、DeepSeek-V3 用 14.8T tokens 训 671B/37B 激活 MoE，又把 FP8 + MLA + aux-loss-free balancing 一锅端进生产栈。每一步偏离都建立在 Chinchilla 给出的数学框架之上，又都没遵守它的字面结论。

本文做三件事：

• §1-§4：把 scaling law 的科学讲透——前史、Kaplan vs Chinchilla 的方法论拉锯、power law 为什么是 power law、数据受限时该如何重新思考、以及拟合本身的脆弱性（含 D3 playground）。
• §5-§8：把"行业如何系统性偏离"讲清楚——越界训练的推理摊销逻辑、数据质量革命、4096 卡协同的训练基建、Post-training 从 PPO 到 GRPO 的演化谱系。
• §9-§10：站在 VLA 场景的 LLaMA-Factory fork 视角，把前面 §1-§8 的每一条结论投影到自己 stack 上能怎么用。

一、前史：scaling law 不是 Kaplan 发明的

把"loss 在 log-log 上是直线"当成 2020 年的发现是普遍误解。这件事在 2017 年就被系统记录过，并且在 Kaplan 之前已经有过完整的二元闭式解推导。

1.1 Hestness 2017：跨任务、跨架构的同族斜率

Hestness et al.（arXiv:1712.00409）在 NMT、language modeling、speech recognition、图像分类四个领域分别扫了一组模型 $\times$ 数据规模组合，把 generalization error 画在 log-log 上发现——所有曲线都是斜率约 $-0.30$ 到 $-0.35$ 的直线，且斜率几乎不随架构变化：

左图是 Deep-Speech-2 vs Attention 两种架构在不同 dataset size 下的 minimum validation loss；右图是 DS2 不同模型尺寸下的同类曲线。关键观察：架构变化只平移 intercept，斜率 $\beta \approx -0.30$ 在所有架构上几乎一致。这意味着 power law 不属于 transformer——它属于"用 SGD 类方法在足够规模的自然数据上做 supervised learning"这件事本身。

Hestness 还提炼了一张概念图，刻画 generalization error 在 dataset size 上的三段式结构：

• Small Data Region：数据少到模型只能输出"最常见类"，loss 卡在 best-guess 水平不下降；
• Power-Law Region：log-log 上斜直线，scaling law 真正适用的区段；
• Irreducible Error Region：到达 Bayes risk 地板（即数据分布本身的熵），再多数据也无效。

这个三段式结构对后面 §1.3 参数化形式里的 $E$（irreducible loss）项给出了清晰的物理意义——它就是 Bayes risk 地板。

1.2 Rosenfeld 2020：二元闭式解早 Chinchilla 两年

Rosenfeld et al.（arXiv:1909.12673 / arXiv:2004.10802）把 Hestness 的"单变量 power law"扩展到了二元——同时考虑模型大小 $N$ 与数据量 $D$。他们在 vision（WRT103 / CIFAR-10）和 NMT 上拟出统一形式：

这就是后来 Chinchilla 论文里那个 “Approach 3 parametric fit” 用的同一个公式——早 Chinchilla 两年提出，并且已经在 CIFAR / WRT103 上做过验证。把这个公式的等高线画出来：

蓝点是真实测得的 $(N, D, L)$，背景是参数化拟合的曲面——log-log 空间里曲面就是一个平面，截面是直线。这个结构在 vision 和 language 上都成立。

Rosenfeld 的拟合精度也很惊人。他们用小模型 + 小数据训出 $A, B, \alpha, \beta, E$ 后外推到大模型 + 大数据：

预测值和实测值的 R² 在多个 setup 上都接近 0.99——同一族公式可以外推 1-2 个数量级。

Chinchilla 的真实贡献不在公式本身，而在两件事：(1) 把这套方法在 LLM 上做到了 1B-10B 级别的扎实验证；(2) 把 Kaplan 2020 错误的指数纠正过来。公式的优先权属于 Rosenfeld，这一点 Lilian Weng 在 Scaling Laws, Carefully 里说得很清楚，但中文圈很多综述都把这归给了 Hoffmann。

1.3 Bahri 2021：神经标度律的理论解释尝试

Bahri et al.（arXiv:2102.06701）开始尝试为"为什么会是 power law"提供理论——他们提出四个 regime 的分类，但每个 regime 给出的 $\alpha, \beta$ 预测都依赖于强假设（流形维度已知、kernel 谱已知等）。Bahri 本身没解决问题，但它打开了"power law 的内在机制是什么"这条研究线——§3 会接着讲。

到这里历史时间线是清楚的：Hestness 2017 给出单变量经验定律 → Rosenfeld 2020 给出二元闭式解 → Bahri 2021 提供理论 framing → Kaplan 2020 / Chinchilla 2022 把它做到 LLM 上做精。

二、Compute-Optimal Scaling：Kaplan vs Chinchilla 的方法论拉锯

2.1 优化问题与 Kaplan 的方法论 bug

Chinchilla 解的是这个问题：

其中 FLOPs 按经验近似 $C \approx 6ND$（§2.6 会推导这个 6 从哪来）。问题的关键不在公式而在数据采集。Kaplan et al.（arXiv:2001.08361）早两年做过同样的事情，结论是参数量和数据量的放缩指数 $a = 0.73, b = 0.27$——也就是 compute 翻 10 倍时，模型放大 5.5 倍、数据只多 1.8 倍。整个 GPT-3 / Gopher / MT-NLG 系列就是按这个比例堆出来的：

Kaplan 把这张图当作"训练应该长得更快、数据放缓"的证据——但坐标系本身有方法论问题。Chinchilla 把这个结论推翻了，给出 $a \approx b \approx 0.50$。差异来自一个看似微不足道的实验细节——learning rate schedule。Kaplan 在所有模型上都用了固定的 cosine cycle length（最长 130B tokens），然后从训练过程中取中间点拟合曲线。问题是：cosine schedule 在没走完之前学习率还没降到位，对应的 loss 是 被高估 的。这导致小数据预算下的训练效果被系统性低估，反推出"模型应该长得更快、数据放缓"的错误结论。

Chinchilla 的 Figure A1 是整篇论文最重要的一张图：把同一模型在 cosine cycle 长度等于训练步数（蓝绿）和等于训练步数的 1.5×/2×/5×（橙黄）的几条 loss 曲线放在一起，cycle 越超出训练步数，最终 loss 越差。结论是：任何 scaling law 实验都必须让 cosine length 跟实际 D 对齐。这一条修正——加上把训练点扩展到 16B 参数——把指数从 (0.73, 0.27) 推到了 (~0.5, ~0.5)。

但这还不是 Kaplan / Chinchilla 全部差异的解释。§2.5 会展开 Pearce & Song 2024 的系统性 reconciliation——cosine schedule 只是三个因素之一。

2.2 三种独立方法的一致结论

Chinchilla 没有只用一种方法。它做了三套独立实验，每一套都给出近似 $a = b = 0.5$ 的结论。这种 methodological triangulation 本身就是论文最强的论据。

Approach 1（训练曲线包络）：训 70M 到 10B 一族模型，每个 size 跑 4 个不同的 D（cosine 长度跟 D 对齐）。把所有训练曲线画在 (FLOPs, loss) 平面上，取下包络。包络上的每一点告诉你"花 $C$ FLOPs 最少能达到的 loss 是多少、对应的 $(N, D)$ 是什么"。最后拟合得 $a = 0.50, b = 0.50$。

Approach 2（IsoFLOP profile）：把 FLOP 预算固定（如 $6 \times 10^{18}, 10^{19}, ..., 3 \times 10^{21}$ 九档），每一档扫一组不同 $N$（$D$ 由 $C/(6N)$ 决定）。对每档画出 (N, final loss) 的抛物线，取谷底——这就是给定 FLOP 预算下的 optimal $N$。九个谷底拟合得 $a = 0.49, b = 0.51$。

Approach 3（参数化拟合）：假设 loss 可写成（即 §1.2 的 Rosenfeld 形式）

把所有训练点丢进去 fit。拟合得 $E = 1.69, A = 406.4, B = 410.7, \alpha = 0.34, \beta = 0.28$。带回 $\arg\min$ under FLOPs constraint，得到 $a = 0.46, b = 0.54$。

三种方法的预测一致——Gopher 280B 在它的 compute budget 下应该被一个 ~40-70B 的模型替代，多训 4 倍 tokens。Chinchilla 70B 就是这个 prediction 的验证：同样 FLOPs、~1/4 参数、4 倍 token，在 MMLU 上从 60.0% 拉到 67.5%（超过 Steinhardt 2021 调查中 73 个 forecaster 预测的 2023 年 SOTA 中位数 63.4%），在几乎所有下游任务上击败 280B Gopher、175B GPT-3、530B MT-NLG。

三种方法 + Kaplan 的对照图：

蓝/橙/绿三条实线对应三种 Chinchilla 方法，黑色虚线是 Kaplan 的预测。所有主流大模型（Chinchilla / Gopher / GPT-3 / MT-NLG，图中星号）按 Kaplan 路径训练，落在了"严重 under-trained"区域——这就是 Chinchilla 论文最有冲击力的一张视觉证据。

2.3 参数化形式的理论分解

公式 $\hat{L} = E + A/N^\alpha + B/D^\beta$ 对应一个经典的 risk decomposition：

• $E$ 是"natural text 的熵"，再大的模型再多的数据也降不到这之下；
• $A/N^\alpha$ 是函数近似误差——理想情况下 $N$ 参数 transformer 比 Bayes classifier 差多少。两层网络的理论 lower bound 是 $\alpha = 0.5$（Siegel & Xu 2020），Chinchilla 拟合得 0.34，远未触底；
• $B/D^\beta$ 是 single-epoch stochastic optimization 的次优——只看一遍数据导致的 gap。SGD-class 方法的 lower bound 也是 $\beta = 0.5$（Robbins-Monro 1951），拟合得 0.28，同样远未到极限。

这两个指数都低于理论下界，意味着 未来无论是更好的架构（提高 $\alpha$）还是更好的优化器/数据效率（提高 $\beta$），都还有很大空间。这是 Chinchilla 留下的最深远的暗示。

2.4 著名的"20 tokens/parameter"

Chinchilla 的 Table 3 列了不同 model size 对应的 compute-optimal $D$：67B 模型对应 1.5T tokens，175B 对应 3.7T，280B 对应 5.9T，1T 模型需要 21.2T tokens。换算成 D/N 比例，全部在 20 左右——“20 tokens per parameter” 由此成为业内 shorthand。

但要注意：这个 20 是在 Chinchilla 的训练数据 (MassiveText) + Chinchilla 的优化器 + Chinchilla 的 batch size 下拟合出来的。换数据、换优化器、换硬件，常数会变。20 是 order of magnitude 的指南，不是物理常数。

2.5 Reconciling Kaplan vs Chinchilla：Pearce & Song 2024

§2.1 把 Kaplan / Chinchilla 的分歧归结为"cosine schedule"——这只是 Lilian Weng 在 Scaling Laws, Carefully 里列的三个因素之一。Pearce & Song（arXiv:2406.12907，TMLR 2024）做了一份系统的 reconciliation：

Difference 1: Kaplan 在小模型上做实验。Kaplan 的模型集中在 100K-100M 参数区间，Chinchilla 扩到了 16B。log-log 空间里小尺度的小偏差会在外推时放大。

Difference 2: embedding parameter 在小模型里占比不可忽略。Kaplan 报告的指数是 non-embedding parameter $N_{\setminus E}$ 对 non-embedding compute $C_{\setminus E}$ 的关系（$N^\star_{\setminus E} \propto C^{0.73}_{\setminus E}$）；Chinchilla 报告的是 total parameter $N$ 对 total compute $C$ 的关系（$N^\star \propto C^{0.50}$）。要把两套结果对齐，必须用 $C \approx C_{\setminus E} + 6N_E D$ 的关系把 embedding 项填回去——这才是表观差异的主要来源。

Difference 3: cosine schedule——前面已讨论。

Pearce & Song 把这三个因素合并成一个 unified scaling law。在他们的统一框架下，“local power-law exponent” $g$ 随 $C/E$（compute 相对 irreducible loss 的比值）连续变化：

• 当 $C/E$ 很小（小模型 / 大 irreducible loss）：$g$ 接近 1，模型主导；
• 当 $C/E$ 很大（大模型 / 大 compute）：$g$ 渐近到 $\beta / (\alpha + \beta) \approx 0.5$，即 Chinchilla 的 0.5 等比例；
• 中间过渡区：$g$ 出现一个 ~0.7 的"假高峰"，这正是 Kaplan 在 100K-100M 区间观察到的"模型应该长得更快"。

换句话说，Kaplan 和 Chinchilla 都没错，只是看到了同一条曲线的不同区段。这是 Lilian Weng 文章里我觉得最值得中文圈复述的一个 framing——它把过去四年关于"Kaplan 是不是错了"的争论钉死了。

2.6 $C = 6ND$ 的算子级 derivation

$C = 6ND$ 这个 magic number 在 Chinchilla / Kaplan / Hoffmann 几乎所有 scaling law 论文里都被当作 “approximation” 直接用，但它实际上可以从 transformer 的算子级 FLOPs 计数推导出来。Lilian Weng 在文章里整理了一张完整推导表：

逐项拆开：embedding $\approx 0$（lookup）、QKV projection $6 n_{\text{layer}} d_{\text{model}}^2 / n_{\text{ctx}}$、attention matmul $2 n_{\text{layer}} d_{\text{model}}$、attention projection $2 n_{\text{layer}} d_{\text{model}}^2 / n_{\text{ctx}}$、FFN $12 n_{\text{layer}} d_{\text{model}}^2 / n_{\text{ctx}}$、de-embedding $\approx 0$。把这些加起来忽略 attention matmul 项（在 $d_{\text{model}} \gg n_{\text{ctx}}$ 时其他项主导），forward 单 token 的 FLOPs 等于 $2 N_{\text{non-embed}}$。再算上 backward（前向的 2 倍），总和是 $6 N D$。

这个 derivation 的实用意义：当你的模型偏离标准 transformer 假设（例如 MoE、long context、低秩注意力如 MLA），$C \approx 6ND$ 就不再准确。DeepSeek-V3 671B/37B-activated 的 MoE 让 $N_{\text{activated}}$ 和 $N_{\text{total}}$ 完全脱钩——按 $6N D$ 算就要选 $N = N_{\text{activated}}$，否则会高估 FLOPs 一个数量级。MLA 在 attention 计算上比标准 MHA 少 2-3 倍 FLOPs，长上下文场景下系数 6 应该改为 4-5。$C = 6ND$ 是一个 transformer-vanilla 时代的常数；模型架构演化后，每个新架构都要重新推导自己的 FLOPs 系数。

三、Why power law？——两套理论解释

“loss 在 log-log 上是直线"这件事在 SGD-class 优化器、足够规模数据的设定下是高度普适的。它的内在机制是什么？2020 年至今出现了两套有竞争关系的理论。

3.1 Sharma & Kaplan 2020：低维数据流形的分割理论

Sharma & Kaplan（arXiv:2004.10802）的假设：自然数据（图像、文本）虽然 ambient 维度很高，但实际上分布在一个低维流形上（intrinsic dimension $d \ll D_{\text{ambient}}$）。模型在 $\mathbb{R}^{D_{\text{ambient}}}$ 里学到的 piecewise function，等价于在数据流形上做分段近似。当模型有 $N$ 个有效参数时，它把 $d$ 维流形分割成 $O(N)$ 个 cell，每个 cell 的典型线性尺寸约为 $N^{-1/d}$。如果近似误差与 cell 尺寸成幂律关系（$L \sim \text{cell-size}^\gamma$），那么：

这就是 $\alpha = \gamma / d$ 的物理来源。Chinchilla 的 $\alpha = 0.34$ 对应 $d \approx 6$（取 $\gamma \approx 2$ for smooth function approximation）——一个完全合理的"自然语言流形维度"估计。

把这套理论的 loss 曲线在不同流形维度下画出来：

不同流形维度 $d$ 对应不同的 $\alpha$。流形维度越高，power law 斜率越缓——这跟"自然图像比自然文本流形维度高（颜色、纹理、形状自由度多），所以图像 scaling law 的 $\alpha$ 比 LM 小"这条经验观察对得上。

这套理论的局限在于：流形维度 $d$ 是个隐变量，没法直接测；不同 task 的 $\gamma$ 也不一定相同。所以它给出"power law 是必然的"这个 形式，但不能预测具体 $\alpha$。

3.2 Michaud-Brill 2023-2024：量子化技能的频率分布

Michaud et al.（The Quantization Model of Neural Scaling, NeurIPS 2023）与 Brill 2024（arXiv:2412.07942）提出了另一套截然不同的理论：知识和技能是离散学习的——模型一个一个地"解锁"独立的能力（“知道 i-before-e 规则”、“能做两位数加法”、“识别 SQL injection"等），每个技能对应 loss 上的一小段固定下降。这跟 Sharma-Kaplan 的"连续逼近 Bayes risk"是完全不同的描述。

如果假设这些"技能"的使用频率分布是 power law（即 Zipf 律——少数高频技能 + 长尾低频技能），并且模型按"频率从高到低"的顺序解锁它们，那么累积 loss 衰减自然就是 power law：

其中 $f_k$ 是第 $k$ 个技能的频率（按 Zipf $f_k \propto k^{-1}$）。这套理论解释了为什么 LLM 有 emergent capabilities——具体技能的 离散 解锁瞬间在平均 loss 曲线上几乎不可见（被千万个小步骤平均掉），但在 单个能力 上看就是相变。

两套理论目前没有 decisive 的实验能区分谁对——Sharma-Kaplan 更适合解释"为什么是 power law"的整体形态，Michaud-Brill 更适合解释"为什么 LLM 有 emergent abilities”。Lilian Weng 的态度比较中立：“both have limitations and neither is well-established”。

四、数据受限区域的 scaling law

§2-§3 默认 $D$ 是 unlimited 的（每个 token 只见一次）。这个假设在 2022 还成立——Common Crawl 还没被榨干。Villalobos et al.（arXiv:2211.04325，2022/2024 update）估算高质量英文文本 token 在 2026-2028 之间被耗尽——也就是现在到未来 2 年。一旦进入数据受限区域，scaling law 形态会发生几个具体变化。

4.1 Hernandez 2022：重复数据的 double descent

Hernandez et al.（arXiv:2205.10487）做了一个干净的对照：固定总训练 token 数（100B），但让其中 10% 不再是 fresh data，而是把一小部分原始数据反复重复。结果：

横轴是"被重复部分占的训练 token 比例”。loss 出现明确的 double descent——先升后降。在重复比例适中（~10%）时，loss 比"全 fresh data"更差；到了重复比例极高（~90%）时，loss 反而又好转。第二段的下降被作者解释为"模型实际上学会了 memorize 那一小段数据"，不再是"分布近似"。

这个结果对工业训练的启示是：数据混合中如果你打算重复某些子集（高质量、对齐数据等），重复比例要么很低（<5%）要么很高（>50%），中间是 dead zone——这正是后面 §7.5 annealing schedule 选择的微观基础。

4.2 Muennighoff 2023：4 epoch 是 fresh 的等价上限

Muennighoff et al.（arXiv:2305.16264，NeurIPS 2023）把"unique data 不够时怎么办"系统化研究：固定 compute，但同一份数据多 epoch 重复。

他们的核心 finding：

• 4 epoch 内：重复 token 与 fresh token 几乎等价（loss 差距 < 2%）；
• 4-16 epoch：重复 token 的边际效用 持续衰减 但仍为正；
• 超过 16 epoch：边际效用归零（loss 不再下降）。

把这个写成可改写的 scaling law，他们提出：

其中 $U_D$ 是 unique tokens，$R_D$ 是重复次数，$R_D^\star$ 是 effective-repeats 常数（约 15）。物理直觉：随着 $R_D$ 增大，等效 unique data 不再线性增长而是指数饱和到 $U_D \cdot R_D^\star$。

4.3 Lovelace 2026：更细粒度的 cutoff

Lovelace et al.（arXiv:2605.01640，2026）扩展了 Muennighoff——用更小步长扫 (N, U_N) 全空间，给出一张按 tokens/param 比值分段的 cutoff 表：

可操作版结论（按 tokens/param 比值 $D/N$ 分档）：

这比 Muennighoff 的单一阈值 4-epoch 细，对实际部署决策更有用——一个 70B 模型在 700B tokens 上（$D/N = 10$）可以安全重复 5 个 epoch，相当于 3.5T 等效 unique tokens；同一份 700B 数据在 7B 模型上（$D/N = 100$）则只能 1 epoch。

五、拟合的脆弱性 —— 一个 fitting playground

§2.5 提到 Pearce & Song 2024 reconcile 了 Kaplan vs Chinchilla。但还有一个更深的方法论问题被 Besiroglu et al.（arXiv:2404.10102）揭出：即使是 Chinchilla 论文自己的三种方法之间，结果也并不完全一致。

Besiroglu 从 Hoffmann 2022 论文的 Figure 4 反向抽取了原始 $(N, D, L)$ 数据点，用 L-BFGS-B 重做 Method 3 的 parametric fit。他们的发现：

• Hoffmann 报告的 Method 3 系数 $a = 0.46, b = 0.54$，与 Method 1/2 的 $a = b \approx 0.5$ 系统性偏离；
• 偏离原因是 L-BFGS-B 优化器对 Huber-loss averaging 的高 loss scale 不收敛，最终落在一个虚假的 saddle point；
• 把 loss averaging 改为 sum、改用更小的 Huber threshold 之后，Method 3 也回到 $a = 0.51, b = 0.49$，与另两种方法完美一致。

Chinchilla 论文的核心结论在数学上没错，但论文实际汇报的 Method 3 数字是一个数值优化 bug 的产物。

这件事真正重要的不在 Chinchilla 拟错了。它说明了一个更普遍的现象：scaling law 拟合对很多"看似无关"的工程细节高度敏感——loss 精度、噪声幅度、训练点的覆盖范围、优化器选择，每一个都可能让外推预测在数量级上飘走。下面是一个我做的交互式 playground，让你直观感受这种脆弱性。

值得做几个实验：

1. 把"loss 小数位"从 4 调到 2：拟合参数会显著漂——loss 精度低意味着小尺度信号被截断，残留的几个点能拟合的只是粗略斜率。
2. 把"噪声幅度"从 0.5‰ 拉到 5‰：训练点本身没变多少，但拟合的 $\alpha$ 会出现 0.01-0.05 的飘移，外推到 $N = 10^{15}$ 时 relative error 可能从 0.5% 跳到 5%+。
3. 切换"拟合区间"到"只用 N<10⁹"：用一小段窄区间拟合再外推 6 个数量级——典型的小模型拟 scaling law 然后外推到 frontier 场景。$\alpha$ 估计偏差几乎不可避免。
4. 极端组合：loss 小数位=2，噪声=3‰，区间=small——此时拟合的 $\alpha$ 与真值可以差 0.05+，外推 10 倍误差是常态。

这个 playground 复现的是 Besiroglu 2024 的核心 message：拟合 scaling law 只在拟合点附近能 trust；越外推越不可靠，且对工程细节高度敏感。Lilian Weng 在她的文章里也做了一个类似 widget（可惜是 ChatGPT 生成的，没用配色和双 panel 的诊断布局）——这个改写版用 Besiroglu 的实证 ground truth 把效应做得更直接。

工业上对这种脆弱性的实际防御：报 scaling law 时附带 confidence interval（Hoffmann 2022 原文没有，Besiroglu 复刻补上了）；外推系数对应的 compute 不要超过拟合数据 compute 的 100 倍；多种拟合方法相互 cross-check（这正是 Chinchilla 用三种 approach 的原因，也正是 Method 3 数值 bug 被发现的方式）。

六、越界训练：从 Compute-Optimal 到 Inference-Optimal

Chinchilla 论文发表后 11 个月，Meta 出 Llama 1。Llama 1 7B 用 1T tokens 训练——是 7B 模型 Chinchilla optimal (~140B tokens) 的 7 倍。Llama 2 把 7B/13B/70B 全部训到 2T tokens。Llama 3 8B 训 15T tokens（~1875 tokens/param，90 倍 Chinchilla optimal），405B 训 15.6T tokens（~38 tokens/param，接近 Chinchilla optimal 但稍多）。

为什么所有人都在 系统性地 偏离 Chinchilla？

2.1 训练成本一次性，推理成本无限次

Chinchilla 优化的是"训练 FLOPs 最小化"。但真实部署里，一个 base model 训完后要服务无数次推理。总成本是：

其中 $T_{\text{inference}}$ 是预期总推理 token 数，$\lambda$ 把 inference FLOPs 折算到训练 FLOPs 的相对单价。当 $\lambda \cdot T_{\text{inference}} \gg C_{\text{train}}$ 时（任何拿来产品化的 base model 都会落在这一档），优化目标从"min loss s.t. fixed train FLOPs"变成"达到目标 loss 的同时最小化推理参数量"。

Sardana et al. (arXiv:2401.00448, “Beyond Chinchilla-Optimal”) 给出了具体推导：在 Chinchilla 的 $\hat{L}(N, D)$ 形式下，引入推理成本后，optimal 解会向"更小 $N$、更大 $D$“偏移。给定推理量 $T_{\text{inference}}$ 越大，optimal $N$ 越小、optimal $D$ 越大。

直觉很好理解——多花 10× 训练 FLOPs 把 8B 模型训到比 70B 还强，节约的 每次 推理成本会在百万次调用后回本。Llama 3 系列、Mistral 7B 系列、Qwen 2.5 / 3 系列的"过度训练"全部基于这个推理摊销逻辑。

2.2 Llama 3 的工程结论

Llama 3 (arXiv:2407.21783) 是这套思路最系统的工程化。它把"重新做 scaling law"作为论文的一部分，结论是：

1. Chinchilla optimal 是 训练 FLOPs 最优的上界，不是 实用部署最优；
2. 对要部署的模型，应该训到 loss 曲线明显进入平台期 而非 Chinchilla optimal；
3. 数据 mix 不是匀质的，整个训练过程分为 (a) bulk pre-training 用 web 为主, (b) annealing phase 把 math/code/edu 占比拉高, (c) long context extension 把 context length 从 8K 推到 128K。

8B 模型训 15T tokens 不是任性，是因为 Llama 3 测出来 8B 在 15T 仍未收敛（loss 还在降）。基础设施侧：405B 模型用 16K H100，3D parallelism 配置 TP=8 / CP=8 / PP=16 / DP=16（4D 实际上，加了 context parallel），MFU 在 bf16 下 38%-43% 区间。

七、数据：从 token 数到 token 质

Chinchilla 隐含了一个假设——所有 token 等价。这个假设在 2022 还成立（大家都用 Common Crawl + 类似规模的 curated 数据集），但 2023 之后被一系列数据工程实验彻底推翻。

3.1 Pile → RefinedWeb：web alone is enough

The Pile (Eleuther 2020, arXiv:2101.00027) 是早期的"多源拼接"思路——Common Crawl + ArXiv + GitHub + Books + Wikipedia + … 共 22 个 subset。这个思路被 Falcon 团队的 RefinedWeb (arXiv:2306.01116) 挑战：他们证明只用 Common Crawl + 严格过滤/去重，能训出超过 Pile 多源混合的模型。核心动作是 MinHash 去重 + URL 黑名单 + 启发式质量规则。

RefinedWeb 的隐含命题是——多样性是 token 选择策略的副产品，不是 source 拼接的副产品。Common Crawl 已经隐含了人类所有写过的网页，关键是怎么挑。

3.2 FineWeb / FineWeb-Edu：质量分类器登场

HuggingFace FineWeb (2024) 把这个思路推到极致——15T tokens 全部来自 Common Crawl，过滤栈包括 Gopher quality filter、URL 启发式、line-level filter、MinHash dedup。但真正的 game changer 是 FineWeb-Edu：用 Llama-3-70B 给每个 sample 打"教育价值"分（0-5），保留 $\geq 3$ 的，最后得到 1.3T tokens 的高质子集。

ablation 数字非常震撼——同一架构 1.5T FineWeb-Edu 训出来的模型，能匹敌 5.4T 普通 FineWeb 训出来的模型。3.6× 数据质量杠杆，直接颠覆了 Chinchilla 隐含的"token 数等于训练价值"假设。

3.3 DCLM：把数据当 model search 一样系统化

DCLM (DataComp-LM, arXiv:2406.11794) 把数据过滤变成一个公开 benchmark——240T 候选 token pool，固定 model 架构和 compute budget，参赛者只能改数据过滤策略。这种"控住其他变量只看数据"的设计反向证明了哪些过滤是真的有用。

结论之一：fastText 二分类器（distilled from 强模型生成的正负样本）作为质量过滤器，比所有 perplexity-based / heuristic-based 方法都好。这等于说"用大模型蒸馏出来的判别器” > “人工启发式规则”，整个数据工程被改写成 self-distillation 范式。

7.4 数据墙

Villalobos et al. (arXiv:2211.04325, 2022 + 2024 update) 估算高质量英文文本 token 在 2026-2028 之间被耗尽——也就是从现在开始算 0-24 个月。三种应对路径：

1. 多模态扩展——图像、视频、音频 token 化进 transformer，VLA 也属于这个方向；
2. 合成数据——用强模型 self-play 或者 distill 生成新数据；
3. Multi-epoch——推翻 Chinchilla 隐含的 < 1 epoch 假设。具体 cutoff 已经在 §4.2-§4.3 给出（Muennighoff 4-epoch 等价、Lovelace 按 $D/N$ 分档），这里不再重复。

7.5 Annealing：多阶段训练

DeepSeek-V3 (arXiv:2412.19437) 14.8T tokens 的训练分明确的阶段：前期 bulk web、后期把 math/code 占比拉高、最后做 long-context extension。这种"训练过程中改数据 mix"跟 Chinchilla 的"匀速训练 + 单调 cosine 衰减"假设直接冲突——也正是 WSD scheduler 出现的根本原因（见 §8.5）。

重要边界：§4.1 Hernandez 的 double descent 结果对 annealing 数据混合给了一条具体约束——同一份数据的重复比例要么 < 5%、要么 > 50%，中间是 dead zone。DeepSeek-V3 后期把高质 math/code 占比拉到 30% 以上，本质上就是"超过 dead zone 进入 memorize 区"。

八、让 4096 卡协同工作：训练基建

Chinchilla 只回答了 $(N, D)$ 该多大。它没回答"在 16K 张 H100 上训 405B 怎么不炸"。这部分基建工程在 Chinchilla 之外独立演进，2026 年的 SOTA 训练栈包含这些组件。

4.1 4D + 并行的切分逻辑

flowchart TB
    subgraph Cluster["训练集群（如 16K GPUs）"]
        subgraph DP["DP × 16
数据并行
每路看不同 batch"]
            subgraph PP["PP × 16
流水线并行
按 layer 切"]
                subgraph TP["TP × 8
张量并行
把 W 矩阵切片"]
                    subgraph CP["CP × 8
上下文并行
沿 seq 维切 attention"]
                        GPU[单 GPU]
                    end
                end
            end
        end
    end

    note1["DP × PP × TP × CP = 总 GPU 数
每多一维并行 → 多一组通信开销"]

DP (data parallel)：每个 replica 持有完整模型，看不同 batch 数据，反向传播后 all-reduce 梯度。简单粗暴，通信代价跟模型大小成正比。

TP (tensor parallel, Megatron)：把 $W$ 矩阵按列或行切到多卡。前向时每个 GPU 算一片，输出 all-gather；反向类似。通信发生在每一层，吃带宽，所以 TP 几乎只在单节点 NVLink 域内使用（典型 TP=8）。

PP (pipeline parallel)：按 layer 切，第 1-10 层在 GPU 0，11-20 层在 GPU 1 …。micro-batch 在流水线上前推后传。bubble 问题严重，1F1B / interleaved schedule 把 bubble 压到 ~10-20%。

EP (expert parallel)：MoE 专用——不同 expert 放不同 GPU，token 按 router 决定去哪。本质是 all-to-all 通信。DeepSeek-V3 用 EP=64 跨 8 节点。

SP (sequence parallel)：把 sequence 维度切到多 GPU，省 activation 显存（attention/norm 的 input/output 在 seq 维 sharded）。Megatron 论文里跟 TP 配对出现。

CP (context parallel, Ring Attention)：长上下文专用。把 KV 沿 seq 维切，attention 计算时在 ring 上轮转 KV block。Llama 3 训 128K context 时启用 CP=8。

ZeRO 1/2/3 (arXiv:1910.02054) 是 DP 的优化变体：

• ZeRO-1 切 optimizer states（Adam 的 m, v）；
• ZeRO-2 在此基础上切 gradient；
• ZeRO-3 把 parameter 也切了——前向时按需 all-gather，反向后释放。

ZeRO-3 与 FSDP (PyTorch 原生实现) 等价。DeepSpeed 与 FSDP 是当前主流 DP shard 实现。

4.2 MFU：训练效率的体温计

MFU (Model FLOPs Utilization) = (实际达到的训练 FLOPs/s) / (硬件理论峰值 FLOPs/s)。这个指标揭示一切——通信 overhead、pipeline bubble、recompute、kernel 不优，全部反映在 MFU 上。

把 MFU 从 30% 拉到 45% 是工程的核心战场。手段无外乎：更好的 kernel fusion (FlashAttention 1/2/3)、更精细的 overlap（compute 跟通信 overlap）、更优的 schedule（DeepSeek 的 DualPipe）、更激进的 recompute 策略（trade 显存换 compute）。

4.3 FP8 训练

bf16 + fp32 master weight 是 2020-2023 的标配——forward / backward 在 bf16，optimizer 维护 fp32 拷贝以保持 numerical stability。FP8 把训练精度再砍一半，单卡吞吐翻倍、显存减半，但稳定性挑战巨大——FP8 只有 4 bits exponent + 3 bits mantissa（E4M3）或 5+2（E5M2），动态范围极窄。

DeepSeek-V3 是 FP8 训练首个公开的大规模工业实现。关键 trick 是 fine-grained quantization：

• Activation：per-token + per-128-channel 一个 scaling factor；
• Weight：per-128×128 block 一个 scaling factor；
• 累加在 CUDA core 上做（不是 tensor core），保持高精度。

这种分块量化让 FP8 在 671B/14.8T 训练上跑通，且 loss 曲线跟 BF16 baseline 几乎重合。

4.4 μP：超参在宽度上 transfer

Tensor Programs V (Yang et al., arXiv:2203.03466) 提出 μP (Maximal Update Parameterization)。常规参数化下，给一个模型扫出最优 lr 后换更宽的模型，原 lr 不再 optimal——你必须在大模型上重新扫超参，但大模型扫一次超参的成本可能就是几百万。

μP 的核心做法是给每层的 init scale 和 lr scale 配上特定的 width-dependent 因子，让"infinite-width limit"下 forward/backward 的 magnitude 不随 width 变。结果是——在小模型上扫好的超参，可以直接搬到大模型上用。GPT-4 训练前的超参扫描据传基于 μP，DeepSeek-V3 论文也明确提到使用 μP-style 超参 transfer。

4.5 WSD 替代 Cosine

Cosine schedule 的根本约束是：必须事先定 total steps，schedule 一旦开始无法延长。如果训练中途想多训 100B tokens，要么把 cosine 重启（lr 跳变破坏稳定性），要么忍受 lr 已经降到 minimum 训不动。这跟数据 annealing、多阶段训练的需求完全冲突。

WSD (Warmup-Stable-Decay) scheduler 是 MiniCPM (arXiv:2404.06395) 提出的替代方案：

• Warmup phase：lr 从 0 升到 peak，少量步数；
• Stable phase：lr 在 peak 保持不变，任意长；
• Decay phase：训练即将结束时 lr 衰减到 ~10% peak（线性或 cosine 都行）。

关键性质——stable phase 可以无限延长。想多训 100B tokens？继续 stable。想 release 一个 checkpoint？切到 decay。MiniCPM 实证 WSD 在 final loss 上不逊于 cosine，但灵活性碾压。Llama 3 / DeepSeek-V3 / Qwen 系列都在用类似策略。

4.6 稳定性：loss spike 与防爆装备

训大模型最痛的不是收敛慢，是 loss spike——某一步 loss 从 2.3 跳到 10+，gradient 爆炸，模型崩。PaLM 论文记录过：在 540B 训练中遇到 spike 时回滚到 spike 前 100 步的 checkpoint，跳过那段数据继续训。这种"诊断 - 回滚 - 跳过"成为大模型训练的标准 SOP。

防御性装备：

• QK norm：在 attention 计算 $QK^T$ 前对 Q 和 K 单独 LayerNorm（Llama 3 用），防 attention logits 数值爆炸；
• z-loss：约束 output logits 的 log-sum-exp 不漂（防 softmax 数值不稳）；
• gradient clipping：全局 grad norm 卡 1.0；
• 更小的 init：用 Megatron 推荐的 $\sigma = 0.02 / \sqrt{2L}$（L 是层数）；
• bf16 全程：fp16 的 dynamic range 不够，几乎所有现代训练都换成 bf16。

九、Post-training 演化谱系

Pre-training 出来的是一个能续写 web 文本的 base model，远不是对话助手或者推理引擎。Post-training 这一层从 InstructGPT 出现以来快速演化，谱系大致是：

flowchart LR
    Base["Pre-trained
Base Model"] --> SFT["SFT
(InstructGPT 2022)"]
    SFT --> RLHF_PPO["RLHF-PPO
+ reward model
+ value head"]
    SFT --> DPO["DPO (2023)
去掉 reward model"]
    DPO --> DPOfamily["IPO / ORPO / SimPO / BCO
preference learning 家族"]
    RLHF_PPO --> GRPO["GRPO (DeepSeek-Math 2024)
去掉 value head"]
    GRPO --> R1["R1 (2025)
verifiable rewards
+ cold-start CoT"]

    style Base fill:#1e293b,stroke:#64748b,color:#f1f5f9
    style R1 fill:#1e293b,stroke:#fde047,color:#fde047

5.1 SFT：让模型学"对话"格式

最直白的一步——找 10k-100k 高质量 instruction + response 对，用 next-token loss 训。损失只对 response 部分计算（mask 掉 prompt 部分的 loss）。SFT 的本质是让模型学 对话格式 和 常见任务的标准回答模式，并不增加模型的知识或推理能力。

5.2 RLHF with PPO：经典三件套

InstructGPT (arXiv:2203.02155) 的流程：

1. SFT 模型作为起点 $\pi_{\text{ref}}$；
2. 用人类标注的 pairwise preference 训一个 reward model $r_\phi$；
3. 用 PPO 优化策略 $\pi_\theta$，目标是

KL penalty 阻止模型为了 maxim reward 而漂离 ref 太远。PPO 实现里要再训一个 value head 估计每个 token 的预期 return，做 advantage estimation。

缺点很明显：四个模型同时挂在显存里（policy / ref / reward / value），训练不稳，对 reward hacking 高度敏感。

5.3 DPO：把 RL 化简为分类

DPO (arXiv:2305.18290) 的关键洞察来自 KL-regularized RL 的 closed-form 最优解：

反向解出 $r(x, y) = \beta \log \frac{\pi^\star(y|x)}{\pi_{\text{ref}}(y|x)} + \beta \log Z(x)$。这意味着——reward 跟 $\log(\pi / \pi_{\text{ref}})$ 是一一对应的，根本不需要单独训 reward model。直接把 preference 数据上的 Bradley-Terry log-likelihood 写成：

四件套缩成两件——只要 policy 和 ref。训练像分类一样简单，loss 一阶可导，不要 sampling。

DPO 之后出现了一整个 preference learning 家族：

• IPO (Identity Preference Optimization)：用 squared loss 替代 sigmoid，避免 chosen reward 无界增长；
• ORPO (Odds Ratio PO)：把 SFT 和 preference 合并到一个 loss，省一个 stage；
• SimPO：发现 reference model 其实可去——直接对 chosen/rejected 的 length-normalized log-prob 做 margin loss；
• BCO (Binary Classification Optimization)：preference 转成 binary 标签（“这个回答好吗 0/1”）。

每个变种都在 简化 或 绕过 经典 PPO 的某个痛点。

5.4 GRPO：把 PPO 的 value head 也去掉

DeepSeek-Math (arXiv:2402.03300) 提出 GRPO (Group Relative Policy Optimization)。思路：对每个 prompt sample $G$ 个 response，组内归一化 reward 当作 advantage——不需要 value head：

其余按 PPO 框架走（importance ratio + clip + KL penalty）。少了 value head 直接省一半显存和一半模型，对大模型 RL 友好。GRPO 后来被 DeepSeek-R1 用纯 + 规则 reward 推到极致。

5.5 R1 / RL with Verifiable Rewards

DeepSeek-R1 (arXiv:2501.12948, 2025-01) 的关键创新是 verifiable rewards：math 题答案对错可判（match 数字）、code 题 unit test 跑通可判（return code）。这种规则可判的 reward 完全消除了 reward model 带来的 reward hacking——你 hack 不了"答案是否正确"。

整个 pipeline 是：

1. R1-Zero：直接对 base model 做纯 GRPO + verifiable rewards，没有 SFT。涌现出"reflection" / “wait, let me reconsider” 等长 CoT 行为，但可读性差；
2. R1：先用少量 long-CoT cold-start SFT 把可读性带起来，再 GRPO；
3. Distill：用 R1 生成的 CoT 数据 SFT 小模型（7B/14B/70B），把 reasoning 能力蒸馏到小尺寸。

R1 的更深刻含义是——对于推理类任务，post-training 的 RL 杠杆已经超过 pre-training 的 token 杠杆。同一 base model 加上一轮规则可验证 reward 的 RL，能在 MATH/AIME/MMLU-STEM 上拉出十几个点。这是 Chinchilla 完全没预测到的——它假设 loss 跟下游能力线性，但 reasoning 的 emergence 不在那条曲线上。

十、专家段：VLA 训练栈与 §1-§5 科学结论的对接

VLA finetuning 是一个独特的场景——它既继承 LLM 训练栈的所有工程组件（§6-§9），又因为多模态输入 + 异构 loss 结构（next-token + flow matching + action regression）让 §1-§5 的科学结论需要重新解读。本节分两层：10.1 把 §1-§5 每条科学结论投影到 VLA；10.2 把 §6-§9 的工程版图映射到 VLA 实操。参考点是 Qwen-VLA 公开 paper（arXiv:2605.30280）的训练 recipe (T2A → CPT → SFT → RL) 与 公开 LLaMA-Factory 主线。

10.1 §1-§5 科学结论在 VLA 上的投影

§1 前史：Hestness 2017 的"斜率约 −0.30 跨架构稳定"在 VLA 上不直接成立——VLA 的复合 loss（next-token + flow matching + action L2）让单一 power law 拟合本身就是个错误问题。这条结论应反过来用：VLA 团队 publish 自己的 scaling law 时，应该按 sub-loss 分别拟合而非合并平均。Qwen-VLA paper 的 T2A 阶段（纯 action loss）和 SFT 阶段（混合 loss）的训练曲线斜率不同——这本来就该是两条独立的 scaling line。

§2.5 Pearce & Song reconcile：VLA 模型集中在 100M-5B 参数区间，正好落在 Lilian 文章中那条"local exponent $g$ 出现 ~0.7 虚假高峰"的 transition 区段。这意味着——当前所有 VLA 团队 publish 的 scaling law 数字大概率不可信，外推到更大模型时跟实测有显著 gap。任何团队都不应该用现有 VLA scaling fit 决策"是不是该训 50B 模型"——会落进 Kaplan 同款的陷阱。

§2.6 $C = 6ND$ 不再适用：VLA 不是 vanilla transformer——VLM frozen + DiT trainable + action head + vision tower 各自的 FLOPs 比例完全不同。正确做法：分模块算 FLOPs/token，frozen 部分只算 forward（2N），trainable 部分算 forward+backward（6N），多 token 类型（image token / text token / action chunk）各自的 sequence length 单独乘。这才是 VLA 训练 cost 的真实公式。

§3 Why power law：VLA 的"emergent capabilities"（pick-and-place → insertion → bimanual coordination → tool use）更符合 §3.2 Michaud-Brill 的 quantization 理论而非 Sharma-Kaplan 流形理论——能力是离散解锁的。这对 evaluation 的影响很大：用 mean success rate 评 VLA 会把 emergent 信号平均掉，应该按任务难度档位分别报告 success rate（与 R1 在 reasoning 上的 ladder evaluation 同构）。

§4.2-§4.3 Lovelace 重复 cutoff：VLA 数据天然稀缺（高质量真机轨迹收集成本极高），$D/N$ 比值经常 < 25——按 Lovelace 2026 的细化 cutoff，安全可重复 5 个 epoch。这给"VLA 训练应该跑几个 epoch"一个 grounded 的答案——按 $D/N$ 算而非经验拍 1-3 epoch。例如一个 5B VLA 训 50M action chunks（$D/N = 10$），可以放心 5 epoch；同一份数据训 1B 模型（$D/N = 50$）只能 2-3 epoch。

§4.1 Hernandez double descent：VLA 数据混合策略要小心 dead zone——同一份高质量真机演示（如 hard task）的重复比例要么 < 5%、要么 > 50%，10-40% 区间反而会让 loss 比"全 fresh"更差。这条直接约束了 RLHF / DPO 阶段 mining hard examples 的混入比例。

§5 拟合脆弱性：VLA 团队 publish 的 (model size, training steps, success rate) 数据点通常只有 3-5 个，比 Chinchilla 用的几十个还少。按 §5 的 playground 直觉——3-5 点 fit 出来的 scaling 系数误差能达到 0.1+，外推 1 个数量级以上完全不可信。任何 VLA scaling law claim 都应该看 (a) 数据点数 ≥ 10、(b) confidence interval 是否报告、(c) 外推距离是否 < 拟合区间的 100 倍——三个条件少一个就只能当 hypothesis 不能当结论。

10.2 §6-§9 工程版图在 VLA 场景的对应

把 §6-§9 的训练栈逐条映射到 VLA finetuning：

10.3 几个值得思考的 leverage 点

下面这些方向以 LLaMA-Factory 主线和 Qwen-VLA paper 为双锚点，每条都挂到 §1-§9 的具体出处：

(a) 用 GRPO 取代 PPO 做 VLA closed-loop RL（§9.4-9.5）。LLaMA-Factory 主线的 PPO trainer（src/llamafactory/train/ppo/trainer.py）还是 value head + reward model 框架。VLA 任务的 verifiable rewards 天然丰富，把 GRPO 实装（约 200 行代码）省下 reward model + value head 两份显存。对 ~5B VLA 是 large lever，长尾场景（路口博弈、罕见 cut-in、复杂双臂协调）杠杆明显。

(b) Inference-aware overtraining 适用于 VLA（§6）。Qwen3-VL-2B / Qwen3.5-4B 这些 base 已经超训。VLA stage 应该看 eval loss 平台期 而非 epoch 数，WSD scheduler 的 stable phase 应拉长到 loss 真正进入平台。这条对 Qwen-VLA paper 的 Stage III SFT 同样成立。

(c) WSD + stage-aware sampling 组合（§7.5 + §8.5）。单 stage 内分段：前 80% 均匀、后 20% hard mining + lower lr。callback 层切换 sampler 重权，工程改动几十行。

(d) 用 Lovelace cutoff 决策 VLA epoch 数（§4.3）。VLA 团队通常拍脑袋训 1-3 epoch。按 Lovelace 的细化 cutoff：$D/N < 25$ 安全 5 epoch；25-100 安全 2-3 epoch；>100 只能 1 epoch。这是个 30 分钟工作量的改动，但能把"该不该多训"从经验决策变成 grounded 决策。

(e) VLA scaling law 自己重做（§1.1 + §5）。Chinchilla 的 $L(N, D)$ 是 text-only 拟合的。VLA 复合 loss 应该按 sub-loss 分别拟合 scaling line（next-token / flow-matching / action L2 各一条），任何团队在多 (base size, training tokens, data mix) 下的 systematic 消融都是给社区贡献。但要按 §5 标准：数据点数 ≥ 10、报 CI、外推距离 < 100×。否则 publish 的就是 unreliable claim。

(f) FP8 在 VLA 场景的命中率值得测（§8.3）。LLaMA-Factory 主线的 fp8_utils.py 默认 module filter 跳过维度不被 16 整除的层。Qwen3-VL / Qwen3.5 的 vision tower 里有几个不规则维度的层会 fallback 到 bf16。部署前 trace GEMM kernel 统计 FP8 vs fallback 比例。fallback > 40% 先考虑修齐 vision tower 维度。

(g) 多优化器在异构 VLA 模型上的横评（§8 延伸）。LLaMA-Factory 主线支持 AdamW / GaLore / Apollo / LoRA+ / BAdam / Adam-mini / Muon。Muon 在 LM pretraining 上 wall-clock 效率更好，但 VLA 是异构结构——是否需要分模块用不同优化器（VLM 用 AdamW 保稳定、action head 用 Muon 求快）业内没系统数据。是 controlled experiment 友好的开放问题。

十一、收束

回顾一下完整的论证链：scaling law 在 Hestness 2017 就被实证为跨任务、跨架构的稳定经验（§1.1）；Rosenfeld 2020 给出二元闭式解（§1.2）；Kaplan 2020 因 cosine schedule + embedding parameter + 小模型主导三个因素拟出错误指数（§2.1, §2.5）；Chinchilla 2022 用三种独立方法验证 $a = b \approx 0.5$（§2.2）；Pearce & Song 2024 把 Kaplan vs Chinchilla 的表面分歧统一在同一条曲线上（§2.5）；Besiroglu 2024 揭出 Chinchilla 论文自己的 Method 3 数字是数值优化 bug（§5）；Sharma-Kaplan 和 Michaud-Brill 给出两套相互竞争的"为什么是 power law"理论（§3）；Hernandez / Muennighoff / Lovelace 把数据受限区域的 cutoff 量化到可操作（§4）。这套科学叙述非常清楚，但有一个反复出现的 disclaimer——拟合 scaling law 只在拟合点附近可信（§5 playground 让你亲手感受到这一点）。

然后行业的实际走向是：所有 SOTA 模型 系统性地偏离 Chinchilla 的字面 prescription，但每次偏离都建立在它的框架之上、用它的工具集证明自己合理。Llama 系列的越界训练（§6）是为了推理摊销，DCLM 把数据当 model search（§7）是质量杠杆 > 数量杠杆，DeepSeek-R1 把 post-training RL 推到 emergence（§9）是绕开 pre-training 数据墙的另一条路径。每一步都是"在 Chinchilla 的坐标系里走出 Chinchilla"。

对做 VLA、做 domain finetuning 的实践者——§10 的 7 条 leverage 点（GRPO 替代 PPO、Lovelace cutoff 决策 epoch、WSD + stage-aware sampling、VLA scaling law 按 sub-loss 拟合、FP8 命中率实测、Muon 在异构模型上的表现、SimPO 在 VLA 上的横评）都是边际收益清晰、改动量可控的方向。其中 (e) “VLA scaling law 自己重做"特别值得做——VLA 训练点数据稀缺、复合 loss、模型尺寸正落在 Kaplan/Chinchilla 那个虚假"高峰"区段，这三个特征叠起来意味着任何严肃做出来的 VLA scaling 工作，都是对社区有显著贡献的实证基础。这正是 §1.1 Hestness 在 NLP 上做过的事，只是换了一个 domain。

References

1. Hoffmann et al., “Training Compute-Optimal Large Language Models,” arXiv:2203.15556, 2022.
2. Kaplan et al., “Scaling Laws for Neural Language Models,” arXiv:2001.08361, 2020.
3. Touvron et al., “Llama 2: Open Foundation and Fine-Tuned Chat Models,” arXiv:2307.09288, 2023.
4. Grattafiori et al., “The Llama 3 Herd of Models,” arXiv:2407.21783, 2024.
5. Sardana et al., “Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws,” arXiv:2401.00448, 2024.
6. Penedo et al., “The RefinedWeb Dataset for Falcon LLM,” arXiv:2306.01116, 2023.
7. Penedo et al., “The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale,” arXiv:2406.17557, 2024.
8. Li et al., “DataComp-LM: In search of the next generation of training sets for language models,” arXiv:2406.11794, 2024.
9. Villalobos et al., “Will we run out of data? Limits of LLM scaling based on human-generated data,” arXiv:2211.04325, 2022/2024.
10. Muennighoff et al., “Scaling Data-Constrained Language Models,” arXiv:2305.16264, 2023.
11. DeepSeek-AI, “DeepSeek-V3 Technical Report,” arXiv:2412.19437, 2024.
12. Shoeybi et al., “Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism,” arXiv:1909.08053, 2019.
13. Rajbhandari et al., “ZeRO: Memory Optimizations Toward Training Trillion Parameter Models,” arXiv:1910.02054, 2020.
14. Yang et al., “Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer,” arXiv:2203.03466, 2022.
15. Hu et al., “MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies,” arXiv:2404.06395, 2024.
16. Ouyang et al., “Training language models to follow instructions with human feedback (InstructGPT),” arXiv:2203.02155, 2022.
17. Rafailov et al., “Direct Preference Optimization: Your Language Model is Secretly a Reward Model,” arXiv:2305.18290, 2023.
18. Shao et al., “DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (GRPO),” arXiv:2402.03300, 2024.
19. DeepSeek-AI, “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning,” arXiv:2501.12948, 2025.
20. Meng et al., “SimPO: Simple Preference Optimization with a Reference-Free Reward,” arXiv:2405.14734, 2024.

Scaling law 科学叙述补充引用（§1-§5 新增）：

21. Weng, Lilian, “Scaling Laws, Carefully,” Lil’Log, June 2026. link — 本次升级的主要参考；前史、Why power law、拟合脆弱性三段直接借鉴她的整理。
22. Hestness et al., “Deep Learning Scaling is Predictable, Empirically,” arXiv:1712.00409, 2017.
23. Rosenfeld et al., “A Constructive Prediction of the Generalization Error Across Scales,” arXiv:1909.12673 / arXiv:2004.10802, 2019/2020.
24. Bahri et al., “Explaining Neural Scaling Laws,” arXiv:2102.06701, 2021.
25. Sharma & Kaplan, “A Neural Scaling Law from the Dimension of the Data Manifold,” arXiv:2004.10802, 2020.
26. Pearce & Song, “Reconciling Kaplan and Chinchilla Scaling Laws,” arXiv:2406.12907, TMLR 2024.
27. Besiroglu et al., “Chinchilla Scaling: A Replication Attempt,” arXiv:2404.10102, 2024.
28. Michaud et al., “The Quantization Model of Neural Scaling,” arXiv:2303.13506, NeurIPS 2023.
29. Brill, “Neural Scaling Laws Rooted in the Data Distribution,” arXiv:2412.07942, 2024.
30. Hernandez et al., “Scaling Laws and Interpretability of Learning from Repeated Data,” arXiv:2205.10487, 2022.
31. Lovelace et al., “Prescriptive Scaling Laws for Data Constrained Training,” arXiv:2605.01640, 2026.

相关阅读

• DeepSeek-V2 MLA 解读 — KV cache 压缩，是 §8 训练基建里 attention 部分的延伸
• Qwen3.5 vs Qwen3 架构对比 — 现代 LLM 架构演进的另一个视角，跟本文 §8 互补
• Qwen-VLA — VLA 训练栈的具体应用案例，呼应本文 §10