扩散模型的变分基础：从 ELBO 到去噪

DDPM 前向/反向过程的基础推导见扩散模型与自动驾驶规划，本文聚焦变分下界的分解与最优参数化。

从直觉出发：拆楼与建楼

DDPM 的核心思想可以用一个朴素的类比来理解：一栋大楼（数据）可以逐步拆解为砖瓦水泥（噪声），反过来，学会拆楼的逆过程就能从砖瓦水泥重建大楼。这个类比的核心在于：逐步拆比一步拆更可控。如果一次爆破将大楼瞬间化为废墟，从废墟中重建大楼几乎不可能——因为信息丢失太严重，逆过程极度复杂。但如果每步只拆一小部分，每步的变化都很小，那么每步的逆过程也足够简单，可以用一个简单的高斯分布来描述。

这就是为什么 DDPM 需要 $T=1000$ 步前向过程：使相邻步足够接近，每步之间的欧氏距离足够小，后验分布 $q(x_{t-1}|x_t, x_0)$ 更接近高斯。步数越多，单步变化越小，变分下界越紧致，训练信号越有效。

苏剑林在《生成扩散模型漫谈（一）》中刻意绕开了 ELBO 和变分推断的框架，仅利用正态分布的叠加性就推导出了与原论文一致的训练损失——从 $x_t = \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\varepsilon$ 出发，直接对 $\varepsilon$ 做 MSE 回归即得到 $L_{\text{simple}}$ 。这证明了理解 DDPM 并不需要先掌握变分推断；变分框架提供的是更严格的理论基础和更丰富的分析工具。下面我们用变分框架来形式化这个直觉。

一、生成模型的变分框架

生成模型的核心任务是建模数据分布 $p(x)$ 。当分布过于复杂而无法直接写出解析形式时，变分推断提供了一条迂回的路径：不直接优化 $\log p(x)$ ，而是优化它的一个下界——证据下界（Evidence Lower Bound, ELBO）。

1.1 ELBO 的两种推导路径

路径一：Jensen 不等式。 对数据对数似然 $\log p(x)$ 引入潜变量 $z$ ：

\log p(x) = \log \int p(x, z)\, dz = \log \int \frac{p(x, z)}{q(z|x)} \cdot q(z|x)\, dz

由 Jensen 不等式，将对数移入积分内部：

\log p(x) \geq \int q(z|x) \log \frac{p(x, z)}{q(z|x)}\, dz = \mathbb{E}_{q(z|x)}\left[\log \frac{p(x, z)}{q(z|x)}\right] := \mathcal{L}_{\text{ELBO}}

路径二：KL 散度分解。 从 KL 散度的非负性出发：

\text{KL}(q(z|x) \| p(z|x)) = \mathbb{E}_{q(z|x)}\left[\log \frac{q(z|x)}{p(z|x)}\right] \geq 0

将 $p(z|x) = p(x,z)/p(x)$ 代入并展开：

\mathbb{E}_{q(z|x)}\left[\log \frac{q(z|x) \cdot p(x)}{p(x, z)}\right] \geq 0

移项即得：

\log p(x) \geq \mathbb{E}_{q(z|x)}\left[\log \frac{p(x, z)}{q(z|x)}\right] = \mathcal{L}_{\text{ELBO}}

两种路径殊途同归。Jensen 不等式路径简洁但缺乏直觉，KL 散度路径则揭示了更深层的信息：ELBO 与 $\log p(x)$ 之间的差距恰好是近似后验与真实后验之间的 KL 散度：

\log p(x) = \mathcal{L}_{\text{ELBO}} + \text{KL}(q(z|x) \| p(z|x))

因此，最大化 ELBO 等价于最小化近似后验与真实后验之间的距离。这一等价性是整个变分推断的理论基石。

1.2 从 ELBO 到 VAE：变分自编码器的训练目标

将 ELBO 进一步分解：

\mathcal{L}_{\text{ELBO}} = \underbrace{\mathbb{E}_{q(z|x)}[\log p(x|z)]}_{\text{重构项}} - \underbrace{\text{KL}(q(z|x) \| p(z))}_{\text{正则项}}

这正是 VAE 的训练目标：重构项确保潜变量保留了数据信息，正则项将近似后验约束在先验附近。VAE 的根本局限在于：当后验 $q(z|x)$ 是简单的高斯分布时，它无法捕捉数据的复杂多模态结构。

DDPM 的根本改进在于：将单步编码替换为 $T$ 步渐进编码，每步只做极小的变换，使得每一步的后验都接近高斯——从而使得变分下界变得紧致。

二、DDPM 的变分下界

2.1 DDPM 作为多步 VAE

DDPM 的潜变量是整个噪声序列 $x_{1:T}$ ，前向过程 $q(x_{1:T}|x_0)$ 充当编码器，反向过程 $p_\theta(x_{0:T})$ 充当解码器。变分下界可以写为：

\log p_\theta(x_0) \geq \mathbb{E}_q\left[\log \frac{p_\theta(x_{0:T})}{q(x_{1:T}|x_0)}\right]

将联合分布展开为马尔可夫链的乘积：

p_\theta(x_{0:T}) = p(x_T) \prod_{t=1}^{T} p_\theta(x_{t-1}|x_t), \quad q(x_{1:T}|x_0) = \prod_{t=1}^{T} q(x_t|x_{t-1})

代入并取负值，得到负变分下界：

L = \mathbb{E}_q\left[-\log \frac{p_\theta(x_{0:T})}{q(x_{1:T}|x_0)}\right] = \mathbb{E}_q\left[\underbrace{-\log p(x_T)}_{L_T} + \sum_{t=2}^{T} \underbrace{\log \frac{q(x_t|x_{t-1})}{p_\theta(x_{t-1}|x_t)}}_{L_{t-1}} \underbrace{- \log p_\theta(x_0|x_1)}_{L_0}\right]

2.2 三项分解的物理意义

$L_T$ ：先验匹配项。 这一项衡量前向过程最终时刻的分布 $q(x_T|x_0)$ 与先验 $p(x_T)$ 之间的距离：

L_T = D_{\text{KL}}(q(x_T|x_0) \| p(x_T))

当 $\bar{\alpha}_T \to 0$ 时， $q(x_T|x_0) \approx \mathcal{N}(0, I)$ ，此时 $L_T \approx 0$ 。这不是训练出来的——只要噪声调度设计得足够大（即 $T$ 足够大、 $\beta_t$ 足够激进），前向过程自然会将数据分布抹平为标准高斯。因此 $L_T$ 与模型参数无关，是常量。

$L_{t-1}$ ：去噪匹配项。 这是训练的核心。每一项是一个 KL 散度：

L_{t-1} = D_{\text{KL}}(q(x_{t-1}|x_t, x_0) \| p_\theta(x_{t-1}|x_t))

真实的反向转移 $q(x_{t-1}|x_t, x_0)$ 以 $x_0$ 为条件时是解析高斯，而模型 $p_\theta(x_{t-1}|x_t)$ 学习逼近这个高斯。关键在于：模型不知道 $x_0$ ，必须从 $x_t$ 推断 $x_0$ 的信息——这就是"去噪"的含义。

$L_0$ ：数据重构项。 这是从 $x_1$ 重构 $x_0$ 的离散解码项。Ho et al. (2020) 将其处理为从高斯分布中提取离散像素值的概率，但在实践中其贡献很小。

ELBO 三项分解

Loading visualization...

变分下界的三项贡献随噪声调度形状的变化。拖动滑块切换线性/余弦调度，观察各项损失的相对变化。

const W = container.clientWidth;
const H = container.clientHeight;
const margin = {top: 30, right: 30, bottom: 50, left: 60};
const iW = W - margin.left - margin.right;
const iH = H - margin.top - margin.bottom;

const svg = d3.select(container).append("svg")
  .attr("width", W).attr("height", H);
const g = svg.append("g")
  .attr("transform", `translate(${margin.left},${margin.top})`);

// Controls
const controls = d3.select(container).append("div")
  .attr("style", "text-align:center; margin-top:8px; font-size:13px;");

controls.append("span").text("噪声调度: ");
const schedBtns = controls.selectAll("button")
  .data(["linear", "cosine"]).enter().append("button")
  .text(d => d === "linear" ? "线性" : "余弦")
  .attr("style", "margin:0 6px; padding:2px 10px; cursor:pointer; border:1px solid #999; border-radius:3px; background:#f9f9f9;")
  .on("click", function(event, d) {
    schedBtns.attr("style", "margin:0 6px; padding:2px 10px; cursor:pointer; border:1px solid #999; border-radius:3px; background:#f9f9f9;");
    d3.select(this).attr("style", "margin:0 6px; padding:2px 10px; cursor:pointer; border:1px solid #3b82f6; border-radius:3px; background:#dbeafe;");
    update(d);
  });

// Schedule functions
function linearBeta(t, T) {
  const betaStart = 1e-4, betaEnd = 0.02;
  return betaStart + (betaEnd - betaStart) * t / T;
}
function cosineAlphaBar(t, T) {
  const s = 0.008;
  const f = Math.cos(((t / T + s) / (1 + s)) * Math.PI / 2);
  return f * f;
}

// Compute ELBO terms
function computeTerms(schedule) {
  const T = 1000;
  const data = [];
  for (let t = 1; t <= T; t += 5) {
    let alphaBar, alphaBarPrev;
    if (schedule === "linear") {
      let cumAlpha = 1;
      for (let i = 1; i <= t; i++) cumAlpha *= (1 - linearBeta(i, T));
      alphaBar = cumAlpha;
      let cumAlphaPrev = 1;
      for (let i = 1; i < t; i++) cumAlphaPrev *= (1 - linearBeta(i, T));
      alphaBarPrev = t === 1 ? 1 : cumAlphaPrev;
    } else {
      alphaBar = cosineAlphaBar(t, T);
      alphaBarPrev = t === 1 ? 1 : cosineAlphaBar(t - 1, T);
    }
    // L_T: KL(q(x_T|x_0) || p(x_T)) ~ (alphaBar_T - 1)^2/2 for small
    // L_{t-1}: proportional to (1 - alpha_t)^2 / (2 * alpha_t * (1 - alphaBar_t))
    const beta_t = schedule === "linear" ? linearBeta(t, T) : (1 - alphaBar / alphaBarPrev);
    const L_prior = t >= T - 5 ? (1 - alphaBar) : 0; // Only meaningful at T
    // Simplified: denoising KL divergence per step
    const L_denoise = 0.5 * beta_t * beta_t / ((1 - alphaBar) * (1 - alphaBarPrev || 1e-8));
    data.push({
      t, alphaBar, beta_t,
      L_prior: Math.min(L_prior * 50, 5),
      L_denoise: Math.min(L_denoise * 1000, 5),
      L_recon: Math.min(-0.5 * Math.log(alphaBar) * 0.5, 5)
    });
  }
  return data;
}

// Scales
const xScale = d3.scaleLinear().domain([0, 1000]).range([0, iW]);
const yScale = d3.scaleLinear().domain([0, 5]).range([iH, 0]);

// Axes
g.append("g").attr("transform", `translate(0,${iH})`).call(d3.axisBottom(xScale).ticks(10)).append("text").attr("x", iW/2).attr("y", 35).attr("fill","#555").attr("text-anchor","middle").text("时间步 t");
g.append("g").call(d3.axisLeft(yScale).ticks(5)).append("text").attr("transform","rotate(-90)").attr("x",-iH/2).attr("y",-45).attr("fill","#555").attr("text-anchor","middle").text("损失贡献（归一化）");

// Grid
g.append("g").attr("class","grid").call(d3.axisLeft(yScale).ticks(5).tickSize(-iW).tickFormat("")).selectAll("line").attr("stroke","#eee");

// Lines
const colors = {L_prior: "#ef4444", L_denoise: "#3b82f6", L_recon: "#10b981"};
const labels = {L_prior: "$L_T$ 先验匹配", L_denoise: "$L_{t-1}$ 去噪匹配", L_recon: "$L_0$ 重构"};
const lines = {};
Object.keys(colors).forEach(key => {
  lines[key] = d3.line().x(d => xScale(d.t)).y(d => yScale(d[key])).curve(d3.curveMonotoneX);
  g.append("path").attr("fill","none").attr("stroke",colors[key]).attr("stroke-width",2).attr("class",`line-${key}`);
  g.append("text").attr("class",`label-${key}`).attr("fill",colors[key]).attr("font-size","11px");
});

update("linear");
// Highlight default
schedBtns.nodes()[0].click();

理解变分下界的三项分解后，一个自然的问题是：前向过程如何将数据分布逐步"抹平"为噪声？下面的动画展示了这一过程——从一个多模态的混合高斯分布出发，随着噪声逐步叠加，分布从多峰逐渐收缩为单峰标准高斯。

前向过程：多模态→单峰高斯

Loading visualization...

1D 混合高斯分布逐步加噪的马尔可夫链。播放/暂停控制，拖动时间步滑块观察分布演化。

const W = container.clientWidth;
const H = container.clientHeight;
const margin = {top: 25, right: 30, bottom: 45, left: 50};
const iW = W - margin.left - margin.right;
const iH = H - margin.top - margin.bottom;

const svg = d3.select(container).append("svg").attr("width", W).attr("height", H);
const g = svg.append("g").attr("transform", `translate(${margin.left},${margin.top})`);

const xMin = -6, xMax = 6;
const xScale = d3.scaleLinear().domain([xMin, xMax]).range([0, iW]);
const yScale = d3.scaleLinear().domain([0, 0.55]).range([iH, 0]);

// Axes
g.append("g").attr("transform", `translate(0,${iH})`).call(d3.axisBottom(xScale).ticks(10));
g.append("g").call(d3.axisLeft(yScale).ticks(5));
g.append("text").attr("x", iW/2).attr("y", iH+35).attr("text-anchor","middle").attr("fill","#666").attr("font-size","11px").text("x");
g.append("text").attr("transform","rotate(-90)").attr("x",-iH/2).attr("y",-40).attr("text-anchor","middle").attr("fill","#666").attr("font-size","11px").text("概率密度 p(x)");

// Mixture of Gaussians (3 modes)
function mixturePDF(x, sigma) {
  const modes = [{mu: -2, w: 0.3}, {mu: 0, w: 0.4}, {mu: 2.5, w: 0.3}];
  let sum = 0;
  modes.forEach(m => {
    sum += m.w / (sigma * Math.sqrt(2 * Math.PI)) * Math.exp(-0.5 * ((x - m.mu) / sigma) ** 2);
  });
  return sum;
}

// With diffusion: original sigma=0.5, at time t the effective sigma grows
function pdfAtTime(x, t, T) {
  const sigma0 = 0.5;
  // VP-SDE: alpha_bar decreases, effective sigma increases
  const s = t / T;
  const alphaBar = Math.max(0.001, 1 - s * 0.999);
  const sigmaEff = Math.sqrt(sigma0 * sigma0 * alphaBar + (1 - alphaBar));
  const muShift = Math.sqrt(alphaBar); // modes shift toward 0
  const modes = [{mu: -2 * muShift, w: 0.3}, {mu: 0, w: 0.4}, {mu: 2.5 * muShift, w: 0.3}];
  let sum = 0;
  modes.forEach(m => {
    sum += m.w / (sigmaEff * Math.sqrt(2 * Math.PI)) * Math.exp(-0.5 * ((x - m.mu) / sigmaEff) ** 2);
  });
  return sum;
}

// Area generator
const area = d3.area()
  .x(d => xScale(d.x))
  .y0(iH)
  .y1(d => yScale(d.y))
  .curve(d3.curveBasis);

const line = d3.line()
  .x(d => xScale(d.x))
  .y(d => yScale(d.y))
  .curve(d3.curveBasis);

// Generate density curve data
function genData(t, T) {
  const data = [];
  for (let x = xMin; x <= xMax; x += 0.05) {
    data.push({x, y: pdfAtTime(x, t, T)});
  }
  return data;
}

const T = 1000;
let currentT = 0;
let playing = true;

// Initial render
const pathArea = g.append("path").attr("fill", "#3b82f6").attr("opacity", 0.2);
const pathLine = g.append("path").attr("fill", "none").attr("stroke", "#3b82f6").attr("stroke-width", 2);

// Time label
const timeLabel = g.append("text").attr("x", iW - 10).attr("y", 20)
  .attr("text-anchor","end").attr("fill","#666").attr("font-size","12px");

function updateViz(t) {
  const data = genData(t, T);
  pathArea.attr("d", area(data));
  pathLine.attr("d", line(data));
  timeLabel.text(`t = ${t} / ${T}`);
  slider.property("value", t);
}

updateViz(0);

// Controls
const controls = d3.select(container).append("div")
  .attr("style","text-align:center; margin-top:8px; font-size:13px;");

const playBtn = controls.append("button").text("暂停")
  .attr("style","margin-right:12px; padding:2px 12px; cursor:pointer; border:1px solid #999; border-radius:3px;");
controls.append("span").text("时间步: ");
const slider = controls.append("input").attr("type","range").attr("min",0).attr("max",T).attr("value",0)
  .attr("style","width:250px;");

playBtn.on("click", () => {
  playing = !playing;
  playBtn.text(playing ? "暂停" : "播放");
});

slider.on("input", e => {
  currentT = +e.target.value;
  updateViz(currentT);
});

function animate() {
  if (playing) {
    currentT += 5;
    if (currentT > T) currentT = 0;
    updateViz(currentT);
  }
  requestAnimationFrame(animate);
}
animate();

2.3 去噪匹配项的深入分析

去噪匹配项 $L_{t-1}$ 是两个高斯分布之间的 KL 散度。对于两个高斯分布 $\mathcal{N}(\mu_1, \sigma_1^2 I)$ 和 $\mathcal{N}(\mu_2, \sigma_2^2 I)$ ，KL 散度有解析解：

D_{\text{KL}}(\mathcal{N}(\mu_1, \sigma_1^2 I) \| \mathcal{N}(\mu_2, \sigma_2^2 I)) = \frac{1}{2\sigma_2^2}\|\mu_1 - \mu_2\|^2 + \text{方差项}

当模型方差 $\sigma_2^2$ 取为真实后验方差 $\tilde{\beta}_t$ 时（Ho et al. 将其固定而非学习），KL 散度完全由均值之差决定：

L_{t-1} = \frac{1}{2\tilde{\beta}_t}\|\tilde{\mu}_t - \mu_\theta(x_t, t)\|^2 + C

其中 $\tilde{\mu}_t$ 是真实后验均值， $\mu_\theta$ 是模型预测的均值， $C$ 是与参数无关的常数。这揭示了训练的本质：让模型在每个噪声水平上都准确预测后验均值。

三、最优参数化：为什么预测噪声？

3.1 后验均值的两种参数化

如前所述，真实后验均值可以写为：

\tilde{\mu}_t = \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1 - \bar{\alpha}_t} x_0 + \frac{\sqrt{\alpha_t}(1 - \bar{\alpha}_{t-1})}{1 - \bar{\alpha}_t} x_t

直接让模型预测 $\tilde{\mu}_t$ 在数学上没有问题，但实践中效果很差——因为 $\tilde{\mu}_t$ 的表达式中同时包含 $x_0$ 和 $x_t$ ，它们的系数随时间剧烈变化，模型需要学习一个高度非平稳的映射。

利用 $x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t}\varepsilon$ 的关系，将 $x_0$ 替换为 $\varepsilon$ ：

\tilde{\mu}_t = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}}\varepsilon\right)

这意味着后验均值完全由 $x_t$ 和 $\varepsilon$ 决定。让模型预测 $\varepsilon$ 而非 $\tilde{\mu}_t$ ，训练目标变为：

L_{t-1} = \frac{(1-\alpha_t)^2}{2\alpha_t(1-\bar{\alpha}_t)\tilde{\beta}_t}\|\varepsilon - \varepsilon_\theta(x_t, t)\|^2 + C

3.2 预测 $\varepsilon$ 与预测 $x_0$ 的等价性

从 $x_t = \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\varepsilon$ 出发，知道 $\varepsilon$ 就可以恢复 $x_0$ ：

\hat{x}_0 = \frac{1}{\sqrt{\bar{\alpha}_t}}\left(x_t - \sqrt{1-\bar{\alpha}_t}\,\varepsilon_\theta(x_t, t)\right)

反过来，知道 $x_0$ 也可以恢复 $\varepsilon$ ：

\hat{\varepsilon} = \frac{1}{\sqrt{1-\bar{\alpha}_t}}\left(x_t - \sqrt{\bar{\alpha}_t}\,x_0\right)

因此 $\varepsilon$ -prediction 和 $x_0$ -prediction 包含完全相同的信息量，理论上等价。但实践差异显著：

$\varepsilon$ -prediction 的优势。 在高噪声时间步（ $t$ 大）， $x_t$ 主要由 $\varepsilon$ 决定，预测 $\varepsilon$ 相当于从纯噪声中提取信号——这是模型需要关注的核心任务。而预测 $x_0$ 在高噪声时需要从几乎纯噪声中预测原始数据，目标值的方差极大，优化困难。
$x_0$ -prediction 的优势。 在低噪声时间步（ $t$ 小），预测 $x_0$ 更直接——此时 $x_t$ 已经很接近 $x_0$ ，直接预测残差更自然。一些工作（如 Progressive Distillation）发现在蒸馏场景中 $x_0$ -prediction 更稳定。

四、简化训练目标

4.1 从完整 ELBO 到 $L_{\text{simple}}$

完整 ELBO 中去噪匹配项的权重随时间变化：

w_t = \frac{(1-\alpha_t)^2}{2\alpha_t(1-\bar{\alpha}_t)\tilde{\beta}_t}

Ho et al. (2020) 的关键实验发现：丢弃这些权重，使用等权 MSE，样本质量反而更好：

L_{\text{simple}} = \mathbb{E}_{t \sim \mathcal{U}[1,T], x_0, \varepsilon}\left[\|\varepsilon - \varepsilon_\theta(x_t, t)\|^2\right]

从方差降低的角度也能理解这一简化的好处。原始 VLB 损失中包含 4 个随机变量：数据 $x_0$ 、前向噪声 $\varepsilon_{t-1}$ 、累积噪声 $\bar{\varepsilon}_t$ 和时间步 $t$ ，导致梯度的方差极大。通过重参数化（将 $\varepsilon_{t-1}$ 和 $\bar{\varepsilon}_t$ 用同一个 $\varepsilon$ 表达）和时间步均匀采样，随机变量减少到 2 个（ $x_0$ 和 $t$ ），方差显著降低。 $L_{\text{simple}}$ 进一步去掉了与时间相关的缩放系数，虽然引入了权重偏差（不再严格优化 VLB），但方差更低、训练更稳定——这正是实践优先于理论精确性的一个典型案例。

4.2 为什么简化反而更好？

这并非偶然，背后有明确的理论解释，可以从两个角度理解：

角度一：权重导致的训练失衡。 完整 ELBO 的权重 $w_t$ 在 $t$ 接近 $T$ 时极大——因为此时 $\bar{\alpha}_t \to 0$ ，分母中的 $1 - \bar{\alpha}_t$ 接近 1，但分子中的 $(1-\alpha_t)^2$ 保持有限，而 $\tilde{\beta}_t \to \beta_t$ 较小，导致权重爆炸。这意味着完整目标将训练重心压向高噪声时间步。但高噪声时间步的信息最粗糙—— $x_t$ 几乎是纯噪声，模型从中学到的主要是全局结构而非细节。等权训练让模型在每个噪声水平上获得均衡的监督。

角度二：与去噪得分匹配的等价性。 可以证明， $L_{\text{simple}}$ 等价于一种加权去噪得分匹配目标，其权重恰好是噪声水平的信号。等权训练隐式地将得分函数的优化重心放在了信号最丰富的中间噪声水平上。

4.3 $L_{\text{simple}}$ 与 $L_{\text{VLB}}$ 的关系

精确的关系是：

L_{\text{simple}} = A_t \cdot L_{\text{VLB},t} + C_t

其中 $A_t$ 是一个与时间相关的缩放因子。对于接近 0 的时间步， $A_t$ 极大；对于接近 $T$ 的时间步， $A_t$ 较小。因此 $L_{\text{simple}}$ 相当于对 $L_{\text{VLB}}$ 做了时间加权的重平衡——压低了高噪声步的权重，提升了低噪声步的权重。

后续工作（如 VDM, Kingma et al., 2021）提出了更精细的加权策略，在 $L_{\text{simple}}$ 和 $L_{\text{VLB}}$ 之间取得平衡，以同时优化样本质量和似然。

五、DDPM 与 VAE 的结构对照

将 DDPM 放回 VAE 的框架中审视，可以清晰地看到它如何解决了 VAE 的根本局限。

维度	VAE	DDPM
编码步数	1	$T$
每步变换幅度	大（直接映射到潜空间）	小（只加微量噪声）
后验 $q(z\vert x)$	单高斯，表达力弱	每步近似高斯，联合表达力强
先验	固定标准高斯	固定标准高斯（反向转移 $p_\theta$ 可学习）
解码	1 步	$T$ 步去噪
下界紧致性	弱（单步 KL 大）	强（每步 KL 小，总和可控）

DDPM 的核心洞察可以概括为一句话：与其让一个强大的编码器一步完成困难的潜变量推断，不如让 $T$ 个简单的编码器各做一步微小的推断，然后在变分框架下保证总误差有界。 每一步的后验 $q(x_{t-1}|x_t, x_0)$ 都是简单的高斯分布——因为前向过程只加了一点点噪声，所以以 $x_0$ 为条件的反向一步也是近高斯的。这种"分而治之"的策略使得变分下界远比 VAE 紧致。

从信息论的角度看，VAE 的信息瓶颈集中在单次编码中，模型必须在"保留足够信息以重构"和"匹配先验分布"之间做硬性取舍。DDPM 将信息瓶颈分散到 $T$ 步中，每步只需要做极小的信息压缩，因此几乎不存在信息丢失。

六、应用：Stable Diffusion 的实践验证

理解了变分下界的结构，便能更深刻地理解 Stable Diffusion 的训练设计。

Stable Diffusion 使用的正是本文推导的 $L_{\text{simple}}$ 训练目标。其 U-Net 预测的正是噪声 $\varepsilon$ ，与 $\varepsilon$ -prediction 参数化完全一致——这是理论推导的直接工程实现，并非巧合。在实践中， $\varepsilon$ -prediction 在高噪声时间步上的稳定性使得 U-Net 能够从近纯噪声的状态中逐步提取结构信息，这是生成高质量图像的关键。

Stable Diffusion 的另一个核心设计是潜空间扩散：VAE 编码器将 $512 \times 512$ 的图像压缩为 $64 \times 64$ 的潜表示，扩散过程在潜空间中进行。潜空间设计的变分意义在于使变分下界更紧致——在低维空间中，每步后验 $q(x_{t-1}|x_t, x_0)$ 的高斯近似更加准确，KL 散度更小，训练信号更有效。这与本文第二节的分析完全吻合：维度越低、每步变化越小，变分下界越紧致。

关于 Flow Matching 在生成模型中的应用，见本系列第三篇。

从 ELBO 出发，我们建立了扩散训练的变分理解：三项分解揭示了先验匹配、去噪匹配和重构各自的物理意义；最优参数化解释了为什么预测噪声在实践中更有效；简化目标的成功暗示了变分下界的精确权重并非最优——等权训练恰好是更好的隐式加权。下一篇文章将从离散马尔可夫链走向连续 SDE，建立扩散模型的随机微分方程视角。

参考文献

苏剑林. 生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼. https://kexue.fm/archives/9119
苏剑林. 生成扩散模型漫谈（二）：DDPM = 自回归式VAE. https://kexue.fm/archives/9152
苏剑林. 生成扩散模型漫谈（三）：DDPM = 贝叶斯 + 去噪. https://kexue.fm/archives/9164
Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS 2020.
Kingma, D., et al. (2021). Variational Diffusion Models. NeurIPS 2021.
Rombach, R., et al. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR 2022.

从直觉出发：拆楼与建楼#

一、生成模型的变分框架#

1.1 ELBO 的两种推导路径#

1.2 从 ELBO 到 VAE：变分自编码器的训练目标#

二、DDPM 的变分下界#

2.1 DDPM 作为多步 VAE#

2.2 三项分解的物理意义#

2.3 去噪匹配项的深入分析#

三、最优参数化：为什么预测噪声？#

3.1 后验均值的两种参数化#

3.2 预测 ε\varepsilon 与预测 x0x_0 的等价性#

四、简化训练目标#

4.1 从完整 ELBO 到 LsimpleL_{\text{simple}}#

4.2 为什么简化反而更好？#

4.3 LsimpleL_{\text{simple}} 与 LVLBL_{\text{VLB}} 的关系#

五、DDPM 与 VAE 的结构对照#

六、应用：Stable Diffusion 的实践验证#

相关概念#

参考文献#

相关文章