高维数据生成的局限

生成模型需要学习真实数据分布 pdatap_{data}。以 1024×10241024 \times 1024 RGB 图像为例，x∈Rdx \in \mathbb{R}^d，其中 d=3×1024×1024≈3×106d = 3 \times 1024 \times 1024 \approx 3 \times 10^6。若直接在像素空间训练扩散模型，网络需要在每个时间步处理百万级维度，计算和显存开销很高；视频还会因时间维度进一步放大状态空间。

现代生成架构引入 潜在空间 Latent Space，其依据是流形假设：高维数据虽然处于大维度像素空间，但实际集中在低内在维度流形附近。

因此可先用非线性压缩将数据投影到低维潜在空间，再在该空间中训练生成模型。自编码器，尤其是 变分自编码器 Variational Autoencoders，常用于构建这种潜在空间。

标准自编码器

确定性特征映射

标准自编码器由两个确定性神经网络组成：编码器负责压缩，解码器负责重构。

编码器 Encoder 定义为 μϕ:Rd→Rk\mu_{\phi}: \mathbb{R}^d \rightarrow \mathbb{R}^k，将输入 x∈Rdx \in \mathbb{R}^d 压缩为潜在向量 z∈Rkz \in \mathbb{R}^k，通常 k≪dk \ll d。

解码器 Decoder 定义为 μθ:Rk→Rd\mu_{\theta}: \mathbb{R}^k \rightarrow \mathbb{R}^d，将潜在向量还原为重构数据 x^\hat{x}。

其中 ϕ,θ\phi,\theta 分别是编码器和解码器参数。训练目标是最小化输入和重构结果之间的均方误差：

LRecon(ϕ,θ)=Ex∼pdata[∣∣μθ(μϕ(x))−x∣∣2]\mathcal{L}_{Recon}(\phi, \theta) = \mathbb{E}_{x \sim p_{data}}[||\mu_{\theta}(\mu_{\phi}(x)) - x||^2]

离散隐空间的局限

标准自编码器可实现压缩和重构，但直接用于生成存在潜在空间结构问题。

原因是其损失只约束重构误差，没有显式约束潜在空间 Rk\mathbb{R}^k 的分布形状。编码结果可能离散、断裂，缺少连续结构。

潜在向量集合 {z1,z2,…,zN}\{z_1, z_2, \dots, z_N\} 可能形成孤立点簇，点簇之间是未训练区域。随机采样或插值容易落入这些区域，解码器对流形外输入缺乏可靠泛化。

确定性自编码器只保证训练样本附近可解码，不能保证任意潜在点都对应合理数据。

变分自编码器

VAE 将编码器和解码器改为概率模型，使潜在空间更平滑、连续，并适合下游生成。

概率编码器与解码器

VAE 中，编码器是后验条件分布 qϕ(z∣x)q_{\phi}(z|x)，解码器是条件生成分布 pθ(x∣z)p_{\theta}(x|z)。常用假设是二者为对角高斯：

qϕ(z∣x)=N(z;μϕ(x),diag(σϕ2(x)))q_{\phi}(z|x) = \mathcal{N}(z; \mu_{\phi}(x), \text{diag}(\sigma_{\phi}^2(x)))

pθ(x∣z)=N(x;μθ(z),σθ2(z)Id)p_{\theta}(x|z) = \mathcal{N}(x; \mu_{\theta}(z), \sigma_{\theta}^2(z)I_d)

编码器不再输出单点，而是输出均值 μϕ(x)\mu_{\phi}(x) 和方差 σϕ2(x)\sigma_{\phi}^2(x)（实践中常输出 log⁡σϕ2(x)\log \sigma_{\phi}^2(x)）。因此，每个输入对应潜在空间中的高斯概率云。

解码器输出重构分布的均值 μθ(z)\mu_{\theta}(z) 和方差 σθ2(z)\sigma_{\theta}^2(z)。自编码过程变为随机采样：

先采样潜在变量 z∼qϕ(⋅∣x)z \sim q_{\phi}(\cdot|x)，再采样重构数据 x∼pθ(⋅∣z)x \sim p_{\theta}(\cdot|z)。

变分重构损失

引入概率机制后，重构目标改为最大化给定潜变量时真实数据的期望对数似然；取负值得到 VAE 重构损失：

LVAE−Recon(ϕ,θ)=−Ex∼pdata(x),z∼qϕ(⋅∣x)[log⁡pθ(x∣z)]\mathcal{L}_{VAE-Recon}(\phi, \theta) = - \mathbb{E}_{x \sim p_{data}(x), z \sim q_{\phi}(\cdot|x)}[\log p_{\theta}(x|z)]

该损失要求解码器对从 qϕ(⋅∣x)q_{\phi}(\cdot|x) 中采样的潜变量都能高概率重构原始输入。

代入各向同性高斯密度：

N(x;μ,σ2I)=(2πσ2)−d2exp⁡(−∣∣x−μ∣∣222σ2)\mathcal{N}(x; \mu, \sigma^2 I) = (2\pi\sigma^2)^{-\frac{d}{2}} \exp\left(-\frac{||x-\mu||_2^2}{2\sigma^2}\right)

取对数并忽略与优化无关的常数，得到：

LVAE−Recon(ϕ,θ)=Ex∼pdata(x),z∼qϕ(z∣x)[12σθ2(z)∣∣x−μθ(z)∣∣2+d2log⁡σθ2(z)]+const\mathcal{L}_{VAE-Recon}(\phi, \theta) = \mathbb{E}_{x \sim p_{data}(x), z \sim q_{\phi}(z|x)}\left[ \frac{1}{2\sigma_{\theta}^2(z)} ||x - \mu_{\theta}(z)||^2 + \frac{d}{2} \log \sigma_{\theta}^2(z) \right] + \text{const}

第一项是由方差缩放的 MSE，第二项惩罚预测方差。实际训练中常将解码方差固定为常数 σθ2(z)=σ2\sigma_{\theta}^2(z) = \sigma^2，避免学习高维方差带来的不稳定。

此时方差惩罚项成为常数，重构损失退化为：

LVAE−Recon(ϕ,θ)=Ex∼pdata(x),z∼qϕ(z∣x)[12σ2∣∣x−μθ(z)∣∣2]+const\mathcal{L}_{VAE-Recon}(\phi, \theta) = \mathbb{E}_{x \sim p_{data}(x), z \sim q_{\phi}(z|x)}\left[ \frac{1}{2\sigma^2} ||x - \mu_{\theta}(z)||^2 \right] + \text{const}

固定方差后，VAE 重构损失与 MSE 等价，差异在于潜变量 zz 来自概率采样而非确定性映射。

Kullback-Leibler 散度约束

仅使用重构损失时，编码器可令 σϕ2→0\sigma_{\phi}^2 \to 0，退化为确定性自编码器，并重新产生潜在空间断裂。因此需要对编码器输出分布加入先验约束。

高斯先验分布

引入预设 先验分布 Prior Distribution pprior(z)p_{prior}(z)，作为潜在空间的目标分布。常用先验为标准各向同性高斯：

pprior(z)=N(0,Ik)p_{prior}(z) = \mathcal{N}(0, I_k)

该先验易采样，且各维独立，有利于获得结构更规则的潜在表示。

KL 散度损失

先验确定后，需要使 qϕ(z∣x)q_{\phi}(z|x) 接近 N(0,Ik)\mathcal{N}(0,I_k)。使用 KL 散度 衡量分布差异：

DKL(q(x)∣∣p(x))=∫q(x)log⁡q(x)p(x)dx=EX∼q[log⁡q(X)p(X)] D_{KL}(q(x) | | p(x)) = \int q(x) \log \frac{q(x)}{p(x)} dx = \mathbb{E}_{X \sim q} \left[ \log \frac{q(X)}{p(X)} \right]

KL 散度满足非负性 DKL(q(x)∣∣p(x))≥0D_{KL}(q(x) || p(x)) \ge 0，且仅当 q=pq=p 时取 0。VAE 将其作为先验损失：

LVAE−Prior(ϕ)=Ex∼pdata(x)\mathcal{L}_{VAE-Prior}(\phi) = \mathbb{E}_{x \sim p_{data}(x)}

当后验和先验均为对角高斯时，KL 散度有闭式解。设 q(x)=N(x;μq,diag(σq2))q(x) = \mathcal{N}(x; \mu_q, \text{diag}(\sigma_q^2))，p(x)=N(x;μp,diag(σp2))p(x) = \mathcal{N}(x; \mu_p, \text{diag}(\sigma_p^2))，其对数密度为：

log⁡q(x)=−12log⁡(2πσq2)−12σq2∣∣x−μq∣∣2\log q(x) = -\frac{1}{2}\log(2\pi\sigma_q^2) - \frac{1}{2\sigma_q^2}||x - \mu_q||^2

log⁡p(x)=−12log⁡(2πσp2)−12σp2∣∣x−μp∣∣2\log p(x) = -\frac{1}{2}\log(2\pi\sigma_p^2) - \frac{1}{2\sigma_p^2}||x - \mu_p||^2

代入 DKL(q∣∣p)=Ex∼q[log⁡q(x)−log⁡p(x)]D_{KL}(q||p) = \mathbb{E}_{x \sim q}[\log q(x) - \log p(x)]：

DKL(q∣∣p)=12log⁡σp2σq2+12σp2Eq[∣∣x−μp∣∣2]−12σq2Eq[∣∣x−μq∣∣2]D_{KL}(q||p) = \frac{1}{2}\log\frac{\sigma_p^2}{\sigma_q^2} + \frac{1}{2\sigma_p^2}\mathbb{E}_q[||x-\mu_p||^2] - \frac{1}{2\sigma_q^2}\mathbb{E}_q[||x-\mu_q||^2]

利用 Eq[∣∣x−μq∣∣2]=σq2\mathbb{E}_q[||x-\mu_q||^2] = \sigma_q^2 与 Eq[∣∣x−μp∣∣2]=σq2+∣∣μq−μp∣∣2\mathbb{E}_q[||x-\mu_p||^2] = \sigma_q^2 + ||\mu_q - \mu_p||^2，得到：

DKL(q∣∣p)=12(K(σq2σp2)+∣∣μq−μp∣∣2σp2)D_{KL}(q||p) = \frac{1}{2} \left( \mathcal{K}\left(\frac{\sigma_q^2}{\sigma_p^2}\right) + \frac{||\mu_q - \mu_p||^2}{\sigma_p^2} \right)

其中函数被定义为 K(α)=∑i=1k(αi−log⁡αi−1)\mathcal{K}(\alpha) = \sum_{i=1}^k (\alpha_i - \log \alpha_i - 1)。

标准 VAE 中 μp=0,σp2=1\mu_p=0,\sigma_p^2=1，因此先验损失为：

LVAE−Prior(ϕ)=Ex∼pdata(x)[12K(σϕ2(x))+12∣∣μϕ(x)∣∣2]\mathcal{L}_{VAE-Prior}(\phi) = \mathbb{E}_{x \sim p_{data}(x)} \left[ \frac{1}{2} \mathcal{K}(\sigma_{\phi}^2(x)) + \frac{1}{2} ||\mu_{\phi}(x)||^2 \right]

该损失包含两类约束：

  1. 二次范数惩罚项 12∣∣μϕ(x)∣∣2\frac{1}{2} ||\mu_{\phi}(x)||^2：约束编码均值靠近原点。
  2. 函数项 12K(σϕ2(x))\frac{1}{2} \mathcal{K}(\sigma_{\phi}^2(x))：约束方差接近 1，避免方差塌缩为 0，并促使潜在概率云适度重叠。

β\beta-VAE 训练目标函数

将重构损失与先验损失相加，并引入 β≥0\beta \ge 0 控制权重，得到 β\beta-VAE 目标：

LVAE(ϕ,θ)=LVAE−Recon(ϕ,θ)+βLVAE−Prior(ϕ)\mathcal{L}_{VAE}(\phi, \theta) = \mathcal{L}_{VAE-Recon}(\phi, \theta) + \beta \mathcal{L}_{VAE-Prior}(\phi)

=Ex∼pdata(x),z∼qϕ(z∣x)[12σθ2(z)∣∣x−μθ(z)∣∣2+d2log⁡σθ2(z)+β2K(σϕ2(x))+β2∣∣μϕ(x)∣∣2]= \mathbb{E}_{x \sim p_{data}(x), z \sim q_{\phi}(z|x)} \left[ \frac{1}{2\sigma_{\theta}^2(z)}||x - \mu_{\theta}(z)||^2 + \frac{d}{2}\log \sigma_{\theta}^2(z) + \frac{\beta}{2}\mathcal{K}(\sigma_{\phi}^2(x)) + \frac{\beta}{2}||\mu_{\phi}(x)||^2 \right]

VAE 损失项组件 数学公式表达 核心驱动功能
均方重构误差 12σθ2(z)∣x−μθ(z)∣2\frac{1}{2\sigma_{\theta}^2(z)}|x - \mu_{\theta}(z)|^2 约束重构图像的生成质量
解码不确定性 d2log⁡σθ2(z)\frac{d}{2}\log \sigma_{\theta}^2(z) 控制重构约束强度。
方差收敛正则化 β2K(σϕ2(x))\frac{\beta}{2}\mathcal{K}(\sigma_{\phi}^2(x)) 防止方差塌缩，保持潜在空间连续性。
均值引力正则化 β2∣μϕ(x)∣2\frac{\beta}{2}|\mu_{\phi}(x)|^2 约束编码均值接近 0。

重参数化

VAE 损失涉及 z∼qϕ(z∣x)z \sim q_{\phi}(z|x) 的随机采样。采样操作本身不可导，会阻断梯度传回编码器参数 ϕ\phi。重参数化技巧用于解决该问题。

重参数化将随机性转移到独立噪声源。对 z∼N(μϕ(x),σϕ2(x)Ik)z \sim \mathcal{N}(\mu_{\phi}(x), \sigma_{\phi}^2(x) I_k)，引入 ϵ∼N(0,Ik)\epsilon \sim \mathcal{N}(0, I_k)，可写为：

z=μϕ(x)+σϕ(x)⊙ϵz = \mu_{\phi}(x) + \sigma_{\phi}(x) \odot \epsilon

其中 ⊙\odot 表示逐元素乘法。

这样计算图变为：

  1. 噪声 ϵ\epsilon 与参数 ϕ\phi 独立。
  2. zz 由 μϕ(x)\mu_{\phi}(x)、σϕ(x)\sigma_{\phi}(x) 和 ϵ\epsilon 经可导运算得到。
  3. 梯度可通过加法和乘法传回 μϕ\mu_{\phi} 与 σϕ\sigma_{\phi}。

重参数化后，期望从依赖参数的后验分布转为对独立噪声 ϵ\epsilon 的期望：

LVAE(ϕ,θ)=Ex∼pdata(x),ϵ∼N(0,Ik)[12σθ2(z)∣∣x−μθ(μϕ(x)+σϕ(x)ϵ)∣∣2+d2log⁡σθ2(z)+β2K(σϕ2(x))+β2∣∣μϕ(x)∣∣2]\mathcal{L}_{VAE}(\phi, \theta) = \mathbb{E}_{x \sim p_{data}(x), \epsilon \sim \mathcal{N}(0,I_k)}\left[ \frac{1}{2\sigma_{\theta}^2(z)} ||x - \mu_{\theta}(\mu_{\phi}(x) + \sigma_{\phi}(x)\epsilon)||^2 + \frac{d}{2}\log \sigma_{\theta}^2(z) + \frac{\beta}{2}\mathcal{K}(\sigma_{\phi}^2(x)) + \frac{\beta}{2}||\mu_{\phi}(x)||^2 \right]

固定解码方差为常数 σ2\sigma^2 后，可实现的损失为：

LVAE(ϕ,θ)=Ex∼pdata(x),ϵ∼N(0,Ik)[12σ2∣∣x−μθ(μϕ(x)+σϕ(x)ϵ)∣∣2+β2K(σϕ2(x))+β2∣∣μϕ(x)∣∣2]\mathcal{L}_{VAE}(\phi, \theta) = \mathbb{E}_{x \sim p_{data}(x), \epsilon \sim \mathcal{N}(0,I_k)}\left[ \frac{1}{2\sigma^2} ||x - \mu_{\theta}(\mu_{\phi}(x) + \sigma_{\phi}(x)\epsilon)||^2 + \frac{\beta}{2}\mathcal{K}(\sigma_{\phi}^2(x)) + \frac{\beta}{2}||\mu_{\phi}(x)||^2 \right]

重参数化也出现在 Gumbel-Softmax 和扩散模型采样式 xt=αtx0+1−αtϵx_t = \sqrt{\alpha_t}x_0 + \sqrt{1-\alpha_t}\epsilon 中。

下表为标准 β\beta-VAE 的单次迭代流程：

训练步骤 操作名称 具体的数学算子与张量流转逻辑
步骤 1 前向信息编码 输入 mini-batch {xi}i=1B\{x_i\}_{i=1}^B，输出 μi←μϕ(xi)\mu_i \leftarrow \mu_{\phi}(x_i) 和 log⁡σi2←log⁡σϕ2(xi)\log \sigma_i^2 \leftarrow \log \sigma_{\phi}^2(x_i)。
步骤 2 外部噪声采样 采样独立噪声 ϵi∼N(0,Ik)\epsilon_i \sim \mathcal{N}(0, I_k)。
步骤 3 重参数化运算 计算 σi=exp⁡(12log⁡σi2)\sigma_i = \exp(\frac{1}{2}\log \sigma_i^2)，再得 zi←μi+σi⊙ϵiz_i \leftarrow \mu_i + \sigma_i \odot \epsilon_i。
步骤 4 前向空间解码 输入 ziz_i 到解码器，输出 x^i←μθ(zi)\hat{x}_i \leftarrow \mu_{\theta}(z_i)。
步骤 5 损失函数聚合 计算重构损失 Lrecon\mathcal{L}_{recon} 与 KL 损失 LKL\mathcal{L}_{KL}，聚合为 L←Lrecon+βLKL\mathcal{L} \leftarrow \mathcal{L}_{recon} + \beta\mathcal{L}_{KL}。
步骤 6 梯度回传更新 反向传播并更新 ϕ,θ\phi,\theta。

工程稳定性补充：

  • KL 预热：训练初期令 β\beta 较小，先保证重构，再逐步增强先验约束。
  • 为了提高训练稳定性，一些实现将解码器的方差输出固定为常数方差 σ\sigma，而不是由神经网络学习的方差 σθ\sigma_\theta。这种设置下重建项约束 12σθ2(z)∥x−μθ(z)∥2\frac{1}{2\sigma_{\theta}^2(z)}\|x - \mu_{\theta}(z)\|^2 和均方误差 ∥x−μθ(z)∥2\|x-\mu_\theta(z)\|^2 成固定比例。
  • 感知损失：用预训练网络的特征空间损失缓解 MSE 带来的过度平滑。
  • GAN 对抗损失：增强高频纹理和边缘质量。

ELBO 与联合分布

全局 KL 散度极小化

VAE 同时包含 X→ZX \to Z 与 Z→XZ \to X 两条通道，对应两个关于数据 xx 与潜变量 zz 的联合分布：

  1. 由编码器诱导的联合分布：数据来自真实分布，再由编码器映射到潜层，定义为 qϕ(x,z)=pdata(x)qϕ(z∣x)q_{\phi}(x, z) = p_{data}(x) q_{\phi}(z|x)。
  2. 由解码器诱导的联合分布：潜变量来自先验分布，再由解码器映射回数据空间，定义为 pθ(x,z)=pθ(x∣z)pprior(z)p_{\theta}(x, z) = p_{\theta}(x|z) p_{prior}(z)。

训练 VAE 的目标是选择参数 ϕ\phi 和 θ\theta，使编码路径与生成路径诱导的联合分布尽量一致，即最小化它们之间的全局 KL 散度：

DKL(qϕ(x,z)∣∣pθ(x,z))=Eqϕ[log⁡(pdata(x)qϕ(z∣x)pθ(x∣z)pprior(z))] D_{KL}(q_{\phi}(x, z) | | p_{\theta}(x, z)) = \mathbb{E}_{q_{\phi}}\left[ \log\left(\frac{p_{data}(x)q_{\phi}(z|x)}{p_{\theta}(x|z)p_{prior}(z)}\right) \right]

展开对数项，并利用期望的线性性，可得：

=Ex∼pdata[log⁡pdata(x)]+Ex∼pdata−Ex∼pdata,z∼qϕ[log⁡pθ(x∣z)]= \mathbb{E}_{x \sim p_{data}}[\log p_{data}(x)] + \mathbb{E}_{x \sim p_{data}} - \mathbb{E}_{x \sim p_{data}, z \sim q_{\phi}}[\log p_{\theta}(x|z)]

其中 E[log⁡pdata(x)]\mathbb{E}[\log p_{data}(x)] 只由数据分布决定，与网络参数 ϕ,θ\phi,\theta 无关，可视为常量。因此：

DKL(qϕ(x,z)∣∣pθ(x,z))=Const+LVAE(ϕ,θ) D_{KL}(q_{\phi}(x, z) | | p_{\theta}(x, z)) = \text{Const} + \mathcal{L}_{VAE}(\phi, \theta)

因此，最小化 LVAE\mathcal{L}_{VAE} 等价于最小化编码器联合分布与解码器联合分布之间的全局散度。重构项与 KL 正则项并非经验拼接，而对应联合分布对齐。

证据下界

生成模型通常希望最大化真实样本的边缘对数似然 log⁡pθ(x)\log p_{\theta}(x)。

但 pθ(x)=∫pθ(x∣z)pprior(z)dzp_{\theta}(x) = \int p_{\theta}(x|z)p_{prior}(z)dz 是高维连续积分，通常不可解析，也难以直接数值计算。

变分推断引入可训练分布 qϕ(z∣x)q_{\phi}(z|x) 作为真实后验 pθ(z∣x)p_{\theta}(z|x) 的近似。由贝叶斯公式 pθ(z∣x)=pθ(x∣z)pprior(z)pθ(x)p_{\theta}(z|x) = \frac{p_{\theta}(x|z)p_{prior}(z)}{p_{\theta}(x)} 并整理散度项，可得：

Ez∼qϕ(z∣x)[log⁡(pθ(x∣z)pprior(z)qϕ(z∣x))]+DKL(qϕ(z∣x)∣∣pθ(z∣x))=log⁡pθ(x) \mathbb{E}_{z \sim q_{\phi}(z|x)}\left[ \log\left(\frac{p_{\theta}(x|z)p_{prior}(z)}{q_{\phi}(z|x)}\right) \right] + D_{KL}(q_{\phi}(z|x) | | p_{\theta}(z|x)) = \log p_{\theta}(x)

由于 DKL(qϕ(z∣x)∣∣pθ(z∣x))≥0D_{KL}(q_{\phi}(z|x) || p_{\theta}(z|x)) \ge 0，可得到边缘对数似然的下界：

log⁡pθ(x)≥Ez∼qϕ(z∣x)[log⁡(pθ(x∣z)pprior(z)qϕ(z∣x))]≡ELBO(x;ϕ,θ)\log p_{\theta}(x) \ge \mathbb{E}_{z \sim q_{\phi}(z|x)}\left[ \log\left(\frac{p_{\theta}(x|z)p_{prior}(z)}{q_{\phi}(z|x)}\right) \right] \equiv \text{ELBO}(x; \phi, \theta)

该下界称为 证据下界 Evidence Lower Bound。展开 ELBO 内部的对数项后，得到 Eqϕ[log⁡pθ(x∣z)]−DKL(qϕ(z∣x)∣∣pprior(z))\mathbb{E}_{q_{\phi}}[\log p_{\theta}(x|z)] - D_{KL}(q_{\phi}(z|x) || p_{prior}(z))，即负的变分自编码器损失 −LVAE-\mathcal{L}_{VAE}。

因此，最小化 LVAE\mathcal{L}_{VAE} 等价于最大化不可直接计算的边缘似然 log⁡pθ(x)\log p_{\theta}(x) 的下界 ELBO。

“变分”的含义：真实后验 pθ(z∣x)p_{\theta}(z|x) 的分母包含不可解积分 log⁡pθ(x)\log p_{\theta}(x)，无法直接计算。因此引入可控、可训练的分布族 qϕ(⋅∣x)q_{\phi}(\cdot|x) 近似真实后验，并通过优化缩小二者差距。

扩散模型中的 VAE

训练好的 VAE 可以独立生成：推理时采样 z∼ppriorz \sim p_{prior} 并输入解码器即可得到样本。现代潜在扩散仍在 VAE 的潜在空间中建模，原因在于 VAE 单独作为生成器存在摊销差距，而扩散模型更适合学习复杂潜在分布。

VAE 生成任务的瓶颈

当 VAE 独立承担完整生成任务时，生成质量受摊销差距限制。由 ELBO 分解有：

log⁡pθ(x)=ELBO+DKL(qϕ(z∣x)∥pθ(z∣x))\log p_{\theta}(x) = \text{ELBO} + D_{KL}\left(q_{\phi}(z \mid x) \Vert p_{\theta}(z \mid x)\right)

边缘对数似然与 ELBO 的差距由变分近似 qϕ(z∣x)q_{\phi}(z|x) 和真实后验 pθ(z∣x)p_{\theta}(z|x) 的差异决定。

从聚合潜在分布视角，可由信息处理不等式得到：

DKL(qϕ(x,z)∥pθ(x,z))≥DKL(qϕ(z)∥pprior(z))D_{KL}\left(q_{\phi}(x, z) \Vert p_{\theta}(x, z)\right) \ge D_{KL}\left(q_{\phi}(z) \Vert p_{prior}(z)\right)

该式说明，只要联合分布没有完全对齐，聚合潜在分布 qϕ(z)=∫qϕ(z∣x)pdata(x)dxq_{\phi}(z) = \int q_{\phi}(z|x)p_{data}(x)dx 与标准高斯先验 pprior(z)p_{prior}(z) 之间仍可能存在差异。

推理时若直接从 pprior(z)p_{prior}(z) 采样并输入解码器，解码器会接收与训练阶段 qϕ(z)q_{\phi}(z) 不一致的输入，产生分布外偏移。该失配与 MSE 重构损失的均值化倾向共同导致单独 VAE 生成图像常见的边缘模糊和高频细节缺失，即“VAE 特征性模糊”。

建模潜在分布

潜在扩散模型 Latent Diffusion Models 将 VAE 定位为感知压缩器，将扩散模型定位为潜在分布建模器。

在该范式中，VAE 主要负责把高维像素空间压缩为低维潜在空间，不再要求潜在流形完全匹配标准高斯。语义结构生成与跨模态对齐由潜在空间内的扩散模型完成。扩散模型可通过连续扩散的分数匹配或流匹配拟合向量场，学习从标准高斯到聚合潜在分布 qϕ(z)q_{\phi}(z) 的反向过程。

这种分工带来两点优势：

  1. 扩散模型避免直接在高维像素空间建模，将计算集中在低维潜在空间中的语义生成。

  2. VAE 聚焦压缩与重构质量，负责把扩散模型生成的 zz 解码为图像。实践上，基于 SDEs 和 ODEs 的扩散过程在匹配复杂非平稳分布时通常比单次前馈 VAE 更灵活，因此潜在扩散成为高质量生成模型的常用架构。

架构策略范式对比 所处运算空间 核心优势 主要瓶颈 在当前生态中的演进定位
全尺寸像素级扩散 原始数据域 RH×W×3\mathbb{R}^{H \times W \times 3} 无解码器介入，不存在压缩损失，逼真度上限高。 推理时间与显存占用随分辨率快速增长，难以扩展到千万像素或长视频。 主要用于理论验证或低分辨率图像生成试验（如早期 DDPM）。
单一 VAE 前馈生成 低维潜在流形 Rk\mathbb{R}^k 采样速度快，一次编码与一次解码即可出图。 受摊销差距限制，图像易出现特征性模糊，难以灵活接入复杂外部条件（如文本）。 更适合实时编解码、异常检测等对速度要求高的任务。
组合式潜在扩散 极低维语义流形 Rk\mathbb{R}^k 在高分辨率生成与算力限制之间取得较好平衡，适合多模态高质量对齐。 生成上限受 VAE 第一阶段预训练压缩损失限制，可能存在细节重构误差。 当前高质量生成模型的主流架构之一，如 Stable Diffusion 3、Meta Movie Gen。