流模型和扩散模型用神经网络参数化向量场 u t θ ( x ∣ y ) u_t^\theta(x\mid y) u t θ ( x ∣ y ) x ∈ R d x\in\mathbb R^d x ∈ R d y ∈ Y y\in\mathcal Y y ∈ Y t ∈ [ 0 , 1 ] t\in[0,1] t ∈ [ 0 , 1 ]
条件嵌入
时间 t t t t t t d d d
T i m e E m b ( t ) = 2 d [ cos ( 2 ω 1 t ) , … , cos ( 2 ω d / 2 t ) , sin ( 2 ω 1 t ) , … , sin ( 2 ω d / 2 t ) ] T , \mathrm{TimeEmb}(t)
=
\sqrt{\frac{2}{d}}
\left[
\cos(2\omega_1t),\ldots,\cos(2\omega_{d/2}t),
\sin(2\omega_1t),\ldots,\sin(2\omega_{d/2}t)
\right]^\mathsf T,
TimeEmb ( t ) = d 2 [ cos ( 2 ω 1 t ) , … , cos ( 2 ω d /2 t ) , sin ( 2 ω 1 t ) , … , sin ( 2 ω d /2 t ) ] T ,
其中
ω i = ω min ( ω max ω min ) i − 1 d / 2 − 1 , i = 1 , … , d / 2. \omega_i
=
\omega_{\min}
\left(
\frac{\omega_{\max}}{\omega_{\min}}
\right)^{\frac{i-1}{d/2-1}},
\qquad
i=1,\ldots,d/2.
ω i = ω m i n ( ω m i n ω m a x ) d /2 − 1 i − 1 , i = 1 , … , d /2.
每一对正弦和余弦都描述一个频率，乘上 2 / d \sqrt{2/d} 2/ d 1 1 1 t t t
若 y r a w ∈ { 0 , … , N } y_{raw}\in\{0,\ldots,N\} y r a w ∈ { 0 , … , N } S S S
r = P r o m p t E m b e d ( y r a w ) ∈ R S × k , y ~ = r W y ∈ R S × d , r=\mathrm{PromptEmbed}(y_{raw})\in\mathbb R^{S\times k},
\qquad
\widetilde y=rW_y\in\mathbb R^{S\times d},
r = PromptEmbed ( y r a w ) ∈ R S × k , y = r W y ∈ R S × d ,
其中 W y ∈ R k × d W_y\in\mathbb R^{k\times d} W y ∈ R k × d S = 1 S=1 S = 1
DiT
图像或潜变量可写成 x ∈ R C × H × W x\in\mathbb R^{C\times H\times W} x ∈ R C × H × W P × P P\times P P × P N = ( H / P ) ( W / P ) N=(H/P)(W/P) N = ( H / P ) ( W / P ) C ′ = C P 2 C'=CP^2 C ′ = C P 2
P a t c h i f y ( x ) ∈ R N × C ′ . \mathrm{Patchify}(x)\in\mathbb R^{N\times C'}.
Patchify ( x ) ∈ R N × C ′ .
经线性投影并加入位置嵌入后，初始 token 为
x ~ 0 = P a t c h i f y ( x ) W x + E p o s ∈ R N × d , \widetilde x_0
=
\mathrm{Patchify}(x)W_x+E_{\mathrm{pos}}
\in\mathbb R^{N\times d},
x 0 = Patchify ( x ) W x + E pos ∈ R N × d ,
其中 W x ∈ R C ′ × d W_x\in\mathbb R^{C'\times d} W x ∈ R C ′ × d E p o s ∈ R N × d E_{\mathrm{pos}}\in\mathbb R^{N\times d} E pos ∈ R N × d O ( N 2 ) O(N^2) O ( N 2 )
时间嵌入 t ~ = T i m e E m b ( t ) ∈ R d \widetilde t=\mathrm{TimeEmb}(t)\in\mathbb R^d t = TimeEmb ( t ) ∈ R d y ~ ∈ R S × d \widetilde y\in\mathbb R^{S\times d} y ∈ R S × d L L L
x ~ i + 1 = D i T B l o c k ( x ~ i , t ~ , y ~ ) , i = 0 , … , L − 1. \widetilde x_{i+1}
=
\mathrm{DiTBlock}(\widetilde x_i,\widetilde t,\widetilde y),
\qquad
i=0,\ldots,L-1.
x i + 1 = DiTBlock ( x i , t , y ) , i = 0 , … , L − 1.
最后由输出头映射并反 patchify：
u = D e p a t c h i f y ( H e a d ( x ~ L , t ~ ) ) ∈ R C × H × W . u
=
\mathrm{Depatchify}\!\left(
\mathrm{Head}(\widetilde x_L,\widetilde t)
\right)
\in\mathbb R^{C\times H\times W}.
u = Depatchify ( Head ( x L , t ) ) ∈ R C × H × W .
这里 L L L N N N
注意力要解决的是“当前 patch 应从哪些位置取信息”。给定查询 Q ∈ R N × d h Q\in\mathbb R^{N\times d_h} Q ∈ R N × d h K , V ∈ R M × d h K,V\in\mathbb R^{M\times d_h} K , V ∈ R M × d h
A t t n ( Q , K , V ) = s o f t m a x ( Q K T d h ) V . \mathrm{Attn}(Q,K,V)
=
\mathrm{softmax}\!\left(
\frac{QK^\mathsf T}{\sqrt{d_h}}
\right)V.
Attn ( Q , K , V ) = softmax ( d h Q K T ) V .
设一层有 H a H_a H a d h = d / H a d_h=d/H_a d h = d / H a r r r
W Q ( r ) , W K ( r ) , W V ( r ) ∈ R d × d h , r = 1 , … , H a , W_Q^{(r)},W_K^{(r)},W_V^{(r)}
\in\mathbb R^{d\times d_h},
\qquad
r=1,\ldots,H_a,
W Q ( r ) , W K ( r ) , W V ( r ) ∈ R d × d h , r = 1 , … , H a ,
并定义
h e a d r ( x , z ) = A t t n ( x W Q ( r ) , z W K ( r ) , z W V ( r ) ) . \mathrm{head}_r(x,z)
=
\mathrm{Attn}\!\left(
xW_Q^{(r)},zW_K^{(r)},zW_V^{(r)}
\right).
head r ( x , z ) = Attn ( x W Q ( r ) , z W K ( r ) , z W V ( r ) ) .
矩阵 Q K T QK^\mathsf T Q K T 1 1 1 d h \sqrt{d_h} d h z = x z=x z = x z = y ~ z=\widetilde y z = y W O ∈ R H a d h × d W_O\in\mathbb R^{H_ad_h\times d} W O ∈ R H a d h × d
M H A ( x , z ) = C o n c a t ( h e a d 1 , … , h e a d H a ) W O . \mathrm{MHA}(x,z)
=
\mathrm{Concat}(
\mathrm{head}_1,\ldots,\mathrm{head}_{H_a}
)W_O.
MHA ( x , z ) = Concat ( head 1 , … , head H a ) W O .
时间是整张图共享的全局状态，没有必要像文本一样让每个 patch 单独检索。自适应归一化让时间嵌入直接改变每个通道的工作区间：若 g g g t ~ \widetilde t t
A d a N o r m γ , β ( h ) = ( 1 + γ ) ⊙ N o r m ( h ) + β , \mathrm{AdaNorm}_{\gamma,\beta}(h)
=
(1+\gamma)\odot\mathrm{Norm}(h)+\beta,
AdaNorm γ , β ( h ) = ( 1 + γ ) ⊙ Norm ( h ) + β ,
h ′ = h + α ⊙ M H A ( A d a N o r m γ , β ( h ) , A d a N o r m γ , β ( h ) ) . h'
=
h+\alpha\odot
\mathrm{MHA}\!\left(
\mathrm{AdaNorm}_{\gamma,\beta}(h),
\mathrm{AdaNorm}_{\gamma,\beta}(h)
\right).
h ′ = h + α ⊙ MHA ( AdaNorm γ , β ( h ) , AdaNorm γ , β ( h ) ) .
γ \gamma γ β \beta β α \alpha α t ~ \widetilde t t
U-Net
U-Net 是另一类常用的向量场网络。对固定的 y , t y,t y , t x x x u t θ ( x ∣ y ) u_t^\theta(x\mid y) u t θ ( x ∣ y )
典型 U-Net 先用输入卷积提升通道数，再通过多个下采样阶段得到低分辨率、高通道特征，在 bottleneck 处处理全局关系，最后逐级上采样恢复原分辨率。每次下采样都让一个特征单元覆盖更大的原图区域，因而能用较低成本判断物体是否完整、远处区域是否协调；上采样则把这些全局决定重新落实到像素位置。以 256 × 256 256\times256 256 × 256
x t i n p u t ∈ R 3 × 256 × 256 ⟶ E ( x t i n p u t ) ∈ R 512 × 32 × 32 ⟶ M ⟶ D ⟶ x t o u t p u t ∈ R 3 × 256 × 256 . x_t^{input}\in\mathbb R^{3\times256\times256}
\longrightarrow
\mathcal E(x_t^{input})\in\mathbb R^{512\times32\times32}
\longrightarrow
\mathcal M
\longrightarrow
\mathcal D
\longrightarrow
x_t^{output}\in\mathbb R^{3\times256\times256}.
x t in p u t ∈ R 3 × 256 × 256 ⟶ E ( x t in p u t ) ∈ R 512 × 32 × 32 ⟶ M ⟶ D ⟶ x t o u tp u t ∈ R 3 × 256 × 256 .
如果只依赖 bottleneck，压缩过程中丢失的精确边界很难凭空重建。每个编码阶段因而会保留特征，并通过 skip connection 送到匹配分辨率的解码阶段，再以拼接或相加的方式融合。解码器一边使用深层特征决定“画什么”，一边借助浅层特征确定“具体画在哪里”；这类跨编码器—解码器的连接传递不同尺度的信息，不应与 ResNet block 内帮助优化的 residual connection 混为一谈。
现代扩散 U-Net 通常以 ResNet block、步幅卷积或重采样层完成尺度变化，而不是只依赖固定池化，使下采样本身也能针对生成任务学习。时间嵌入会通过加法、scale-shift 归一化或门控注入各个 ResNet block，让高、低分辨率分支都知道当前该恢复哪一层次的信息；类别嵌入可走同一路径，文本 token 则常在若干分辨率层通过 cross-attention 进入。全局注意力通常优先放在低分辨率层，因为此时 token 少、成本低，而高分辨率卷积负责局部细节。U-Net 的多尺度先验在图像上高效且稳定，DiT 的全局交互和规则堆叠则更容易随数据与计算规模扩展；实际系统会根据分辨率、条件长度和算力取舍，也常把卷积、多尺度与 Transformer 组合使用。
