讨论少步视频生成时,很容易把几个问题混在一起:模型预测的是噪声还是速度?teacher 要不要先生成一段视频?四步是谁规定的?DMD 如何让四步变得可用?时间表中的 shift 又改变了什么?
本文从常见的线性 flow matching 开始,把这些问题接成一个完整的训练过程,最后结合 Wan 系列的开源配方理解时间采样的具体选择。
1. 基础背景
全文用噪声系数 \(\sigma\) 表示时间:
$$ x_\sigma=(1-\sigma)x_0+\sigma\epsilon, \qquad \epsilon\sim\mathcal N(0,I). $$- \(x_0\):真实图像或视频的干净 latent;下标 0 表示干净端点。
- \(\epsilon\):独立采样的高斯噪声。
- \(\sigma=0\):干净数据;\(\sigma=1\):纯噪声。
- \(c\):文本、首图、相机等条件,具体内容随任务变化。
固定一对 \((x_0,\epsilon)\),线性插值路径对噪声时间的导数为:
$$ \frac{d x_\sigma}{d\sigma}=\epsilon-x_0. $$于是速度网络的训练目标是:
$$ \boxed{ L_{\mathrm{FM}}= \mathbb E\left[\|v_\theta(x_\sigma,\sigma,c)-(\epsilon-x_0)\|^2\right] }. $$这个目标是对路径速度做 MSE 回归。Flow matching 是更一般的框架,本文选择的是常用于视频模型的线性路径。Flow Matching 论文
在本文的时间约定下,速度可以换算成干净样本估计:
$$ \hat x_0=x_\sigma-\sigma v_\theta(x_\sigma,\sigma,c). $$网络只看到 \(x_\sigma\),不知道背后具体是哪一对数据和噪声。在理想 MSE 最优解下,它学习的是条件平均:
$$ v^*(x_\sigma,\sigma,c) =\mathbb E[\epsilon-x_0\mid x_\sigma,\sigma,c]. $$同一个高噪声输入,可能对应许多合理的干净样本。因此,单次去噪估计不等于恢复一个确定的真实答案。特别在纯噪声端点,普通去噪训练提供的条件平均也不自动具有丰富的生成多样性。
对每一对训练样本,插值路径虽然是直线,但汇总所有样本后学到的整体速度场未必产生直线采样轨迹。实际生成通常需要走一段、重新估计速度、再走一段。普通 FM loss 因而不保证一步或四步生成就足够好。
2. Distribution Matching Distillation(DMD)
核心路线是先规定 student 的少步采样流程,再用分布匹配训练改善它的输出。例如,选定四个噪声水平,让同一网络调用四次。Teacher 和 student 可以来自同一个预训练基模,但这不是 DMD 的必要条件,也不要求两者的初始化权重完全相同。
令少步生成器为:
$$ x=G_\theta(z,c),\qquad z\sim\mathcal N(0,I). $$这里 \(G_\theta\) 可以表示一次网络前向,也可以表示由同一个网络多次调用构成的完整四步采样器;若步骤之间还会重新采样噪声,可将全部随机性统记为 \(z\)。
逐样本蒸馏可以要求 student 接近 teacher 对同一个输入产生的指定结果。DMD 的核心分布匹配项则关心:\(G_\theta\) 生成的样本总体上,是否接近目标分布。它不要求两者对同一个随机种子输出同一段视频。DMD 论文
这一点直接解释了 DMD 与少步生成的关系:
先限定生成器的计算预算,再通过分布匹配训练,让这个预算内的输出更好。
DMD 本身可以训练一步生成器;少步质量能接近到什么程度仍取决于容量、初始化、优化与数据条件。
2.1 工程实践:三个角色(teacher、critic、student)
| 角色 | 做什么 | 是否更新 |
|---|---|---|
| Student / generator | 从噪声生成图像或视频 | 更新生成参数 |
| Real-score teacher | 估计目标分布在带噪样本附近的 score | 通常冻结 |
| Fake-score critic | 估计当前 student 输出分布的 score | 持续更新 |
三者可以采用相同 backbone,但承担不同任务,也不意味着共享全部可训练权重。Teacher 提供稳定的目标分布估计,critic 则随 student 的输出分布变化而持续更新。
这里的 critic 是去噪/速度网络,不是默认输出真假概率的二分类器。某些变体额外加入 GAN 目标,要与 fake-score 的去噪任务区分。
下面先按“生成样本 → 更新 critic → 更新 student”的顺序读一遍训练循环,再解释其中的分布与 score。Critic 会持续追踪 student,而不是训练完成后永久固定。
伪代码约定。
所有网络都预测本文第 1 节定义的速度;用 PyTorch 风格代码表示。数据接口、模型加载与 latent 形状由任务提供,学习率和更新比例仅作示意,省略 CFG、分布式和混合精度细节。推理时对一整个样本执行完整四步;训练时随机选择第 1~4 步退出。用于分块视频时,还需要另行管理历史缓存。
如果每次只在第四步反传,直接监督会集中在最后一个噪声水平,前三步仅通过共享参数间接受影响。这种截断方式可以使用,但不等价于训练所有位置。本例改为均匀随机选择退出位置:在此之前的步骤不保存计算图,仅选中步骤在 student 更新时保留梯度。各个噪声水平因此都能获得直接监督,仍不等价于对完整采样链求导。
from copy import deepcopy
import torch
# device、latent_shape、num_iterations 由任务提供。
# latent_shape 包含 batch 维度,condition 的 batch 与它一致。
teacher = load_pretrained_model().to(device).eval()
critic = deepcopy(teacher).requires_grad_(True)
student = deepcopy(teacher).requires_grad_(True)
teacher.requires_grad_(False) # 全程冻结
# eval() 控制 dropout 等行为,不会关闭 autograd。
# 此处保持确定性前向;可训练参数由 requires_grad 控制。
student_optimizer = torch.optim.AdamW(student.parameters(), lr=2e-6)
critic_optimizer = torch.optim.AdamW(critic.parameters(), lr=4e-7)
critic_updates_per_student = 5 # 示意超参数,不是 DMD 的固定要求
# 四个模型调用位置;本例不做 shift,仅用于展示流程。
SIGMAS = [1.0, 0.75, 0.50, 0.25]
def predict_x0(model, noisy, sigma, condition):
velocity = model(noisy, sigma, condition) # 恰好一次 forward
return noisy - sigma * velocity
def add_noise(clean, sigma):
eps = torch.randn_like(clean)
noisy = (1 - sigma) * clean + sigma * eps
return noisy, eps
def sample_score_sigma():
# 与 student 四步网格独立采样;本例不做 shift。
return torch.empty((), device=device).uniform_(0.02, 0.98)
def sample_exit_index():
# 代码索引 0、1、2、3,对应第 1、2、3、4 次 forward。
return int(torch.randint(0, len(SIGMAS), ()).item())
def sample_student_until_exit(condition, *, exit_index, track_exit_step):
assert 0 <= exit_index < len(SIGMAS)
noisy = torch.randn(latent_shape, device=device)
# 选中位置之前做 exit_index 次 forward,全部无梯度。
# exit_index=0 时跳过循环,直接从纯噪声预测干净样本。
with torch.no_grad():
for k in range(exit_index):
clean = predict_x0(student, noisy, SIGMAS[k], condition)
noisy, _ = add_noise(clean, SIGMAS[k + 1])
# 选中位置再 forward 1 次,得到干净估计并退出。
# 本次共 exit_index + 1 次调用,不再运行后续步骤。
with torch.set_grad_enabled(track_exit_step):
generated = predict_x0(
student, noisy.detach(), SIGMAS[exit_index], condition
)
return generated
for iteration in range(num_iterations):
# ①、②:生成样本并更新 critic,连续重复若干次。
critic.requires_grad_(True)
for _ in range(critic_updates_per_student):
condition = sample_conditions()
with torch.no_grad():
# 与 student 更新使用相同的退出位置分布。
# Student 做 1~4 次 forward,全部不保留梯度。
exit_index = sample_exit_index()
fake_clean = sample_student_until_exit(
condition, exit_index=exit_index, track_exit_step=False
)
rho = sample_score_sigma()
noisy, eps = add_noise(fake_clean, rho)
target_velocity = eps - fake_clean
# Critic forward 1 次,有梯度;本阶段不调用 teacher。
pred_velocity = critic(noisy, rho, condition)
loss_critic = (pred_velocity - target_velocity).square().mean()
critic_optimizer.zero_grad(set_to_none=True)
loss_critic.backward()
critic_optimizer.step() # 只更新 critic
# ③:固定 critic 与 teacher,更新 student。
critic_optimizer.zero_grad(set_to_none=True)
critic.requires_grad_(False)
condition = sample_conditions()
# 重新独立抽取退出位置,student 做 1~4 次 forward。
# 只有选中的退出步骤有梯度;前面的步骤全部无梯度。
exit_index = sample_exit_index()
generated = sample_student_until_exit(
condition, exit_index=exit_index, track_exit_step=True
)
with torch.no_grad():
rho = sample_score_sigma()
noisy, _ = add_noise(generated.detach(), rho)
# 同一 noisy、rho、condition;各 forward 1 次,都不更新。
real_x0 = predict_x0(teacher, noisy, rho, condition)
fake_x0 = predict_x0(critic, noisy, rho, condition)
# 采用逐样本归一化的 DMD 风格方向,详见第 2.2 节。
dims = tuple(range(1, generated.ndim))
scale = (generated.detach() - real_x0).abs().mean(
dim=dims, keepdim=True
)
g = (fake_x0 - real_x0) / scale.clamp_min(1e-8)
target = (generated - g).detach()
loss_student = 0.5 * (generated - target).square().mean()
student_optimizer.zero_grad(set_to_none=True)
loss_student.backward() # 只穿过选中的退出步骤
student_optimizer.step()
# ④:student 变了。下一轮生成新样本,让 critic 继续跟进。
# 推理:固定在第 4 步退出,完整执行 4 次 forward,全部无梯度。
with torch.no_grad():
result = sample_student_until_exit(
condition, exit_index=3, track_exit_step=False
)
每次前向与更新的关系如下,次数按一份样本、无 CFG 的本例计算:
| 阶段 | Student forward | Teacher forward | Critic forward | 更新参数 |
|---|---|---|---|---|
| 一次 critic 更新 | 1~4 次,全部无梯度 | 0 次 | 1 次,有梯度 | 仅 critic |
| 一次 student 更新 | 1~4 次,仅随机选中的退出步骤有梯度 | 1 次,无梯度 | 1 次,无梯度 | 仅 student |
| 一次完整推理 | 4 次,全部无梯度 | 0 次 | 0 次 | 不更新 |
其中 SIGMAS[k] 是 student 生成时的第 k 个噪声水平(代码从 0 编号);exit_index 决定此次训练在哪个固定网格位置结束;rho 是生成之后另抽的评分噪声水平。generated 是退出步骤给出的完整干净估计,即使较早退出,也不是直接把尚带噪的输入作为生成结果。real_x0 与 fake_x0 是两个网络对同一评分输入的干净估计,g 是由其差异构造的更新方向,target 是用于反传的临时固定目标。
例如 exit_index=1:先在噪声水平 1.0 做一次无梯度前向,再于 0.75 做一次有梯度前向,对第二次预测的干净结果计算 DMD loss;不会继续执行 0.50 和 0.25 的步骤。多轮训练中,四个位置各有约四分之一的机会接受直接监督。
Student 更新后,所有采样位置都使用新参数,因为它们共享同一个网络。随机退出仍然截断了此前生成决策的链式梯度,并不等于同时对四步完整反传,也不保证一定优于只监督最后一步。
Critic 和 student 的训练采样必须对齐:本例两者都使用相同的均匀退出分布,但每次独立抽取位置。由于 critic 不额外接收退出编号,它拟合的是四种退出结果的混合分布,而不只是四步最终输出的分布。推理固定执行四步,因此还需要专门评估四步结果的质量;改变退出概率也是训练配方的一部分。
如果 teacher 与 critic 初始化相同,且评估条件一致,它们最初可能预测相同,使 DMD 方向为零。本例先训练 critic:它用 student 的少步样本学习,而 teacher 不变,两者便可能逐渐产生差异。同样的初始权重不保证少步生成分布已经等于目标分布。
注意,critic 的目标是拟合 student 当前样本的去噪规律,不是模仿 teacher。更新 student 时必须重新生成或带梯度重算,不能直接对前一阶段无梯度的样本反传。
2.2 理论分析
把上一节代码串起来看:student 先生成样本,critic 学习这些样本的去噪规律,再用 critic 与 teacher 的预测差更新 student。下面省略条件 \(c\),只保留这条链上的关键公式。
从样本到分布。
令 \(x=G_\theta(z)\) 为 student 的一次生成结果,即代码中的 generated。固定参数、不断更换随机输入,就得到生成分布 \(p_\theta\);teacher 提供目标分布 \(p_{\mathrm{real}}\) 的估计。代码不直接计算两个分布的密度,而是借助去噪网络得到更新方向。
先给生成结果重新加噪:
$$ y=(1-\rho)x+\rho\epsilon. $$这里 \(\rho\) 对应代码中另抽的评分时间,与 student 生成时的四步时间表分开。分布匹配希望减小的是加噪后两个分布的差异:
$$ L_{\mathrm{DM}}=\mathbb E_\rho\left[ w(\rho)D_{\mathrm{KL}}(p_{\theta,\rho}\|p_{\mathrm{real},\rho}) \right]. $$从去噪估计到 score。
Score 是 \(s_\rho(y)=\nabla_y\log p_\rho(y)\),表示局部提高对数密度的方向;它和 latent 同形状,不是一个质量分数。对于上面的高斯加噪过程,理想去噪器预测条件均值 \(D(y,\rho)=\mathbb E[x\mid y]\),两者满足:
$$ s_\rho(y)=\frac{(1-\rho)D(y,\rho)-y}{\rho^2}. $$因此,teacher 和 critic 对同一份 noisy 分别预测 real_x0、fake_x0,就可以估计两个 score 的差:
这就是代码里 fake_x0 - real_x0 的来源。Teacher 描述目标分布,critic 描述 student 当前分布;两者共同提供分布匹配方向,不能只把 teacher 的预测当作固定标准答案。
从预测差到 student 更新。
对上述目标求导,传给生成结果 \(x\) 的理想方向包含 \(w(\rho)(1-\rho)(s_{\mathrm{fake}}-s_{\mathrm{real}})\),再由链式法则传回参数。实际实现会选择时间权重或梯度归一化;上一节采用的是:
$$ g=\frac{D_{\mathrm{fake}}-D_{\mathrm{real}}} {\max(\operatorname{mean}|x-D_{\mathrm{real}}|,10^{-8})}. $$这是归一化后的 DMD 风格方向,不等同于任意权重下的精确 KL 梯度。Self Forcing 的类似实现
代码再构造一个停止梯度的临时目标,把 \(g\) 交给 autograd:
$$ x_{\mathrm{target}}=\operatorname{stopgrad}(x-g), $$$$ L_{\mathrm{student}}=\frac{\|x-x_{\mathrm{target}}\|^2}{2N}, \qquad \frac{\partial L_{\mathrm{student}}}{\partial x}=\frac{g}{N}. $$\(N\) 是取均值的元素数。这个 MSE 用于传递指定梯度;target 不是 ground truth,loss 数值也不是真实 KL。Teacher 与 critic 只在无梯度前向中提供方向,student 的更新则经过选中退出步骤的计算图。
Critic 为什么要持续更新?
Student 的参数变了,生成分布也会变化。Critic 使用停止梯度的生成样本 \(x\),回归已知速度 \(\epsilon-x\),做普通的 FM MSE;它拟合的是 student 当前分布,不是 teacher 的输出。然后再用更新后的 critic 与固定 teacher 比较,进入下一轮。
随机退出时,本例的 \(p_\theta\) 指不同退出位置的混合输出分布,critic 和 student 使用相同的退出采样规则。推理只取完整四步结果,因此仍需单独验证四步质量。少步预算由采样器规定,DMD 负责在这个预算和训练采样规则下改善生成分布。
这里讲的是核心分布匹配逻辑。原始 DMD 还有配对回归项,DMD2 等工作调整了稳定化和多步训练方式;具体配方并不完全相同。DMD、DMD2
2.3 Shift 与开源配方
Shift 是时间安排的超参数,常用变换为:
$$ f_s(u)=\frac{s u}{1+(s-1)u}. $$它保留端点与顺序;\(s>1\) 把中间位置推向高噪声区域。例如四步基础网格 \([1,0.75,0.5,0.25]\) 经 shift=5 变为约 \([1,0.938,0.833,0.625]\)。最后一次输出是干净估计,不意味着停在相应噪声水平。SD3 的时间偏移讨论
Student 的生成时间表、训练退出位置、real/fake 的评分时间是三个不同选择;给评分时间加 shift,不一定也会改动 student 的显式时间列表。上一节教学代码没有使用 shift。
以下是 2026-10-29 核查的 Wan 训练配方,数值需连同具体采样规则理解:
| 配方 | Student 时间安排 | Score shift |
|---|---|---|
| Self Forcing / Wan2.1 | 四步列表开启 warp,shift=5 | 5 |
| FastVideo Data-free / Wan2.2-5B | 显式 [1000,757,522],未开启再次 warp | 5 |
| FastVideo VSA / Wan2.2-5B | 同上 | 8 |
配置来源:Self Forcing、FastVideo Data-free、FastVideo VSA。复现时同时检查时间列表、warp 开关、shift 和裁剪顺序;不能仅靠一个 shift 值判断采样过程是否一致。评分时间实现