Diffusion Policy 模型训练
Diffusion Policy 将动作序列建模为条件去噪过程，适合连续、平滑且存在多条可行轨迹的控制任务。LeRobot 提供了 PyTorch 实现，平台以模型标识 diffusion 注册该策略，训练框架为 LeRobot，输入为 LeRobot v2 或 v3 数据集。
适用角色与前提
适用角色
| 角色 | 使用场景 | 依赖 |
|---|---|---|
| 算法工程师 | 为连续轨迹任务微调扩散策略 | 训练与数据集模块权限 |
| 项目经理 | 跟进扩散策略训练任务的进度与产物 | 训练任务查看权限 |
| 数据提供方 | 提供字段与帧率一致的数据集 | 数据导出模块权限 |
前置条件
| 项 | 要求 |
|---|---|
| 数据集版本 | LeRobot v2 或 v3 |
| 训练框架 | LeRobot |
| 数据集字段 | meta/info.json 中图像、状态、动作字段完整，字段名与训练配置一致 |
| 时序一致性 | fps 与实际录制一致，避免监督信号错位 |
| 计算资源 | GPU；显存需求随 batch_size、图像分辨率与观测步数变化 |
创建训练任务与参数
操作步骤
- 在训练页面新建训练任务，模型选择
diffusion。 - 选择数据来源与数据集版本
v2或v3。 - 训练框架选择 LeRobot。
- 配置通用参数与策略参数。
- 选择计算资源并提交任务。
训练参数
通用参数：
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
batch_size | 批次大小 | 1 | ≥ 1 |
steps | 训练步数 | 10000 | ≥ 1 |
seed | 随机种子 | 1000 | 整数 |
num_workers | DataLoader worker 数 | 4 | ≥ 1 |
eval_freq | 评估频率，单位步 | 1000 | ≥ 1 |
log_freq | 日志频率，单位步 | 100 | ≥ 1 |
save_checkpoint | 是否保存检查点 | true | 布尔 |
save_freq | 检查点保存频率，单位步 | 5000 | ≥ 1 |
策略参数（以 policy. 为前缀）：
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
policy.n_obs_steps | 输入策略的观测步数 | 2 | 正整数 |
policy.horizon | 动作预测长度 | 16 | 正整数 |
policy.n_action_steps | 每次调用执行的动作步数 | 8 | 正整数 |
policy.vision_backbone | 视觉骨干网络 | resnet18 | resnet18、resnet34、resnet50、resnet101、resnet152 |
policy.pretrained_backbone_weights | 骨干网络预训练权重 | 空 | 路径或空 |
policy.crop_shape | 送入骨干前的图像裁剪尺寸 | [84, 84] | 二元组 |
policy.crop_is_random | 训练时是否随机裁剪 | true | 布尔 |
policy.use_group_norm | 骨干网络以 GroupNorm 替换 BatchNorm | true | 布尔 |
policy.spatial_softmax_num_keypoints | SpatialSoftmax 关键点数 | 32 | 正整数 |
policy.use_separate_rgb_encoder_per_camera | 每路相机是否使用独立 RGB 编码器 | false | 布尔 |
policy.down_dims | Unet 各下采样阶段特征维度 | [512, 1024, 2048] | 三维组 |
policy.kernel_size | Unet 卷积核大小 | 5 | 正整数 |
policy.n_groups | Unet 卷积块 GroupNorm 分组数 | 8 | 正整数 |
policy.diffusion_step_embed_dim | 扩散时间步嵌入维度 | 128 | 正整数 |
policy.use_film_scale_modulation | Unet 条件调制使用 FiLM | true | 布尔 |
policy.noise_scheduler_type | 噪声调度器类型 | DDPM | DDPM、DDIM |
policy.num_train_timesteps | 前向扩散步数 | 100 | 正整数 |
policy.beta_schedule | beta 调度方式 | squaredcos_cap_v2 | 字符串 |
policy.beta_start | 首个前向扩散步的 beta | 0.0001 | 浮点数 |
policy.beta_end | 末个前向扩散步的 beta | 0.02 | 浮点数 |
policy.prediction_type | Unet 预测目标 | epsilon | epsilon、sample |
policy.clip_sample | 是否裁剪预测样本 | true | 布尔 |
policy.clip_sample_range | 裁剪范围幅值 | 1.0 | 浮点数 |
policy.num_inference_steps | 推理阶段反向扩散步数 | 空 | 正整数或空 |
policy.do_mask_loss_for_padding | 对补零动作掩码损失 | false | 布尔 |
policy.drop_n_last_frames | 丢弃末尾帧数 | 7 | 整数 |
policy.optimizer_lr | 优化器学习率 | 1e-4 | 浮点数 |
policy.optimizer_betas | Adam 优化器 beta | [0.95, 0.999] | 二元组 |
policy.optimizer_eps | Adam 优化器 epsilon | 1e-8 | 浮点数 |
policy.optimizer_weight_decay | 权重衰减 | 1e-6 | 浮点数 |
policy.scheduler_name | 学习率调度器 | cosine | 字符串 |
policy.scheduler_warmup_steps | 调度器预热步数 | 500 | 非负整数 |
首次验证数据链路时，将 batch_size 与 steps 设为小值，先确认字段读取与损失下降，再放大到完整训练。
结果校验
训练监控
平台解析 LeRobot 训练日志中的以下指标：
| 指标 | 含义 |
|---|---|
loss | 训练损失 |
step | 训练步 |
sample | 已使用样本数 |
episode | 已使用 episode 数 |
epoch | 训练轮次 |
gradient_norm | 梯度范数 |
learning_rate | 学习率 |
update_time | 单步更新时间 |
data_time | 单步数据加载时间 |
校验清单
| 校验项 | 通过标准 |
|---|---|
| 检查点列表 | 训练详情页按 save_freq 出现检查点 |
| 损失曲线 | loss 随训练下降 |
| 日志 | 训练日志无持续报错 |
| 实机或仿真评估 | 相同初始条件下多次 rollout 的执行结果稳定 |
异常处置
| 现象 | 可能原因 | 处置 | 责任方 |
|---|---|---|---|
| 字段 key 不匹配 | meta/info.json 的图像、状态、动作字段名与 训练配置不一致 | 核对并统一字段名与 fps | 数据提供方 |
| 显存不足 | batch_size 过大，或图像分辨率与观测步数过高 | 下调 batch_size，先缩短 steps 验证 | 训练配置方 |
| 损失不下降 | 学习率或数据窗口配置不当 | 核对 policy.optimizer_lr、policy.horizon 与 policy.n_obs_steps | 算法工程师 |
| 与原始论文结果不一致 | LeRobot 实现、数据读取与预处理存在差异 | 以 LeRobot 实现为准，或改用原始实现 | 算法工程师 |
相关页面
| 页面 | 用途 |
|---|---|
| 模型训练 | 训练任务的创建、监控与配额 |
| LeRobot 数据集与训练 | 数据导出与训练总览 |
| LeRobot v2 与 v3 格式差异 | 两种数据格式的差异与迁移 |
| 数据导出 | 生成 LeRobot 训练包 |