流程管理把数据集匹配条件与处理步骤组合为流水线,在数据集入库或状态变化时自动执行格式转换、导入项目、质检、标注与导出等操作。流水线由三类可复用定义组成:匹配规则、处理规则与工作流;工作流引用前两者,构成可执行的有向图。

使用前提
| 项 | 内容 |
|---|
| 菜单入口 | 管理 → 流程 |
| 路由 | /workflows(默认跳转 /workflows/overview) |
| 页面权限 | 「查看流程」;编辑页需「管理流程」 |
| 接口权限 | 「查看流程」(读取)、「管理流程」(新建、编辑、删除、测试) |
| 可写范围 | 全局定义仅管理员可写;项目定义需项目经理且对目标项目具备写权限 |
| 依赖 | 至少一条匹配规则与一条处理规则;执行依赖后台任务服务与执行节点可用 |
匹配规则页与处理规则页对具备 「查看流程」 的用户开放;流 程总览、项目设置、运行中心、预设模板、工作流管理、质量标准、标注配置、导出配置仅管理员与项目经理可访问,其他角色访问时跳转「标注」。
流程配置与运行
页签与流水线阶段
| 页签 | 路由 | 用途 |
|---|
| 流程总览 | /workflows/overview | 流水线阶段入口与蓝图预览 |
| 项目设置 | /workflows/project | 项目级流水线开关与参数 |
| 运行中心 | /workflows/runs | 流水线运行记录、状态、耗时与详情 |
| 预设模板 | /workflows/templates | 平台标准模板的预览、试跑与复制到项目 |
| 工作流管理 | /workflows/manage | 工作流列表、新建、编辑、删除 |
| 匹配规则 | /workflows/match-rules | 数据集匹配条件的定义与测试 |
| 处理规则 | /workflows/action-rules | 处理步骤的编排与参数配置 |
| 质量标准 | /workflows/qc-rubrics | 质检评级标准(严格度与指标阈值) |
| 标注配置 | /workflows/label-configs | 自动标注的模型与复核策略 |
| 导出配置 | /workflows/export-profiles | 导出格式、过滤条 件与目录结构 |

| 阶段 | 对应能力 |
|---|
| 采集与入库 | 匹配规则、云端存储规则 |
| 数据规范化 | 格式转换与坐标系处理 |
| 后处理算法 | 自定义算法模板的运行 |
| 质量评估 | 质检规则与评级标准 |
| 标注与审核 | 自动标注与人工复核 |
| 交付与报告 | 导出规则与质保报告 |
匹配规则
| 字段 | 类型 | 必填 | 默认值 | 说明 |
|---|
| 名称 | 文本 | 是 | 无 | 最大 200 字符 |
| 描述 | 文本 | 否 | 空 | 最大 500 字符 |
| 范围 | 枚举 | 是 | 全局 | 全局或项目 |
| 优先级 | 整数 | 否 | 100 | 数字越小越先评估 |
| 启用 | 开关 | 否 | 开启 | 关闭后不再参与匹配 |
| 组合逻辑 | 枚举 | 是 | 且 | 且(全部满足)或 或(任一满足) |
| 条件 | 列表 | 是 | 空 | 每条条件由字段、运算符与值组成 |
匹配条件支持的字段、运算符与取值如下。
| 项 | 取值 | 说明 |
|---|
| 可选字段 | name、extension_name、robot_type、sizemb、source_url、remote_url、local_url | 取数据集对应属性 |
| 运算符 | eq、contains、regex、gt、lt、gte、lte、is_null、is_not_null | 空值判定不需要填值 |
| 正则标志 | i、m、s、u、y、d | g 会被忽略 |
| 大小比较 | gt、lt、gte、lte | 用于 sizemb 等数值字段 |
匹配测试对数据集样本执行同一匹配器,返回命中数量、已扫描数量与命中样例。
处理规则
处理规则由有序步骤组成,编辑页提供图形化步骤与 JSON 高级模式两种录入方式。
| 动作 | 标识 | 说明 |
|---|
| 自动重命名 | autoRename | 按正则模式与目标格式改写数据集名称,提供测试对话框 |
| 自动导入项目 | autoImportProject | 将数据集导入指定项目 |
| HDF5 → MCAP | io_hdf5agilex2mcap、io_hdf5realman2mcap、io_hdf5dobot2mcap、io_hdf5limx2mcap、io_hdf5unix2mcap | 按采集来源转换 Agilex、Realman、Dobot、Limx、Unix 的 HDF5 数据 |
| LeRobot → MCAP | io_lerobot2mcap | LeRobot 数据集转为 MCAP |
| Agibot → MCAP | io_agibot2mcap | Agibot 数据转为 MCAP |
| 美团 → MCAP | io_meituan2mcap | 美团数据转为 MCAP |
| Lumos FastUMI → MCAP | io_lumos2mcap | Lumos FastUMI 数据转为 MCAP |
| zc0touch → MCAP | io_zc0touch2mcap | zc0touch 数据转为 MCAP |
| SenseXperience → MCAP | io_sensexperience2mcap | SenseXperience 数据转为 MCAP |
| BVH → MCAP | io_bvh2mcap | BVH 动作数据转为 MCAP |
| 生成三维动画 | io_generateTransforms | 由数据生成三维动画制品 |
| 银河通用 Proto 数据转 ROS2 | io_galbotproto2mcap | 银河通用 Proto 数据转为 ROS2 数据 |
| 运行自定义算法 | runAlgorithm | 调用算法管理中注册的算法模板 |
工作流与配置对象
| 字段 | 类型 | 必填 | 默认值 | 说明 |
|---|
| 名称 | 文本 | 是 | 无 | 最大 200 字符 |
| 描述 | 文本 | 否 | 空 | 最大 500 字符 |
| 范围 | 枚举 | 是 | 全局 | 全局或项目 |
| 优先级 | 整数 | 否 | 100 | 数字越小越先执行 |
| 启用 | 开关 | 否 | 开启 | 关闭后不再命中执行 |
| 图 | 有向图 | 是 | 空 | 由匹配规则节点与处理规则节点组成 |
质量标准、标注配置与导出配置分别对应运行流水线时使用的评级、标注与导出参数。
| 页签 | 主要字段 | 取值 |
|---|
| 质量标准 | 严格度 | LOW、MEDIUM、HIGH |
| 质量标准 | 指标规则 | 指标、条件、阈值、严重度(WARNING、CRITICAL) |
| 标注配置 | 模型 | 模型标识、置信度阈值、服务端点 |
| 标注配置 | 复核策略 | random、all、low_confidence,抽样比例 0–100%,最少复核人数 |
| 导出配置 | 格式 | mcap、hdf5_lerobot、hdf5_robomimic、mp4、rosbag2 |
| 导出配置 | 过滤与结构 | 质检状态、最小时长;路径模板与压缩方式(gzip、none) |
运行中心
运行中心按时间倒序列出流水线运行记录。
| 字段 | 说明 |
|---|
| ID | 运行编号 |
| 数据集 | 触发运行的数据集 |
| 阶段 | 数据处理阶段 |
| 状态 | 运行状态,运行中显示进度百分比 |
| 启动时间 | 运行开始时间 |
| 耗时 | 开始到完成的时长 |
| 操作 | 查看运行详情 |
| 状态 | 含义 |
|---|
| 等待中 | 已入队,等待执行 |
| 运行中 | 正在执行 ,附带进度百分比 |
| 已完成 | 全部步骤执行完成 |
| 失败 | 步骤执行出错,详情含错误信息 |
约束与限制
| 项 | 取值 | 说明 |
|---|
| 名称长度 | ≤ 200 字符 | 超长拒绝保存 |
| 描述长度 | ≤ 500 字符 | 超长拒绝保存 |
| 优先级 | 整数,默认 100 | 数字越小越优先 |
| 全局定义 | 仅管理员可写 | 项目定义需项目经理且对项目具备写权限 |
| 匹配测试 | 非管理员必须指定项目 | 单次最多扫描 20000 条数据集,返回样例最多 50 条 |
| 删除 | 软删除 | 删除后不再命中执行,历史运行记录保留 |
| 页签访问 | 流程总览、项目设置、运行中心、预设模板、工作流管理、质量标准、标注配置、导出配置 | 仅管理员与项目经理可访问 |
失败处理
| 现象 | 可能原因 | 处置 | 责任方 |
|---|
| 流程未执行 | 流程未启用、匹配规则不满足、优先级低于其他流程 | 检查启用状态;用「测试」验证匹配命中;调整优先级 | 项目经理、管理员 |
| 匹配测试无命中 | 项目范围错误、条件过严、字段或运算符不匹配 | 放宽条件,或在目标项目内测试 | 项目经理 |
| 运行处于等待中 | 后台任务拥堵或执行节点不可用 | 在运维监控查看队列与节点状态 | 平台运维 |
| 处理步骤执行失败 | 源格式不受支持、动作参数缺失、算法运行失败 | 在运行详情查看失败步骤与日志,修正后重跑 | 项目经理、管理员 |
| 自动重命名未命中 | 正则模式不匹配,或未匹配处置设为跳过 | 在重命名测试对话框核对结果,调整模式或处置 | 项目经理 |
| 访问页签被跳转 | 当前角色不具备该页签的访问条件 | 由管理员分配权限,或改用匹配规则、处理规则页 | 管理员 |
相关页面