数据导出
数据导出页面把平台内已标注的数据集转换为训练与质检所需的格式。导出以数据集为选择单位,按标签页区分目标格式;转换类导出在后台队列执行,结果记录在导出历史中。

使用前提
| 项 | 内容 |
|---|---|
| 菜单入口 | 数据 → 导出 |
| 路由 | /export |
| 页面模块权限 | 「查看导出列表」 |
| 必需权限 | 「创建导出任务」 |
| 可见角色 | 管理员、项目经理 |
| 数据集权限 | 导出前校验所选数据集的导出权限,无权限的数据集被剔除 |
| 质检前置 | 默认启用「质检未通过禁止导出」,质检未通过的数据集被拦截 |
| 云存储前置 | 转换类导出需要已配置的「系统导出数据存储位置」云存储连接 |
导出格式
格式总览
页面顶部以标签页列出全部导出格式,其中「导出额度管理」仅管理员可见。转换类导出写入后台队列并记录导出历史;直出类导出在浏览器内直接下载。
| 标签页 | 路由 | 输出内容 | 消耗额度 |
|---|---|---|---|
| JSON | /export/json | 标注结果 JSON,可选包含原始文件下载链接 | 否 |
| 表格 | /export/csv | 标注结果 CSV | 否 |
| 元数据 | /export/metadata | 数据集元信息 CSV | 否 |
| 原始数据 | /export/raw-data | 原始文件的下载链接清单 | 否 |
| MCap | /export/mcap | MCAP 文件及同名标注 JSON | 是 |
| LeRobot | /export/lerobot | LeRobot 数据集 tar.gz | 是 |
| RLDS | /export/rlds | RLDS episode 数据集 | 是 |
| HDF5 | /export/hdf5 | 分组压缩的 HDF5 tar.gz | 是 |
| 图像标注 | /export/annotations | 图像标注文件 | 否 |
| 时间对齐 | /export/aligns | 时间对齐结果 CSV | 是 |
| 丢帧检测 | /export/framedrops | 丢帧检测结果 CSV | 是 |
| MCap 切块 | /export/splits | 按标注时间段切分的 MCAP | 是 |
| 导出额度管理 | /export/quota | 导出额度记录 | 否,仅管理员 |
转换类导出参数
LeRobot、HDF5、RLDS 三类格式的参数分别设置。
| 参数 | 类型 | 必填 | 默认值 | 取值范围 | 说明 |
|---|---|---|---|---|---|
| 数据集 ID | 文本 | 是 | io-ai-data/lerobot_dataset | 仓库名称格式 | 导出数据集的仓库名 |
| 数据采样频率 | 数字 | 是 | 30 | 1–60 Hz | 频率越低数据集越小,推荐 10–30 |
| 图像格式 | 单选 | 是 | MP4 | MP4、JPG | MP4 相比 JPG 节约约 80% 存储 |
| 严格匹配模型输入输出 | 复选 | 否 | 关闭 | 勾选、取消勾选 | 勾选后裁切观测值与指令值为一对一;配置适配映射后忽略此项 |
| 自动模糊人脸 | 复选 | 否 | 关闭 | 勾选、取消勾选 | 识别画面人脸并模糊化 |
| 启用子任务 | 复选 | 否 | 关闭 | 勾选、取消勾选 | 勾选后每条标注成为 episode 内的子任务,仅支持 v3.0 |
| LeRobot 版本 | 单选 | 是 | v3.0 | v3.0、v2.1 | 子任务模式下固定 v3.0 |
| 适配映射 | 表单或 JSON | 否 | 空 | 留空使用默认规则 | 映射与非默认数据格式的字段关系 |
导出结果打包为 tar.gz,可直接用于 LeRobot、SmolVLA、ACT、Diffusion 等训练流程,也可在模型训练中作为输入。
| 参数 | 类型 | 必填 | 默认值 | 取值范围 | 说明 |
|---|---|---|---|---|---|
| 分组数量 | 数字 | 是 | 10 | 1–100 | 每个 HDF5 文件包含的 MCAP 文件数量 |
| 数据刷新频率 | 数字 | 是 | 30 | 1–60 Hz | 每秒数据采集次数,影响文件大小与训练精度 |
导出结果按原始文件分组命名后压缩为 tar.gz。格式与数据结构见 HDF5 数据集。
RLDS(Reinforcement Learning Datasets,强化学习数据集)由 Google Research 提出,以 TensorFlow Datasets(TFDS)为存储与读取载体;Open X-Embodiment 的数据集按 RLDS 的 episode 格式组织。下表列出该标签页的导出参数。
| 参数 | 类型 | 必填 | 默认值 | 取值范围 | 说明 |
|---|---|---|---|---|---|
| TFDS 数据集名称 | 文本 | 是 | embodiflow_rlds | 字母、数字与下划线 | 用于 builder 与输出目录命名 |
| 数据集版本 | 文本 | 是 | 1.0.0 | 语义化版本号 | 例如 1.0.0 |
| 数据采样频率 | 数字 | 是 | 30 | 0–120 Hz | 0 表示保留原始关节指令频率 |
RLDS 列表只显示扩展名为 MCAP 或 SenseXperience 且已标注的数据集。RLDS 为独立导出标签页,与LeRobot 可视化用途不同。
直出类导出
直出类导出在浏览器内下载,不进入后台队列。
| 格式 | 操作 | 可导出范围 | 附加选项 |
|---|---|---|---|
| JSON | 下载全部 JSON、导出选中、上传导入 JSON | 单次最多 10000 个数据集 | 包含未标注数据;包含文件下载链接(有效期 24 小时) |
| 表格 | 下载全部表格、导出选中 | 单次最多 10000 个数据集 | 无 |
| 元数据 | 下载全部元数据 CSV、导出选中 | 单次最多 10000 个数据集 | 导出字段选择:数据 ID、数据名、项目、上传者、创建时间、更新时间、数据标签 |
| 原始数据 | 导出下载链接、导出选中 | 单次最多 1000 个数据集 | 输出格式 CSV、JSON |
元数据导出包含所选数据集的名称、项目、上传者、时间与数据标签。原始数据导出按数据集关联的云存储路径生成下载链接,输出字段为下载链接(2 小时有效期)、数据集名称、项目名称、上传者、创建时间。JSON 的「上传导入 JSON」把导出的 JSON 文件重新导入平台,用于批量修改标注数据。
图像标注导出
图像标注导出列出项目内的图像标注条目,按标注类型筛选后导出。此页面的接口校验模块权限 「数据标注」,与转换类导出的权限键不同。轻量标注在独立的标注工具(/annotate)页面完成。
下表为导出页提供的筛选项,与标注数据实际存储的类型枚举不是同一组取值(存储侧取值为 BBOX、POINT、POLYGON、LINE、CIRCLE,见数据标注)。
| 标注类型 | 含义 |
|---|---|
| BBOX | 矩形框 |
| POINT | 点标注 |
| POLYGON | 多边形 |
| POLYLINE | 折线 |
| KEYPOINT | 关键点 |
| SEGMENTATION | 分割 |
| 导出格式 | 输出内容 |
|---|---|
| CSV | 图像路径与标注坐标 |
| YOLO | 标注 txt 文件与类别定义 |
| COCO | 目标检测与分割的 JSON |
| Pascal VOC | VOC XML |
| TAR | 图像文件与标注文件完整打包 |
单次导出的标注条目上限为 10000,未指定时默认取 1000。
质检类导出
| 格式 | 输出内容 | 适用范围 |
|---|---|---|
| 时间对齐 | CSV,每行以主相机时间戳为基准,包含各话题的对齐时间 | MCAP 及兼容格式数据集 |
| 丢帧检测 | CSV,每行包含 topic、起止时间戳与疑似丢帧区间 | MCAP 及兼容格式数据集 |
| MCap 切块 | 按标注动作的时间段切分 MCAP 并附带对应标注信息 | 仅 MCAP 与 SenseXperience 格式数据集 |
质检类导出进入后台队列,消耗导出额度。
导出任务
创建导出
- 在页面顶部选择导出格式标签页。
- 在搜索栏设置项目与筛选条件(列表随条件刷新并写入 URL 查询参数)。
- 在列表中勾选要导出的数据集。
- 在右侧参数面板设置该格式的参数。
- 点击「开始导出」,转换类导出进入后台队列。
- 在导出历史中等待状态变为「已完成」,然后下载文件。
数据集筛选
| 筛选维度 | 说明 |
|---|---|
| 项目 | 决定列表的数据范围 |
| 数据名称 | 按名称匹配 |
| 时长范围 | 按数据时长区间筛选,单位秒,默认 0–3600 |
| 所属项目 | 按项目筛选 |
| 采集员 | 按采集员筛选 |
| 采集任务 | 按来源采集任务筛选 |
| 标记点文本 | 按标注文本内容检索 |
列表默认只显示已标注的数据集。MCap 与 JSON 标签页提供「包含未标注数据」选项,勾选后一并导出。
导出记录与状态
转换类导出的记录显示在各格式标签页下方,每 5 秒自动刷新。记录包含导出时间、导出数量、源数据总时长、文件大小、导出耗时、导出参数与错误信息。
| 状态 | 含义 | 可执行操作 |
|---|---|---|
| pending | 任务已创建,等待执行 | 无 |
| processing | 正在执行 | 查看进度 |
| completed | 执行成功,文件已生成 | 下载数据、复制链接、训练 |
| failed | 执行失败 | 查看错误信息,重新导出 |
下载链接有效期为 24 小时。仅状态为「已完成」的记录可下载;非管理员只能下载本人创建的导出文件。
导出额度管理
导出额度按数据集条数消耗,每导出 1 个数据集记 1 次。管理员无额度限制;其他用户在未配置个人额度时使用全局配置 EXPORT_MAX_COUNT,未设置该项时默认 10。额度管理入口「导出额度管理」仅管理员可见。
| 列 | 含义 |
|---|---|
| 用户 | 额度归属账号与角色 |
| 总额度 | 可导出的数据集条数上限 |
| 已使用 | 已消耗条数 |
| 剩余额度 | 总额度减已使用 |
| 状态 | 正常、余额不足(剩余不超过总额度 20%)、已用完 |
| 备注 | 授予说明 |
| 授予时间 | 额度创建时间 |
管理操作包括授予额度、编辑额度与删除额度。删除额度后该账号回退到全局配置。
约束与限制
| 项目 | 取值 | 适用范围 |
|---|---|---|
| JSON 与表格单次选择上限 | 10000 个数据集 | 直出类 |
| 元数据单次选择上限 | 10000 个数据集 | 直出类 |
| 原始数据单次选择上限 | 1000 个数据集 | 直出类 |
| 图像标注单次上限 | 10000 条,默认 1000 | 图像标注 |
| 下载链接有效期 | 24 小时 | 转换类与原始数据 |
| 额度消耗单位 | 数据集条数 | 转换类 |
| 质检拦截 | 默认开启 | 全部导出 |
| 适配映射校验 | 配置无效时拒绝创建任务 | LeRobot |
失败处理
| 现象 | 可能原因 | 处置 | 责任方 |
|---|---|---|---|
| 提示数据集均无导出权限 | 所选数据集不属于当前账号或未授权导出 | 转为可访问的数据集,或由管理员调整数据集权限 | 操作人、管理员 |
| 提示导出额度不足 | 已用与本次所选条数之和超过总额度 | 减少所选条数,或由管理员增加额度 | 操作人、管理员 |
| 提示质检未通过禁止导出 | 所选数据集质检未通过 | 先在数据质检处理,或由管理员关闭该拦截配置 | 操作人、管理员 |
| 提示上传凭证无效或缺失 | 页面停留过久,上传凭证失效 | 刷新页面后重新导出 | 操作人 |
| 提示 MCap 切块仅支持指定格式 | 所选数据集不是 MCAP 或 SenseXperience | 移除不符格式的数据集 | 操作人 |
| 提示 RLDS 仅支持指定格式 | 所选数据集不是 MCAP 或 SenseXperience | 移除不符格式的数据集 | 操作人 |
| 提示适配映射无效 | 适配映射配置不合法 | 按提示修正映射后重新导出 | 操作人 |
| 导出记录状态为失败 | 数据量过大、存储连接异常、转换报错 | 查看错误信息,分批重试或联系管理员 | 操作人、管理员 |
| 下载时提示记录不存在或未完成 | 记录未完成、文件被清理 | 确认状态为「已完成」后重试 | 操作人 |
相关页面
| 页面 | 用途 |
|---|---|
| 数据管理 | 查看与管理待导出的数据集 |
| 标注任务 | 查看标注任务完成情况 |
| 数据质检 | 质检规则与导出拦截口径 |
| LeRobot 可视化 | 在平台内预览 LeRobot 数据 |
| 模型训练 | 使用导出数据训练模型 |
| HDF5 数据集 | HDF5 格式与数据结构 |