TurboVLA / SplitInfer

双设备推理，完整闭环 ​

TurboVLA-SplitInfer 将观测预处理与动作执行留在 Orin Nano 8GB，将完整神经网络放在 Thor 128GB，通过同步、异步替换与异步融合比较控制效果。

开始部署 · 查看代码与验证链路

Jetson Orin Nano 8 GB

观测、预处理与控制

  1. LIBERO 双视角观测
  2. 图像与状态归一化
  3. 张量编码、无损压缩
  4. 动作时间线与环境执行
张量 + 指令 →HTTP/1.1← 12 × 7 动作

Jetson Thor 128 GB

完整神经网络推理

  1. DINOv3 + 在线 BERT
  2. 双向视觉语言交互
  3. 状态投影 + ACT 解码
  4. 动作反归一化与返回

Orin Nano 与 Thor 双设备拆分推理框架

实物部署 ​

项目已在 Jetson Orin Nano 8GB 与 Jetson Thor 128GB 两台实体设备上部署。下图为项目现场设备的实拍整理版，分别对应观测与控制端、完整模型推理端。

Jetson Orin Nano 8 GB 实际部署设备，实拍背景清理版
Jetson Orin Nano 8 GB

观测预处理 · 请求调度 · LIBERO 动作执行

查看原始实拍
Jetson Thor 128 GB 实际部署设备，实拍背景清理版
Jetson Thor 128 GB

完整 TurboVLA 模型 · 动作反归一化

查看原始实拍

实拍整理图：使用 DDS 图像接口清理背景杂物与表面污点，原图保留可核对。硬件容量与角色按项目部署信息标注；照片用于展示实际设备，性能结论以运行记录为准。

Jetson Orin Nano · 8GBJetson Thor · 128GB
Orin Nano 实拍整理版Thor 实拍整理版
观测预处理、调度与动作执行完整模型推理与动作反归一化

实拍经 DDS 清理背景杂物与污点，原图：Orin · Thor。

部署步骤见设备部署，三种模式的运行结果按验证与结果记录。

先理解拆分边界 ​

跨设备传输的是归一化图像、8 维状态和语言指令。DINOv3、BERT、视觉语言交互、状态投影和 ACT 动作解码器全部在 Thor；Orin 不加载模型权重。返回值是可直接供 LIBERO 执行的 12 × 7 动作块。

本项目当前的双设备链路面向 LIBERO 相对动作控制。仓库保留 RoboTwin 训练与评测入口，但其三视角、50 步、14 维动作不适用于当前 split v1 协议。

用同一套输入比较三种调度 ​

Thor
····请求 B推理··············
Orin
A0A1A2A3A4A51/32/33/3B5B6B7B8B9B10B11HHHH

控制步 4 采样，在步 6 合并，裁掉 B 的前 2 步。剩余重叠窗口为 3 步，只融合前六维；夹爪离散切换。

旧块 A新块 B融合权重H = hold

机制示例：H=12、R=4、B=3，仅展示一次重规划；省略所有模式共同的首块等待。Sync 等待槽只表示墙钟时间，Async / Blend 槽表示实际控制步；槽宽不代表实测耗时。

模式要解决的问题核心行为
Sync建立易解释的阻塞基线用完动作块，再获取下一块
Async / replace在动作执行期间进行推理对齐新动作，替换未来时间线
Blend减小新旧指令切换差异对重叠区前六维渐变，夹爪离散切换

三种模式采用相同配置评测，通过成功率、控制间隔和往返延迟比较调度效果。

已记录的实测数据 ​

查看 Orin / Thor 本机与 Sync / Async / Blend 对比：展示最新对照的指标、逐任务结果及 JSON/CSV 下载，支持切换比较指标和查看各模式详情。

最短验证路径 ​

  1. 按设备部署准备依赖、模型与 LIBERO assets。
  2. Thor 启动模型服务，Orin 执行 --preflight 检查。
  3. 用单任务跑通三种模式，再扩大到多任务、多次试验。
  4. 按验证与结果核对成功率、控制间隔 p95、hold 与完整原始记录。

文档说明什么 ​

需要了解对应页面
两台设备分别运行什么、传输什么双设备架构
动作如何对齐、何时融合、延迟时如何处理调度机制
代码、入口、配置与测试是否形成闭环代码完整性
功能性、实时性、稳定性、安全性的实现与验证系统能力

本站提供代码入口、部署步骤、调度机制和结果分析方法。