项目

项目简介

在「Quest 3 VR 远程操控 UR5 数字孪生」纯仿真项目的基础上，独立开发真机控制链路 UR5_Teleop：Quest 3 以 AR 彩色透视模式运行，将头显与手柄位姿映射到真实 UR5 机械臂，在实际工作台上完成遥控运动。该拓展与仿真仓库代码相互独立。

技术方案

• 真机通信：头显控制位姿经局域网发送至真机控制服务，转换为 UR5 可执行的末端目标。
• AR 透视：利用 Quest 3 彩色透视直接观察真实工作台与机械臂，无需重建场景模型。
• 控制迁移：复用仿真中验证的笛卡尔伺服与夹爪连续控制逻辑，缩短真机调试周期。

个人收获

完整走通了控制策略从仿真到真机的迁移过程，体会到 AR 透视在遥操作中降低空间认知负担的作用，也积累了真机安全控制与通信时延处理的经验。

项目简介

搭建可用于交互控制和状态反馈的 UR5 机械臂 MuJoCo 数字孪生仿真。前端基于 Three.js 构建与后端状态相互映射的 3D 可视化界面，后端使用 FastAPI 接收控制输入并驱动仿真；Quest 3 通过局域网 WebXR 进入 VR 后，可用手柄或手势连续控制机械臂与夹爪。本项目为纯仿真工作，真机 AR 拓展为独立项目。

技术方案

• 仿真环境：MuJoCo 中建立 UR5 机械臂、工作台、工具箱与工具模型，配置接触、摩擦与执行器参数。
• 可视化：Three.js 实时渲染机械臂状态，与后端通过 WebSocket/HTTP 保持状态同步。
• 通信层：FastAPI 提供状态观测、相机画面与控制接口，桥接前端输入与仿真动作。
• VR 交互：Quest 3 利用手柄 6DoF 位姿或 Hand Tracking 手势，经笛卡尔伺服映射为末端执行器目标位姿。
• 伺服控制：后端通过 MuJoCo Jacobian 将末端误差换算为关节速度，并串联限位、奇异点降速与碰撞保护。

个人收获

系统理解了数字孪生系统从建模、通信到 VR 交互的完整链路，掌握了 WebXR 开发与基于 Jacobian 的笛卡尔伺服方法，也为后续真机遥操作与模仿学习复现打下基础。

项目简介

以 Hugging Face LeRobot 框架为主线，系统复现 ACT、smolVLA、pi0.5 三个代表性模型，覆盖模仿学习与视觉-语言-动作两大技术路线。项目打通了从遥操作数据采集、策略训练到仿真评估的完整链路，所有复现代码已整理上传至 GitHub。

复现内容

• ACT（Action Chunking with Transformers）：以动作分块预测替代单步动作回归，配合时间集成（temporal ensembling）平滑执行轨迹，复现数据采集、训练与仿真评估流程。
• smolVLA：基于 SmolVLM 视觉-语言骨干的轻量 VLA 模型，在桌面操作任务上完成端到端复现，理解视觉观测与语言指令到动作 token 的映射方式。
• pi0.5：基于 OpenPI 的预训练 VLA 策略，在自有任务配置上进行微调，验证「语言指令 → 视觉-语言理解 → 动作序列输出」的完整执行链路。

评估结果

在 Robosuite 中以脚本专家生成演示数据，训练行为克隆（BC）策略；在连续 20 轮评估中达到 80% 任务成功率，验证了数据质量与动作分块对策略稳定性的作用。

项目简介

构建一套从硬件标定到抓取策略的 UR5 抓取系统，打通 RealSense 感知、GraspNet 位姿检测与机械臂执行链路。