Quest 3 VR 远程操控 UR5 数字孪生（纯仿真）

项目简介

搭建可用于交互控制和状态反馈的 UR5 机械臂 MuJoCo 数字孪生仿真。前端基于 Three.js 构建与后端状态相互映射的 3D 可视化界面，后端使用 FastAPI 接收控制输入并驱动仿真；Quest 3 通过局域网 WebXR 进入 VR 后，可用手柄或手势连续控制机械臂与夹爪。本项目为纯仿真工作，真机 AR 拓展为独立项目。

技术方案

• 仿真环境：MuJoCo 中建立 UR5 机械臂、工作台、工具箱与工具模型，配置接触、摩擦与执行器参数。
• 可视化：Three.js 实时渲染机械臂状态，与后端通过 WebSocket/HTTP 保持状态同步。
• 通信层：FastAPI 提供状态观测、相机画面与控制接口，桥接前端输入与仿真动作。
• VR 交互：Quest 3 利用手柄 6DoF 位姿或 Hand Tracking 手势，经笛卡尔伺服映射为末端执行器目标位姿。
• 伺服控制：后端通过 MuJoCo Jacobian 将末端误差换算为关节速度，并串联限位、奇异点降速与碰撞保护。

个人收获

系统理解了数字孪生系统从建模、通信到 VR 交互的完整链路，掌握了 WebXR 开发与基于 Jacobian 的笛卡尔伺服方法，也为后续真机遥操作与模仿学习复现打下基础。