Pourquoi deux bras ?
Un seul bras robotique est puissant pour les tâches où un seul effecteur final suffit : prélèvement et placement, tri, inspection. Mais une grande partie des tâches de manipulation du monde réel nécessitent fondamentalement deux mains – de la même manière que les humains utilisent naturellement leurs deux mains. Tenir un récipient tout en versant. Assemblage de pièces qui nécessitent une main pour stabiliser et une autre pour insérer. Plier un tissu, peler un emballage, passer un objet d'une main à l'autre en cours de tâche.
Ces tâches ne sont pas seulement « plus difficiles » avec un seul bras : elles sont architecturalement incompatibles avec une configuration à un seul bras. L'architecture bimanuelle du DK1 vous donne accès à l'ensemble de cette classe de tâches. Et comme les deux branches opèrent dans un espace de travail partagé avec des états communs synchronisés, la configuration d’apprentissage par imitation – la téléopération leader/suiveur alimentant une politique unique – est plus propre que ce à quoi on pourrait s’attendre.
Le concept leader/suiveur
Le DK1 utilise un architecture leader/suiveur pour la téléopération. Le concept est simple :
Ce que tu bouges
Un bras de contrôleur léger et rétro-pilotable que vous manipulez physiquement avec vos mains. Il n’a aucune capacité de charge utile : son seul travail est de détecter et de transmettre le mouvement souhaité à haute fréquence.
Qu'est-ce qui exécute la tâche
Les deux bras DK1 à pleine puissance qui reflètent les angles articulaires du leader en temps réel. Ils interagissent avec l’espace de travail et les objets réels. Ce sont les armes qui dirigent la politique formée pendant le déploiement.
Lorsque vous téléopérez, vous déplacez physiquement le bras du leader. Les bras suiveurs reproduisent ce mouvement en quelques millisecondes. Lorsque vous enregistrez des données, ce sont les états articulaires du bras suiveur – et non ceux du leader – qui sont enregistrés. Lorsque vous entraînez une politique, vous entraînez les bras suiveurs à reproduire les schémas de mouvement capturés par votre leader. Le bras leader abandonne complètement au moment de l'inférence.
Cette architecture est plus naturelle que la téléopération par clavier ou contrôleur VR car le motion mapping est direct : déplacer le leader de 30° mappe à 30° sur le suiveur. La proprioception de votre corps est transférée directement au robot.
Liste de contrôle du matériel
Vérifiez chaque élément ci-dessous avant de commencer l’unité 1.
- Bras suiveur DK1 ×2 — les deux bras du kit. Vérifiez que les deux sont arrivés en bon état et que tous les joints bougent librement lorsqu'ils ne sont pas alimentés.
- Bras de contrôleur leader DK1 — le contrôleur de téléopération plus léger et rétropilotable. Il devrait être facile de le déplacer à la main.
- Alimentations ×2 — un par bras suiveur. Inclus dans le kit. Vérifiez que les spécifications de tension correspondent à votre prise murale (voir l'étiquette sur la fourniture).
- Câbles USB-C ×3 — un par bras (les deux suiveurs + leader) pour la connexion initiale. Les câbles plus courts (0,5 à 1 m) sont plus faciles à gérer dans un espace de travail bimanuel.
- Caméras ×2 — une caméra d'espace de travail grand angle (de haut en bas ou orientée vers l'avant) et une caméra de poignet sur le bras suiveur principal. Une troisième caméra sur le bras secondaire est facultative mais recommandée pour les tâches riches en contacts.
- Matériel de montage — le DK1 nécessite un montage fixe pour les deux bras suiveurs. Le kit comprend des plaques boulonnées. Une table rigide ou un banc de laboratoire est nécessaire : une table pliante introduira des vibrations qui dégraderont vos données.
- Espace de travail bimanuel — au moins 80 cm × 60 cm de surface plane et dégagée entre les deux bras. Marquez les limites de portée du bras avec du ruban adhésif pendant l'unité 1 pour définir l'enveloppe de fonctionnement sûre.
Pas de matériel physique ? Vous pouvez réaliser la majeure partie de ce parcours dans la simulation bimanuelle MuJoCo. Voir le Guide de configuration de la simulation DK1 avant l'unité 1.
Liste de contrôle des logiciels
- Ubuntu 22.04 ou 24.04 - même exigence qu'OpenArm. Une VM fonctionne pour la simulation ; le matériel réel nécessite Linux natif pour les performances du bus CAN en temps réel.
- Python 3.10 ou supérieur - courir
python3 --versionà vérifier. - ROS 2 Humble ou Jazzy — si vous avez complété le chemin OpenArm, celui-ci est déjà installé. Courir
ros2 --versionà vérifier. - SDK DK1 (séparé du SDK OpenArm) — installation couverte dans l'unité 2. Ne pas installer maintenant — la configuration d'appairage doit avoir lieu une fois que les deux bras sont physiquement montés.
- LeRobot - si vous l'avez installé à partir du chemin OpenArm, cela fonctionnera ici. Le format d'ensemble de données bimanuel utilise la même structure avec deux tableaux à états conjoints. Version ≥0.3.0 requise pour le support bimanuel.
- ~ 25 Go d'espace disque libre — les ensembles de données bimanuels sont plus volumineux que les ensembles de données à un seul bras (deux flux d'état conjoints, deux flux de caméra). Les points de contrôle de formation ajoutent 5 à 10 Go supplémentaires.
- GPU avec 10 Go+ de VRAM — fortement recommandé. La formation bimanuelle ACT sur CPU est réalisable mais prendra 8 à 12 heures pour une bonne séance d'entraînement. Un RTX 3080 ou mieux réduit cela à moins de 2 heures.
Estimations de temps
La configuration bimanuelle prend plus de temps que la configuration à un seul bras : tenez compte du temps nécessaire au montage, à l'alignement et à la vérification de la synchronisation pour chaque unité.
| Unité | Que faites vous | Temps |
|---|---|---|
| 0 | Cette orientation | 30 minutes |
| 1 | Monter et câbler deux bras, caméras | ~3 heures |
| 2 | SDK, appariement leader/suiveur, test de synchronisation | ~2 heures |
| 3 | Première séance de téléopération bimanuelle | ~2 heures |
| 4 | Enregistrez 100 démos synchronisées | ~3 heures |
| 5 | Former la politique bimanuelle ACT | ~4 heures |
| 6 | Déployer, évaluer, améliorer | ~2 heures |
| Total | ~16h30 | |
Prévoyez 4 à 5 séances. Les unités 1 et 2 vont ensemble naturellement (configuration matérielle + configuration logicielle en une seule session). Il est préférable de réaliser les unités 3 et 4 ensemble une fois que vous maîtrisez la téléopération bimanuelle. La formation de l’unité 5 peut se dérouler du jour au lendemain.
Comment obtenir de l'aide
- Vérifiez le contrôle d'achèvement au bas de l'unité dans laquelle vous vous trouvez - il définit exactement à quoi ressemble « fait ».
- Publier dans le Sujet du forum DK1 - incluez votre version d'Ubuntu, la version du SDK, le message d'erreur exact et l'unité dans laquelle vous vous trouvez. Les problèmes spécifiques à Bimanual ont souvent des codes d'erreur spécifiques au bras ; inclure les deux.
- Vérifiez le section de dépannage dans l'unité 2 — il couvre les erreurs de synchronisation leader/suiveur les plus courantes.
- Rejoignez le Discord SVRC dans #dk1-path — réponse plus rapide pendant les heures de jour PST.
Alternative à la simulation
Le chemin DK1 prend en charge une simulation bimanuelle MuJoCo qui reproduit l'architecture leader/suiveur, les états conjoints synchronisés et les flux de caméra. Vous pouvez compléter les unités 0 à 5 entièrement en simulation. L'unité 6 (déploiement matériel réel) nécessite des armes physiques. Le guide de configuration de la simulation est à matériel/dk1/simulation.
Orientation terminée lorsque...
Vous avez vérifié chaque élément des listes de contrôle matériel et logiciel, vous comprenez le concept leader/suiveur et pouvez l'expliquer en une phrase, vous savez où demander de l'aide et vous avez réservé votre première session de 3 heures pour la configuration matérielle de l'unité 1.