始める前に: 両手指向

なぜ腕が二本あるのか？

単一のロボット アームは、ピック アンド プレイス、仕分け、検査など、1 つのエンドエフェクターで十分なタスクに強力です。 しかし、現実世界の操作タスクの大部分は基本的に両手を必要とし、人間が当然のように両手を使うのと同じです。 注ぐときに容器を持ちます。 片手で安定させ、もう片方の手で挿入する必要がある部品の組み立て。 作業中に布を折りたたんだり、包装を剥がしたり、物を一方の手からもう一方の手へ渡したりします。

これらのタスクは、片腕では「より難しい」だけでなく、片腕セットアップとは構造的に互換性がありません。 DK1 のバイマニュアル アーキテクチャにより、このタスク クラス全体にアクセスできます。 また、両方のアームが同期された関節状態を備えた共有ワークスペースで動作するため、模倣学習のセットアップ (リーダー/フォロワーの遠隔操作が単一のポリシーにフィードされる) は予想よりもクリーンです。

リーダー/フォロワーの概念

DK1 は リーダー/フォロワーのアーキテクチャ 遠隔操作用。 コンセプトは簡単です。

遠隔操作するときは、リーダー アームを物理的に動かします。 従動アームはその動きをミリ秒以内に再現します。 データを記録すると、リーダーのアームではなく、フォロワーのアーム ジョイントの状態が保存されます。 ポリシーをトレーニングすると、リーダーがキャプチャした動作パターンを再現するためにフォロワーの腕をトレーニングすることになります。 リーダー アームは推論時に完全に削除されます。

このアーキテクチャは、モーション マッピングが直接的であるため、キーボードや VR コントローラーの遠隔操作よりも自然です。リーダーを 30 度動かすと、フォロワーの 30 度にマッピングされます。 あなたの体の固有受容はロボットに直接伝わります。

ハードウェアチェックリスト

ユニット 1 を開始する前に、以下のすべての項目を確認してください。

• DK1フォロワーアーム×2 — キットの両腕。 両方とも損傷がなく、電源が入っていないときにすべてのジョイントが自由に動くことを確認してください。
• DK1リーダーコントローラーアーム — 軽量でバックドライブ可能な遠隔操作コントローラー。 手で動かしやすいと感じられるはずです。
• 電源×2 — フォロワーアームごとに 1 つ。 キットに含まれています。 電圧仕様が壁のコンセントと一致していることを確認してください (電源のラベルを参照)。
• USB-Cケーブル×3 — 初期接続用にアームごとに 1 つ (フォロワー + リーダーの両方)。 ケーブルが短い (0.5 ～ 1 m) と、両手操作のワークスペースでの管理が容易になります。
• カメラ×2 — 1 台の広角ワークスペース カメラ (トップダウンまたは正面) と、プライマリ フォロワー アーム上の 1 台のリスト カメラ。 セカンダリ アーム上の 3 番目のカメラはオプションですが、接触が多いタスクには推奨されます。
• 取り付け金具 — DK1 では、両方の従動アームを固定して取り付ける必要があります。 キットにはボルトダウンプレートが含まれています。 頑丈なテーブルまたは実験台が必要です。折りたたみテーブルを使用すると振動が発生し、データが劣化します。
• 両手操作のワークスペース — 2 本のアームの間に少なくとも 80cm × 60cm の透明な平らな面があります。 安全な動作範囲を定義するために、ユニット 1 の実行中にアームの到達範囲の境界をテープでマークします。

物理的なハードウェアがありませんか? このパスのほとんどは、MuJoCo バイマニュアル シミュレーションで完了できます。 を参照してください。 DK1シミュレーションセットアップガイド 1号機の前。

ソフトウェアチェックリスト

• Ubuntu 22.04 または 24.04 — OpenArm と同じ要件。 VM はシムのために機能します。 実際のハードウェアでは、リアルタイム CAN バス パフォーマンスのためにネイティブ Linux が必要です。
• Python 3.10以下 - 走る python3 --version 確認するために。
• ROS 2 ハンブルまたはジャジー — OpenArm パスを完了した場合、これはすでにインストールされています。 走る ros2 --version 確認するために。
• DK1 SDK (OpenArm SDK とは別) — 取り付けについてはユニット 2 で説明します。今は取り付けないでください。ペアリング構成は両方のアームが物理的に取り付けられた後に行う必要があります。
• ルロボット — OpenArm パスからインストールした場合は、ここで動作します。 バイマニュアル データセット形式では、2 つのジョイント状態配列と同じ構造が使用されます。 バイマニュアルのサポートにはバージョン 0.3.0 以上が必要です。
• 約 25 GB の空きディスク容量 — バイマニュアル データセットはシングルアーム データセット (2 つの関節状態ストリーム、2 つのカメラ フィード) よりも大きくなります。 トレーニング チェックポイントによりさらに 5 ～ 10 GB が追加されます。
• 10GB以上のVRAMを搭載したGPU — 強く推奨します。 CPU での両手 ACT トレーニングは実行可能ですが、適切なトレーニングを実行するには 8 ～ 12 時間かかります。 RTX 3080 以降では、これが 2 時間未満に短縮されます。

所要時間の目安

両手セットアップはシングルアームセットアップよりも時間がかかります。各ユニットの取り付け、位置合わせ、同期検証にかかる時間を考慮に入れてください。

4 ～ 5 回のセッションを計画してください。 ユニット 1 と 2 は自然に連携します (1 つのセッションでハードウェア セットアップ + ソフトウェア構成)。 両手遠隔操作に慣れてきたら、ユニット 3 と 4 を一緒に行うのが最適です。 ユニット 5 のトレーニングは一晩中実行できます。

助けを求める方法

1. チェックしてください 完了チェック どの単元に属していても、それは「完了」がどのようなものであるかを正確に定義します。
2. に投稿してください DK1 フォーラムのスレッド — Ubuntu のバージョン、SDK バージョン、正確なエラー メッセージ、および現在のユニットを含めます。バイマニュアル固有の問題には、アーム固有のエラー コードが含まれることがよくあります。 両方を含みます。
3. チェックしてください トラブルシューティングセクション ユニット 2 では、最も一般的なリーダー/フォロワー同期エラーについて説明します。
4. に参加してください SVRCディスコード #dk1-path 内 — PST 日中の時間帯の応答が速くなります。

シミュレーションの代替案

DK1 パスは、リーダー/フォロワー アーキテクチャ、同期されたジョイント状態、およびカメラ フィードを複製する MuJoCo バイマニュアル シミュレーションをサポートします。 ユニット 0 から 5 までをすべてシミュレーションで完了できます。 ユニット 6 (実際のハードウェアの展開) には物理的な腕が必要です。 シミュレーション設定ガイドは次の場所にあります。 ハードウェア/dk1/シミュレーション.