DK1 クイックスタート: 始める前に

まずこれをお読みください。 このページには、必要なハードウェア、インストールするソフトウェア、セットアップにかかる時間、および完全な手動パスを完了すると何ができるようになるかが正確に記載されています。

これにはどのくらい時間がかかりますか?

箱から二冊のデータ収集まで。 DK1 の 2 アームのセットアップはシングルアーム キットよりも時間がかかります。それに応じて計画を立ててください。

開梱と組み立て
~45m
内容物を確認し、両アームのサーボを検査し、卓上ハードウェアを取り付けます
ソフトウェアのインストール
~30m
trlc-dk1 リポジトリをクローンし、UV を使用して LeRobot プラグインとしてインストールします
ポート検出
~20m
lerobot-find-port を実行し、両方のアームに ttyACM* を割り当てます
較正
~20m
リーダーアームとフォロワーアームを個別に校正します
初めての遠隔操作
~30m
lerobot-teleoperate を実行し、リーダーとフォロワーの追跡を確認する
最初のデータセット
~1時間
両面録画、品質レビュー、HuggingFace へのアップロード

初日の合計時間: 完全な両手マニュアルの最初のセッションの場合、約 3 ~ 4 時間。 初心者にとっては2日間に渡って快適に過ごすことができます。

ハードウェアチェックリスト

始める前に机の上に必要なものがすべて揃っています。 「ボックス内」とマークされたアイテムは、DK1 キットに同梱されます。

  • DK1アームユニット 2台(リーダー+フォロア) 同梱品 - フォロワー アーム: 7 DOF + グリッパー (DM4340 + DM4310 サーボ)。 リーダーアーム: 7 DOF + グリッパー (Dynamixel XL330 サーボ)。 両腕が存在している必要があります。
  • USB-C ケーブル 2 本 (アームごとに 1 本) ボックス内 — 各アームをホスト PC の USB ポートに接続します。 帯域幅の競合を避けるために、可能であれば別の USB コントローラーを使用してください。
  • 従動アーム用電源 同梱品 - フォロワー アーム (DM4340 モーター) には専用の電源ブリックが必要です。 リーダー アームは USB 経由でバスパワーで動作します。
  • 卓上取り付け金具 箱の中に - M5 ボルト、両アーム用ベースプレート。 安定した取り付けが重要です。従動アームは、テレオペ中に固定されていないアームを移動させるトルクを生成します。
  • Ubuntu 22.04を実行しているホストPC 含まれていません - ネイティブの Ubuntu インストールが必要です。 最小: 8 GB RAM、4 USB 3.0 ポート (2 アーム + 2 カメラ)。 Ubuntuをダウンロード→
  • 2 台のカメラ (リストビュー + オーバーヘッド) 付属していませんが、データ収集に必要です — USB Web カメラまたは RealSense D435i。 各フォロワー アームのエンドエフェクタに 1 つずつ、ワークスペース ビュー用にオーバーヘッドに 1 つずつ取り付けます。
  • 1.5m×1mの広々とした作業スペース 必須 — 両手セットアップでは、シングル アームよりも多くのテーブル スペースが必要です。 両方の腕が共有ワークスペースの中心に届く必要があります。 を参照してください。 安全ページ→

バイマニュアル特有の注意: DK1 はリーダー/フォロワー構成を使用します。 リーダーアーム(ダイナミクセルXL330)はオペレーターの手によって移動します。 フォロワーアーム(DM4340)はその動きをリアルタイムに再現します。 記録セッションを開始する前に、両方のアームを調整して接続する必要があります。 決して片方の腕だけに電源を入れないでください。

始める前にインストールするもの

セットアップガイド 各ステップを詳しく説明します。 これは概要ですので、事前に準備してください。

オペレーティング·システム

Ubuntu 22.04 LTS (ジャミー)。 Ubuntu 20.04 でも動作しますが、22.04 をお勧めします。 macOS および Windows は実際のハードウェアではサポートされていません。

パイソン

Python 3.10+ (Ubuntu 22.04 にバンドル)。 DK1 プラグインは Python 3.10 以降をターゲットとしています。 pip と uv をインストールします。

sudo apt update
sudo apt install python3-pip python3-venv -y
pip install uv

ROS2 ハンブル

ROS2 Humble Hawksbill が推奨されるディストリビューションです。 DK1 は、より高レベルの両手制御用に ROS2 をサポートしています (オプション - LeRobot 専用のデータ収集パスには必要ありません)。

sudo apt install ros-humble-desktop ros-humble-ros2-control \
  ros-humble-ros2-controllers -y

ルロボット

LeRobot (HuggingFace) は、DK1 データ収集の主要なフレームワークです。 pip 経由でインストールします。

pip install lerobot

DK1 LeRobot プラグイン

TRLC-DK1 リポジトリは、 dk1_leader, dk1_follower, bi_dk1_leader、 そして bi_dk1_follower デバイスの種類:

git clone https://github.com/TRLC-AI/trlc-dk1.git
cd trlc-dk1
uv pip install -e .

シミュレーション (オプション - ハードウェアは不要)

✓ シミュレーションが可能

TRLC-DK1 バイマニュアル モデルで MuJoCo を使用すると、ハードウェアなしで DK1 ソフトウェア スタックをテストできます。

pip install mujoco
# Clone the DK1 MuJoCo model
git clone https://github.com/TRLC-AI/trlc-dk1-mujoco.git
python trlc-dk1-mujoco/examples/bimanual_sim.py

MuJoCo モデルには、リーダー アームとフォロワー アームの両方の物理学、正しいワークスペース ジオメトリ、およびグリッパー ダイナミクスが含まれています。 を参照してください。 ソフトウェア→シミュレーションセクション 完全なセットアップのために。

フルパスの後にできること

5 つのステップをすべて完了すると (最初のバイマニュアル データセットをアンボックス化する)、次のことができるようになります。

リーダーアームを使用して両腕を同時にテレオペし、自然で人間によるデモンストレーション品質の両手操作を実現
同期された双方向エピソードを記録: 14 のジョイント ステート、2 つのグリッパー、マルチカメラ ビデオ、すべてタイムスタンプ付き
LeRobot / HuggingFace 形式でデータセットをエクスポートします。 bi_dk1_leader そして bi_dk1_follower デバイススキーマ
記録されたデータを使用して、両手によるピックアンドプレイスタスクで ACT (Action Chunking Transformer) をトレーニングします。
トレーニング済みモデルを使用して DK1 フォロワー アーム ペアで手動ポリシー推論を実行します。
実際のハードウェアに展開する前に、MuJoCo の手動シミュレーションでポリシーを検証します。

準備ができて? セットアップガイドを起動します。

両方のアームと Ubuntu をインストールしたら、セットアップ ガイドですべての手順を説明します。