تجسيد X المفتوح: ما هو ولماذا هو مهم لتعلم الروبوت

ما هو تجسيد X المفتوح؟

Open X-Embodiment عبارة عن مجموعة بيانات موحدة لعروض التلاعب بالروبوتات التي تم جمعها عبر أكثر من 22 تجسيدًا مختلفًا للروبوتات - تمتد من أذرع من Franka وWidowX وUR5 وKuka وغيرها - وعبر العشرات من مختبرات الأبحاث حول العالم. يبلغ إجمالي مجموعة البيانات أكثر من مليون حلقة تغطي مئات من مهام المعالجة المتميزة: الانتقاء، والوضع، وفتح الأدراج، وصب السوائل، ومسح الأسطح، والمزيد.

يشير الحرف "X" في الاسم إلى التجسيد المتقاطع: الطموح المحدد لـ OXE هو تدريب السياسات التي تنقل المعرفة عبر أجسام الروبوتات. شهدت السياسة التي تم تدريبها مسبقًا على مجموعة بيانات OXE الكاملة سلوكًا تلاعبيًا من مجموعة واسعة من أشكال هندسة الأذرع، وأنواع المقابض، وتكوينات الكاميرا، ومجالات المهام، مما يمنحها سابقة غنية يمكن ضبطها بدقة لروبوت جديد مع عروض توضيحية أقل بكثير من التدريب من الصفر.

المؤسسات المشاركة وتكوين مجموعة البيانات

تشمل المؤسسات المساهمة جامعة ستانفورد، وجامعة كاليفورنيا في بيركلي، وجوجل ديب مايند، وكارنيجي ميلون، ومعهد ماساتشوستس للتكنولوجيا، والمعهد الفدرالي للتكنولوجيا في زيورخ، وغيرها الكثير. ساهم كل مختبر بمجموعات البيانات التوضيحية الموجودة لديه بتنسيق موحد. تتم استضافة مجموعة البيانات على Google Cloud Storage وهي متاحة مجانًا للاستخدام البحثي. تختلف مجموعات البيانات الفرعية بشكل كبير من حيث الحجم: فقد ساهمت بعض المختبرات بعشرات الآلاف من الحلقات، والبعض الآخر ببضع مئات من الحلقات. ينحرف توزيع المهام نحو الاختيار والمكان على الطاولة، مما يعكس الإعداد التجريبي الأكثر شيوعًا، ولكن تنوع الكائنات وظروف الإضاءة وتكوينات الذراع واسع حقًا.

تم تدريب Robotics Transformer 2 (RT-2) والنماذج اللاحقة من Google على بيانات OXE وأثبتت أن التدريب المسبق للتجسيد المتقاطع ينتج سياسات ذات تعميم صفري أفضل بكثير من تدريب الروبوت الفردي. أثبتت هذه النتيجة صحة فرضية OXE الأساسية والاعتماد المتسارع لمجموعات بيانات التجسيد المتقاطع عبر المجال.

تنسيق مجموعة البيانات وRLDS

تستخدم OXE تنسيق RLDS (مواصفات مجموعة بيانات تعلم الروبوت)، وهو مخطط يستند إلى مجموعات بيانات TensorFlow لتخزين مسارات الروبوت. كل حلقة في RLDS عبارة عن سلسلة من الخطوات، حيث تحتوي كل خطوة على قاموس مراقبة (صور، حالات مشتركة، حالة القابض)، ناقل عمل، إشارة مكافأة، وتعليق توضيحي للغة يصف المهمة. يتميز المخطط بالمرونة الكافية لاستيعاب طرائق المراقبة ومساحات العمل المختلفة عبر التجسيدات.

يتطلب العمل مع RLDS TensorFlow أو مكتبة rlds_creator. يوفر LeRobot من Hugging Face أدوات مساعدة للتحويل لتحويل بيانات OXE إلى تنسيقها الخاص، مما يجعلها في متناول الباحثين الذين يفضلون PyTorch. SVRC منصة البيانات تصدير مجموعات البيانات بتنسيق متوافق مع كل من RLDS وLeRobot، مما يتيح المساهمة المباشرة في إصدارات OXE المستقبلية.

كيفية المساهمة في OXE

تتطلب المساهمة بمجموعة البيانات الخاصة بك في OXE تنسيق العروض التوضيحية الخاصة بك في RLDS، وإضافة التعليقات التوضيحية اللغوية لكل خطوة، وإرسال طلب سحب إلى مستودع OXE GitHub مع وثائق مجموعة البيانات الخاصة بك. تتضمن عملية التقديم مراجعة لجودة البيانات والامتثال للتنسيق. إذا تم جمع العروض التوضيحية الخاصة بك باستخدام خدمات بيانات SVRC، فيمكن للنظام إنشاء عمليات تصدير متوافقة مع RLDS باستخدام بيانات تعريف موحدة، مما يبسط عملية المساهمة بشكل كبير. اتصل ب فريق SVRC للحصول على إرشادات حول إعداد بياناتك لتقديمها إلى OXE.

استخدام OXE للتدريب المسبق

الاستخدام الأكثر قيمة من الناحية العملية لـ OXE هو مجموعة بيانات ما قبل التدريب. قم بتنزيل مجموعة فرعية من OXE ذات الصلة بمجال مهمتك والروبوت الخاص بك، وقم بتدريب العمود الفقري للسياسة العامة، ثم قم بضبط العروض التوضيحية الخاصة بالمهمة الخاصة بك. يتطلب هذا النهج دائمًا عددًا أقل من العروض التوضيحية الخاصة بالمهام مقارنة بالتدريب من الصفر - غالبًا ما يكون أقل بمقدار 5 إلى 10 مرات - مع تحقيق أداء نهائي أعلى.

يعد التدريب المسبق على OXE أكثر فائدة عندما تكون بيانات الضبط الدقيق محدودة (أقل من 100 حلقة)، وعندما تكون مهامك مشابهة من الناحية المفاهيمية للمهام في OXE، وعندما تستخدم بنية مصممة لنقل التجسيد المتقاطع مثل Octo أو OpenVLA أو RT-2-X. يظل الضبط الدقيق الخاص بالمهام من البداية أمرًا تنافسيًا عندما يكون لديك وفيرة من العروض التوضيحية عالية الجودة التي تم جمعها في ظروف النشر.

توافق SVRC وكيف نساعد

تم تصميم معيار جمع البيانات الخاص بـ SVRC ليكون متوافقًا مع OXE من الألف إلى الياء: وضع الكاميرا القياسي، ومخطط التعليقات التوضيحية المتسق، ووضع العلامات الناجحة على بوابات الجودة، والتصدير الجاهز لـ RLDS. البيانات التي تم جمعها من خلال SVRC خدمات البيانات يمكن استخدامها مباشرة لضبط OXE أو المساهمة في إصدارات مجموعة البيانات المستقبلية. بالنسبة للفرق التي ترغب في الاستفادة من نماذج OXE المدربة مسبقًا على أجهزتها المحددة، تقدم SVRC الدعم الهندسي لإعداد خط أنابيب الضبط الدقيق وتقييم السياسات الجاهزة للنشر.