התגלמות X פתוחה: מה זה ולמה זה חשוב ללימוד רובוטים

מהי Open X-Embodiment?

Open X-Embodiment הוא מערך נתונים מאוחד של הדגמות של מניפולציה של רובוטים שנאספו על פני יותר מ-22 התגלמויות של רובוטים שונים - המשתרעים על זרועות של Franka, WidowX, UR5, Kuka ואחרים - ועל פני עשרות מעבדות מחקר ברחבי העולם. מערך הנתונים כולל למעלה ממיליון פרקים המכסים מאות משימות מניפולציה ברורות: איסוף, מיקום, פתיחת מגירות, יציקת נוזלים, ניגוב משטחים ועוד.

ה-"X" בשם מייצג התגלמות צולבת: השאיפה המגדירה של OXE היא להכשיר מדיניות שמעבירה ידע על פני גופי רובוט. מדיניות שהוכשרה מראש על מערך הנתונים המלא של OXE ראתה התנהגות מניפולציה ממגוון רחב של גיאומטריות זרועות, סוגי תפסנים, תצורות מצלמות ותחומי משימות, מה שנותן לו קדימון עשיר שניתן לכוונן עדין לרובוט חדש עם הרבה פחות הדגמות מאשר אימון מאפס.

מוסדות משתתפים והרכב מערכי נתונים

המוסדות התורמים כוללים את Stanford, UC Berkeley, Google DeepMind, Carnegie Mellon, MIT, ETH Zurich ורבים אחרים. כל מעבדה תרמה את מערכי הנתונים הקיימים להדגמה בפורמט סטנדרטי. מערך הנתונים מתארח ב-Google Cloud Storage והוא זמין בחינם לשימוש מחקר. ערכות משנה משתנות באופן משמעותי בגודלן: חלק מהמעבדות תרמו עשרות אלפי פרקים, אחרות כמה מאות. חלוקת המשימות מוטה לכיוון הבחירה והמקום של השולחן, ומשקפת את מערך הניסוי הנפוץ ביותר, אך המגוון של אובייקטים, תנאי תאורה ותצורות זרועות הוא רחב באמת.

הרובוטיקה שנאי 2 (RT-2) והדגמים הבאים מגוגל הוכשרו על נתוני OXE והוכיחו שאימון מקדים של התגלמות צולבת מייצר מדיניות עם הכללה אפסית טובה יותר באופן משמעותי מאשר אימון רובוט בודד. תוצאה זו אישרה את השערת OXE הליבה והאיצה את האימוץ של מערכי נתונים צולבים התגלמויות על פני השטח.

פורמט ערכת נתונים ו-RLDS

OXE משתמש בפורמט RLDS (Robot Learning Dataset Specification), סכימה מבוססת TensorFlow Datasets לאחסון מסלולי רובוט. כל פרק ב-RLDS הוא רצף של שלבים, כאשר כל שלב מכיל מילון תצפית (תמונות, מצבים משותפים, מצב תפסן), וקטור פעולה, אות תגמול והערת שפה המתארת ​​את המשימה. הסכימה גמישה מספיק כדי להכיל אופני תצפית ומרחבי פעולה שונים על פני התגלמות.

עבודה עם RLDS דורשת את TensorFlow או את ספריית rlds_creator. LeRobot מבית Hugging Face מספק כלי עזר להמרה כדי להפוך נתוני OXE לפורמט משלו, מה שהופך אותם לנגישים לחוקרים המעדיפים את PyTorch. של SVRC פלטפורמת נתונים מייצא מערכי נתונים בפורמט התואם הן ל-RLDS והן ל-LeRobot, מה שמאפשר תרומה פשוטה למהדורות עתידיות של OXE.

כיצד לתרום ל-OXE

תרומת מערך הנתונים שלך ל-OXE מחייבת עיצוב ההדגמות שלך ב-RLDS, הוספת הערות שפה לפי שלב, והגשת בקשת משיכה למאגר OXE GitHub עם תיעוד הנתונים שלך. תהליך ההגשה כולל סקירה לאיכות הנתונים ותאימות לפורמטים. אם ההדגמות שלך נאספו עם שירותי נתונים SVRC, הפלטפורמה יכולה ליצור יצוא תואם RLDS עם מטא נתונים סטנדרטיים, ולפשט את תהליך התרומה באופן משמעותי. צור קשר עם צוות SVRC להדרכה על הכנת הנתונים שלך להגשת OXE.

שימוש ב-OXE לאימון מקדים

השימוש החשוב ביותר ב-OXE הוא כמערך נתונים טרום אימון. הורד קבוצת משנה של OXE הרלוונטית לתחום המשימה ולרובוט שלך, אמן עמוד שדרה של מדיניות כללית, ולאחר מכן כוונן את ההדגמות הספציפיות למשימה שלך. גישה זו דורשת באופן עקבי פחות הדגמות ספציפיות למשימה מאשר אימון מאפס - לרוב פי 5-10 פחות - תוך השגת ביצועים סופיים גבוהים יותר.

אימון מקדים ב-OXE מועיל ביותר כאשר נתוני הכוונון העדין שלך מוגבלים (מתחת ל-100 פרקים), כאשר המשימות שלך דומות מבחינה רעיונית למשימות ב-OXE, וכאשר אתה משתמש בארכיטקטורה המיועדת להעברה צולבת התגלמות כגון Octo, OpenVLA או RT-2-X. כוונון טהור ספציפי למשימה מאפס נשאר תחרותי כאשר יש לך שפע של הדגמות באיכות גבוהה שנאספו בתנאי פריסה.

תאימות SVRC וכיצד אנו עוזרים

תקן איסוף הנתונים של SVRC מתוכנן להיות תואם OXE מהיסוד: מיקום מצלמה סטנדרטי, סכימת הערות עקבית, תיוג הצלחה משוער איכות ויצוא מוכן ל-RLDS. נתונים שנאספו באמצעות SVRC שירותי נתונים יכול לשמש ישירות לכוונון עדין של OXE או לתרום למהדורות עתידיות של מערכי נתונים. לצוותים שרוצים למנף מודלים שהוכשרו מראש של OXE על החומרה הספציפית שלהם, SVRC מציעה תמיכה הנדסית כדי להגדיר את צינור הכוונון העדין ולהעריך מדיניות מוכנה לפריסה.