מדוע בחירת הפורמט חשובה
פורמט מערך הנתונים קובע אילו מודלים תוכל לאמן, באיזו קלות תוכל לשתף נתונים עם משתפי פעולה, וכמה תקורה הנדסית אתה מתמודד בצינור שלך. בחירה בפורמט הלא נכון פירושה המרה כואבת מאוחר יותר - או גרוע מכך, איבוד מטא נתונים בתרגום.
השוואת פורמטים
RLDS (Google): מבוסס TFRecord, בשימוש על ידי Open X-Embodiment ו-RT-X. מצוין לאימון צולב התגלמות בקנה מידה גדול. LeRobot (פנים מחבקות): מבוסס פרקט, קל לדחיפה אל Hugging Face Hub, אימוץ קהילה הולך וגובר. HDF5: פורמט בינארי המתאר את עצמו, בשימוש על ידי RoboMimic ופרויקטים ישנים רבים יותר. Zarr: חלק, ידידותי לענן, צובר אחיזה עבור מערכי נתונים גדולים.
- לאימון צולב התגלמות: RLDS
- לשיתוף קהילה ואיטרציה מהירה: LeRobot
- לתאימות מדור קודם: HDF5
- עבור צינורות מקוריים בענן: Zarr
צינור הנתונים של SVRC
תשתית איסוף הנתונים של SVRC מפיקה גם פורמטים של RLDS וגם של LeRobot באופן מקורי. פלטפורמת הנתונים שלנו מטפלת בהמרת פורמטים, ניהול גרסאות ואימות איכות באופן אוטומטי.