لماذا يهم التنسيق القياسي

لقد عانى تعلم الروبوتات تاريخيًا من استخدام كل مختبر لتنسيق بيانات مختلف، مما يجعل من المستحيل مشاركة مجموعات البيانات، أو دمج البيانات من روبوتات مختلفة، أو استخدام سياسات مدربة مسبقًا عبر الأنظمة. يحل تنسيق مجموعة بيانات LeRobot هذه المشكلة عن طريق تحديد مخطط واحد يعمل عبر جميع الأجهزة المدعومة. يمكن استخدام مجموعة البيانات المسجلة على SO-100 لتدريب سياسة لـ OpenArm دون أي تحويل - طالما أن أبعاد مساحة العمل متطابقة.

إن فهم التنسيق قبل التسجيل يعني أنك لن تكتشف مشكلة هيكلية في بياناتك أثناء التدريب. كما أنه يجعل تصحيح الأخطاء أسهل بكثير: عندما يفشل التدريب، فإن أول مكان يجب البحث فيه هو مجموعة البيانات.

هيكل مجموعة البيانات: الباركيه + MP4

توجد كل مجموعة بيانات LeRobot في دليل بهذه البنية:

my_dataset/ ├── التعريف / │ ├── info.json # dataset metadata (robot type, fps, modalities) │ ├── المهام.jsonl # task description per episode │ └── stats.safetensors # mean/std for normalization ├── البيانات/ │ └── القطعة-000/ │ ├──حلقة_000000.باركيه # joint states + actions, one row per timestep │ ├── الحلقة_000001.باركيه │ └── ... └── الفيديوهات/ └── قطعة-000/ ├── الملاحظة.images.cam_high/ │ ├── الحلقة_000000.mp4 # camera feed, one file per episode │ └── ... └── الملاحظة.images.cam_wrist/ └── ...

إن الانقسام بين Parquet (للسلاسل الزمنية الرقمية) وMP4 (للفيديو) متعمد. يقوم الباركيه بضغط الحالات والإجراءات المشتركة بكفاءة ويدعم الوصول العشوائي السريع عن طريق فهرس الحلقة. يستخدم MP4 برامج ترميز الفيديو المصممة لتسلسلات الصور، مما ينتج عنه ملفات أصغر بمقدار 10 إلى 30 مرة من تخزين الصور الأولية كموترات.

الحقول الرئيسية في كل حلقة

مجال شكل وصف
مراقبة.حالة[ت، د]المواقف المشتركة (والسرعات اختياريا) في كل خطوة زمنية. D هو عدد المفاصل (على سبيل المثال، 7 لـ SO-100: 6 مفاصل + قابض واحد).
فعل[ت، د]استهداف المواقع المشتركة أمر في كل خطوة زمنية. نفس البعد مثل الملاحظة.الحالة.
الطابع الزمني[ت]الوقت بالثواني منذ بداية الحلقة، بمعدل 50 هرتز افتراضيًا (0.02 ثانية لكل خطوة).
الحلقة_indexالعدديةفهرس عدد صحيح لهذه الحلقة ضمن مجموعة البيانات. يُستخدم بواسطة أداة تحميل البيانات لتجميع الخطوات الزمنية في حلقات.
frame_index[ت]رقم الإطار داخل الحلقة (0 إلى T-1). يطابق رقم الإطار في MP4 المقابل.
next.done[ت]العلم المنطقي - صحيح في الخطوة الزمنية الأخيرة للحلقة. يستخدم للإشارة إلى حدود الحلقة أثناء التدريب.
Task_indexالعدديةقم بالفهرسة في المهام.jsonl. لتمكين مجموعات البيانات متعددة المهام حيث تتوافق الحلقات المختلفة مع تعليمات مختلفة.
مجالات الكاميرا: يتم تخزين صور الكاميرا كملفات MP4، وليس في الباركيه. يحتوي الباركيه observation.images.cam_high كمرجع مسار (فهرس الإطار + فهرس الحلقة) بدلاً من بيانات البكسل الأولية. يتعامل برنامج تحميل البيانات LeRobot مع عملية فك التشفير والمزامنة بشفافية.

تحميل وتصور مجموعة بيانات موجودة

تحميل lerobot-raw/aloha_sim_insertion_scripted مجموعة البيانات من HuggingFace Hub وتصور 3 حلقات. تحتوي مجموعة البيانات هذه على عروض توضيحية مكتوبة لروبوت ثنائي اليدين يقوم بإدخال ربط - وهو مثال واضح لما تبدو عليه مجموعة البيانات جيدة التنظيم.

المصدر ~/lerobot-env/bin/activate # Visualize 3 episodes from a public dataset بايثون -م lerobot.scripts.visualize_dataset \ --repo-id lerobot-raw/aloha_sim_insertion_scripted \ --مؤشرات الحلقة 0 1 2 \ --output-dir ~/dataset-viz/ # Open the generated HTML in your browser # File path printed to terminal, e.g. ~/dataset-viz/index.html

يقوم المتخيل بإنشاء صفحة HTML مع تشغيل فيديو لكل حلقة جنبًا إلى جنب مع مخططات الحالة المشتركة المتزامنة. بحث:

  • مسارات مشتركة على نحو سلس — تشير المسامير الحادة إلى وجود قطع أثرية في التسجيل أو اصطدام الذراع
  • طول الحلقة ثابت - الحلقات التي تختلف بشكل كبير في الطول (على سبيل المثال، 50 مقابل 400 إطار) غالبًا ما تشير إلى بعض العروض التوضيحية التي تم التقاطها لحركات جزئية أو مجهضة
  • تتغير حالة القابض - يجب أن يُظهر البعد المشترك الأخير تحولات ثنائية واضحة (فتح → إغلاق → فتح) لمهام المعالجة
# Inspect the dataset programmatically من lerobot.common.datasets.lerobot_dataset قم باستيراد LeRobotDataset مجموعة البيانات = LeRobotDataset("lerobot-raw/aloha_sim_insertion_scripted") طباعة(و"الحلقات: {dataset.num_episodes}") طباعة (و"إجمالي الإطارات: {لين (مجموعة البيانات)}") طباعة (و"FPS: {dataset.fps}") طباعة (f"الميزات: {list(dataset.features.keys())}") # Inspect a single frame الإطار = مجموعة البيانات[0] طباعة (f"شكل الحالة: {frame['observation.state'].shape}") طباعة (f"شكل الإجراء: {frame['action'].shape}")
اختياري — مجموعات البيانات المرجعية

استكشف مجموعة بيانات SVRC

تتضمن مكتبة مجموعة بيانات SVRC مجموعات بيانات تعلم الروبوت المنسقة بتنسيق LeRobot. قم بتصفحها لفهم كيف تبدو المهام والأجهزة المختلفة قبل تسجيل المهام والأجهزة الخاصة بك. تصفح مجموعات البيانات →

اكتملت الوحدة الثانية عندما...

لقد نجحت في تصور 3 حلقات من lerobot-raw/aloha_sim_insertion_scripted ويتم فتح مخرجات HTML في متصفحك. يمكنك تحديد حقول الملاحظة والإجراء والطابع الزمني في ملف Parquet المحمّل بـ Python. أنت تفهم الفرق بين ما يتم تخزينه في Parquet وMP4. أنت جاهز لتسجيل مجموعة البيانات الخاصة بك في الوحدة 3.