הערת נתוני רובוט: כיצד לתייג הדגמות רובוטים לאימון

מה משמעות ההערה עבור נתוני רובוט

שלא כמו סיווג תמונה, שבו הערה פירושה ציור תיבות או לחיצה על תוויות, הערת הדגמה של רובוט היא עשירה ומובנית יותר. פרק רובוט בודד - בדרך כלל 20-200 שניות של מניפולציה - צריך להיות מתויג במספר רמות: האם הפרק היה הצלחה או כישלון, איזו שפה מתארת ​​את המשימה, היכן מתחילים ונגמרים שלבים שונים מבחינה סמנטית, והאם יש מסגרות שכדאי להוציא מההדרכה עקב שגיאות חומרה או טעויות מפעיל.

הערות מבוצעות בדרך כלל על ידי סוקרים אנושיים הצופים בשידורי וידאו חוזרים של פרקים מוקלטים לצד עלילות של מצבים משותפים וצמצם תפס. כלים טובים להערות מציגים וידאו מסונכרן ממספר מצלמות בו זמנית, מה שמקל לשפוט הצלחה מנקודות מבט שהמצלמות של הרובוט עצמו עלולות לא ללכוד בבירור.

דגלי הצלחה: ההערה החשובה ביותר

כל פרק במערך נתונים לאימון רובוט חייב להיות מסומן בדגל הצלחה בינארי: האם הרובוט השלים את המשימה בהצלחה. זה נשמע פשוט, אבל יש להגדיר קריטריונים להצלחה בדיוק לפני תחילת ההערה. "הנח את הכוס על הצלחת" דורש מפרט: האם הכוס צריכה להיות זקופה, האם כיוון הידית משנה, כמה טעות מיקום מקובלת? כותבים המחילים סטנדרטים מרומזים שונים על אותו מערך נתונים יוצרים תוויות רועשות שפוגעות בביצועי האימון.

כתוב מסמך מפרט הצלחה של עמוד אחד לפני תחילת ההערה, עם תמונות לדוגמה של מקרי הצלחה וכישלון. השתמש במסמך זה כדי לכייל מפרשים. מדוד את ההסכמה בין המספרים על תת-קבוצה משותפת של פרקים - אם ההסכמה נמוכה מ-90%, קריטריוני ההצלחה שלך זקוקים להבהרה. צינור ההערות של SVRC דורש מסמכי קריטריוני הצלחה מפורשים ובדיקות הסכמי בין-מערערים לפני שמערך נתונים מסומן מוכן להדרכה.

תוויות שפה

הערות שפה מצמידות תיאורי שפה טבעית לפרקים או לקטעי פרק. אלה נדרשים להכשרת מדיניות מותנית בשפה - מדיניות העוקבת אחר הוראות כמו "הרים את הבלוק האדום" במקום קידוד קשה של המשימה. הערות שפה מאפשרות גם תאימות עם מודלים של ראייה-שפה-פעולה (VLA) ומאפשרות חיפוש וסינון של מערכי נתונים לפי תיאור המשימה.

כתוב הערות שפה בשתי רמות ספציפיות: שם משימה קצר ("הנחת כוס") והוראה בשפה טבעית ("הרים את הכוס הלבנה והניחו על הצלחת הכחולה"). ההוראה צריכה לתאר את מה שמתבונן אנושי רואה קורה, לא את המצב הפנימי של הרובוט. אם המשימה שלך כוללת וריאציות של משימה - אובייקטים שונים, מיקומי יעד שונים - לכל וריאציה צריכה להיות הוראה מתאימה שמבדילה אותה מהאחרות.

פילוח משימות

עבור משימות ארוכות אופק הכוללות מספר משימות משנה עוקבות, תוויות פילוח מסמנות את הגבולות בין שלבים. משימת עריכת שולחן עשויה להיות מחולקת ל: כוס גישה, כוס אחיזה, כוס הובלה, כוס הנחת, כוס שחרור. פילוח מאפשר הדרכת מדיניות היררכית, מדדי הצלחה ברמת תת-משימות והגדלת נתונים סלקטיבית. זה גם מאפשר איתור באגים כירורגי: אם מדיניות נכשלת במהלך ההובלה אך מצליחה במהלך התפיסה, תוויות פילוח מאפשרות לך למדוד את שיעורי ההצלחה של תת-משימות ולמקד את מאמץ איסוף הנתונים היכן שהכי נחוץ.

הערת פילוח יקרה יותר מסימון הצלחה ולא תמיד הכרחית. תן עדיפות לפילוח למשימות עם שלושה שלבים או יותר מובחנים מבחינה סמנטית, או כאשר אתה מתכנן להשתמש בארכיטקטורת מדיניות היררכית.

כלי הערות ותקני איכות

כלי ההערה הנפוצים עבור נתוני רובוט כוללים את Label Studio (קוד פתוח, תומך בנתוני וידאו וסדרות זמן), CVAT (כלי הערות לראייה ממוחשבת, טוב לשכבות-על של תיבות תוחמות), ודפדפני פרקים מותאמים אישית שנבנו עם Gradio או Streamlit. פלטפורמת הנתונים של SVRC כוללת ממשק מובנה של הערות פרקים הנגיש דרך אפליקציית האינטרנט, התומך בדגלי הצלחה, תוויות שפה וסימון אי הכללה ברמת המסגרת.

תקני איכות חשובים יותר מהכמות. SVRC מיישמת שער איכות תלת שלבי על כל מערכי הנתונים: הערה עצמית של המפעיל מיד לאחר ההקלטה, סקירה משנית על ידי יוצר מיומן, ובדיקות עקביות אוטומטיות המשוות הערות מול סטטיסטיקות של מצבים משותפים (למשל, פרקים שסומנו כהצלחה שבהם התפסן מעולם לא נסגר מסומנים לבדיקה חוזרת).

צינור ההערות של SVRC

כאשר אתה משתמש ב-SVRC שירותי איסוף נתונים, הערה היא חלק מהתוצר. המפעילים שלנו מביאים הערות לכל פרק בדגלי הצלחה ובתוויות שפה במהלך הפעלת ההקלטה, וצוות ההערות שלנו מבצע סקירה משנית לפני ייצוא מערך הנתונים. אתה מקבל מערך נתונים עם הערות ברמת ביטחון גבוהה, ציוני הסכמי הערים ודוח איכות מלא. עבור צוותים המביאים נתונים שנאספו משלהם, SVRC מציע שירותי הערות בלבד ויכול לעבד מערכי נתונים קיימים שנאספו בכל פלטפורמת חומרה נתמכת. צור איתנו קשר כדי לדון בצרכי ההערה של מערך הנתונים שלך.