הגדרת מצלמת רובוט לאיסוף נתונים: שורש כף היד, תקורה וסטריאו

אסטרטגיית מיקום המצלמה

העיקרון הראשון של מיקום מצלמות רובוטים הוא: מצלמות המשמשות לאיסוף נתונים חייבות להיות זהות במיקום ההרכבה למצלמות המשמשות לפריסת מדיניות. אין התאוששות מחוסר ההתאמה הזה - מדיניות שהוכשרה על תצוגות של מצלמות שורש כף היד אינה יכולה להכליל לתצוגת מצלמה עילית, ולהיפך. הגדר את תצורת מצלמת הפריסה שלך לפני שאתה אוסף פרק בודד של נתוני אימון.

התצורות הנפוצות ביותר בחקר מניפולציות הן: רק שורש כף היד (מצלמה אחת מותקנת על פרק כף היד של הרובוט, מסתכלת קדימה אל סביבת העבודה של המניפולציה); עילי בלבד (מצלמה אחת או שתיים המותקנות על מתקן עילי קבוע); ותצוגה מרובה (מצלמת פרק כף היד בתוספת מצלמה חיצונית אחת או שתיים המספקות הקשר עולמי של סביבת עבודה). תצורות מרובות תצוגות עולות באופן עקבי על ביצועי מדיניות בתצוגה יחידה, במחיר של תשתית הקלטה מורכבת יותר.

מצלמות שורש כף היד: יתרונות, חסרונות ושיטות עבודה מומלצות

מצלמות שורש כף היד מספקות מבט בגוף ראשון על פעולת המניפולציה - הרובוט רואה בערך מה הוא עושה במכשיר הקצה שלו. נקודת מבט זו היא אינפורמטיבית ביותר עבור משימות אחיזה והחדרה עדינות שבהן יש לתפוס במדויק את הקשר בין האוחז לאובייקט. מצלמות שורש כף היד גם עוקבות אוטומטית אחר האוחז דרך סביבת העבודה, ומבטיחות שאובייקט המטרה תמיד נמצא במסגרת במהלך המניפולציה.

המגבלה העיקרית של מצלמות שורש כף היד היא שהן אינן רואות את סביבת העבודה הגלובלית - הרובוט אינו יכול לתפוס עצמים רחוקים ממצב האחיזה הנוכחי שלו מבלי להזיז את הזרוע. זה מגביל את היעילות שלהם למשימות הדורשות הבנה ברמת הסצנה או תיאום דו-ידני. עבור מערכות דו-ידניות, כל זרוע צריכה לשאת מצלמת פרק כף היד שלה. מפרט מומלץ: רזולוציה של 1080p ומעלה, 60+ fps, צמצם גלובלי (לא תריס מתגלגל) כדי למנוע טשטוש תנועה במהלך תנועות מהירות ועדשה רחבה (FOV של 90-110 מעלות) כדי לשמור על נוף של נקודת מגע האחיזה בטווח קרוב.

מצלמות עיליות: תצורה ושינויים

מצלמות עיליות קבועות מספקות תצוגות יציבות ועקביות של סביבת עבודה שתופסות את סצנת המניפולציה המלאה. הם פחות רגישים לתנועת זרועות ומספקים הקשר טוב יותר למשימות הדורשות שלבים עוקבים מרובים באזורי סביבת עבודה שונים. קל יותר להרכיב מצלמות עיליות באופן עקבי על פני תחנות רובוט מרובות, מה שחשוב עבור מסעות פרסום בקנה מידה גדול לאיסוף נתונים.

ההגבלה מצטמצמת בנקודת המגע של המניפולציה. מצלמה עילית בגובה 80 ס"מ המביטה מטה אל סביבת עבודה שולחנית אינה יכולה לראות בצורה מהימנה את גיאומטריית מגע האוחז-אובייקט על עצמים קטנים. זו הסיבה שמצלמות עיליות משויכות בדרך כלל למצלמות פרק כף היד בהגדרות של איסוף נתונים בעלות ביצועים גבוהים - התצוגה העליונה מספקת הקשר למשימה ומיקום גס, בעוד שתצוגת שורש כף היד מספקת פרטי מניפולציה עדינים.

רזולוציה, קצב פריימים וסנכרון

לאיסוף נתוני מניפולציה, 480p–720p למצלמה ב-30 פריימים לשנייה מספיקים לרוב מדיניות הלמידה החיקוית בשנת 2026. רזולוציה גבוהה יותר (1080p) משפרת את הביצועים במשימות הדורשות אבחנה מרחבית עדינה. קצבי פריימים מתחת ל-30 פריימים לשנייה מציגים כינוי זמני שמדרדר את למידת המדיניות במשימות מהירות. קצבי פריימים מעל 60 פריימים לשנייה מספקים תשואה פוחתת עבור רוב משימות המניפולציה ומגדילים משמעותית את דרישות האחסון.

סנכרון ריבוי מצלמות הוא קריטי ומוזנח לעתים קרובות. אם המצלמות אינן מסונכרנות בחומרה, יש ליישם את יישור חותמת הזמן בזהירות במהלך טעינת הנתונים. אפילו 33 אלפיות השנייה של היסט בין המצלמה (פריים אחד ב-30 פריימים לשנייה) יכול להציג חוסר יציבות באימון עבור משימות שבהן המבט על פרק כף היד והעליון חייב להיות עקבי זמנית. סדרות Intel RealSense D435 ו-D455 תומכות בסנכרון חומרה באמצעות כבל סנכרון והן הבחירה המועדפת על SVRC עבור הגדרות מרובות מצלמות מסונכרנות.

מצלמות עומק

מצלמות עומק מספקות מדידות מרחק לפי פיקסל בנוסף לתמונות RGB, ומאפשרות הבנת סצנה תלת מימדית ללא שחזור סטריאו מפורש. מצלמות Intel RealSense, Microsoft Azure Kinect ו-ZED הן חיישני העומק הנפוצים ביותר באיסוף נתונים של רובוטים. מידע עומק הוא בעל ערך עבור משימות שבהן גובה אובייקט, צורה או מיקום תלת-ממד חשובים לתכנון אחיזה, ולמדיניות המשתמשת בקלט ענן נקודתי ולא בקלט תמונה טהור.

הפשרה: מצלמות עומק מוסיפות משקל, עלות ועומס עיבוד. הרבה תוצאות למידה חיקוי מתקדמות מושגות עם מצלמות RGB טהורות, מה שמרמז על עומק לא תמיד הכרחי. השתמש בעומק כאשר ארכיטקטורת המדיניות שלך נהנית במפורש מקלט תלת מימד, כאשר משימות כוללות שונות עומק משמעותית (ערימת אובייקטים בגבהים שונים), או כאשר אתה זקוק לביצועים חזקים על פני תנאי תאורה משתנים (העומק אינו משתנה יותר מ-RGB).

כיול ותקן Multi-Camera של SVRC

יש לכייל כל מצלמה - כיול פנימי (אורך מוקד, מקדמי עיוות) וכיול חיצוני (מיקום וכיוון ביחס לבסיס הרובוט) לפני תחילת איסוף הנתונים. השתמש ביעד לוח דמקה פיזי לכיול וכיול מחדש לאחר כל תנועה או התאמה של המצלמה. אחסן פרמטרי כיול כמטא נתונים עם כל מערך נתונים.

תקן איסוף הנתונים של SVRC משתמש בתצורה קבועה של שלוש מצלמות: מצלמת שורש כף יד אחת לכל זרוע ועוד מצלמה עילית מכוילת לכל תחנה. תושבות מצלמה פיזיות הן חלק מהתכנון הסטנדרטי של תחנת העבודה שלנו, מה שמבטיח מיקום עקבי בכל המתקן שלנו. כל פרמטרי הכיול נרשמים באופן אוטומטי ונכללים בייצוא של מערכי נתונים. עבור צוותים שמקימים תשתית לאיסוף נתונים משלהם, SVRC מציעה ייעוץ להגדרת מצלמה ויכולה לספק מכלולי מצלמה מכוילים מראש - לפנות אלינו או לראות שלנו דף שירותי נתונים לפרטים.