गूगल रोबोट बेंचमार्क

सिंहावलोकन

Google रोबोट बेंचमार्क 700+ कार्यों में वास्तविक भौतिक रोबोट पर नीतियों का मूल्यांकन करता है। WidowX और अन्य अवतारों का समर्थन करता है। मेट्रिक्स में सफलता दर, बहु-कार्य प्रदर्शन और भाषा ग्राउंडिंग शामिल हैं। OpenVLA, RT-X और संबंधित मॉडलों का मूल्यांकन करने के लिए उपयोग किया जाता है।

मुख्य परिणाम

• इंटर्नवीएलए-एम1: 71.7% (विडोएक्स), 76-81% (अन्य अवतार)
• ओपनवीएलए: 29 कार्यों पर आरटी-2-एक्स से 16.5% बेहतर प्रदर्शन करता है

संबंधित

• ब्रिजडेटा - विडोएक्स डेटासेट
• ओपनवीएलए - मॉडल मूल्यांकन