Ego4D: Das größte egozentrische Video-Datensatz
Ego4D: das größte egozentrische Video-Datenpaket. 3.670 Stunden von 931 Teilnehmern in 9 Ländern. Handverfolgung, Blick, 3D-Scans.
3.670 Stunden First-Person-Video von 931 Teilnehmern aus 9 Ländern.
CC-BY-NC -- Nichtkommerzielle MP4 + JSON ~7 TB
Schlüsselinformationen
| Metric | Value |
|---|---|
| Duration | 3,670 hours of first-person video |
| Participants | 931 across 74 locations in 9 countries |
| Size | ~7 TB |
| Modalities | RGB video, audio, gaze tracking, hand tracking, 3D environment scans |
| Benchmarks | Episodic memory, hand-object interaction, AV diarization, social interaction, forecasting |
| License | CC-BY-NC-4.0 (requires registration) |
| Origin | Meta AI Research |
Was ist Ego4D?
Ego4D ist der größte egozentrische Video-Datenbestand, der jemals erstellt wurde, der von Meta AI Research in Zusammenarbeit mit 13 Universitäten und Laboren weltweit erstellt wurde. Es erfasst 3,670 Stunden täglicher Aktivitäten - Kochen, Einkaufen, Handwerk, Gesellschaftsbeziehung - gefilmt aus der Perspektive von 931 Teilnehmern in 9 Ländern.
Was Ego4D von anderen Video-Daten-Sets unterscheidet, ist die Tiefe seiner Anmerkungen. Dies ermöglicht fünf verschiedene Benchmark-Spuren: episodische Erinnerung (Finden vergangener Ereignisse), Hand-Objekt-Interaktion, audiovisuelle Diarisierung, Verständnis für soziale Interaktion und zukünftige Aktivitätsvorhersagen.
Warum sich Robotiker interessieren
Ego4D bietet die umfangreichste Quelle für egozentrische Hand-Objekt-Interaktionsdaten. Für die Robotik bedeutet dies: besseres Verständnis für menschliche Manipulationsstrategien, die Roboter imitieren können, Schulungsdaten für Aktionsvorwegungsmodule und visuelle Vorfälle für die Greifdetection und Kontaktvorhersage. Mehrere jüngste VLA-Modelle verwenden Ego4D-abgeleitete Funktionen für das Vortraining ihrer visuellen Encoder.
Zugriff
Hinweis: Ego4D ist registriert und ist CC-BY-NC-4.0 lizenziert (nur für nicht kommerzielle Zwecke).