返回Datasets
爱情4D:最大的自我中心视频数据集
爱哥4D:最大的自我中心视频数据集. 9个国家的931名参与者从36,670小时. 手跟踪,视觉,3D扫描.仅用于研究 (CC-BY-NC-4.0).
来自9个国家的931名参与者,
无限量使用的 MP4 + JSON ~7 TB
关键数据
| Metric | Value |
|---|---|
| Duration | 3,670 hours of first-person video |
| Participants | 931 across 74 locations in 9 countries |
| Size | ~7 TB |
| Modalities | RGB video, audio, gaze tracking, hand tracking, 3D environment scans |
| Benchmarks | Episodic memory, hand-object interaction, AV diarization, social interaction, forecasting |
| License | CC-BY-NC-4.0 (requires registration) |
| Origin | Meta AI Research |
什么是Ego4D?
艾戈4D是迄今为止最大的自我中心视频数据集,由Meta AI研究公司与全球13所大学和实验室合作制作. 它捕捉到每天 3,670小时的活动 - -
根据视频数据集的深度,Ego4D与其他视频数据集区别于其说明.除了标准的行动标签之外,它还包括叙述,对象检测,手对象接触注释,视觉跟踪和3D环境扫描. 这使得有五种不同的基准轨迹: 情节记忆 (寻找过去的事件), 手对象互动,视听日记,社会互动理解和未来活动预测.
机器人学家为什么关心
机器人技术的基础上,它提供了最广泛的自我中心手对象互动数据来源.对于机器人来说,这意味着:更好地了解机器人可以模仿的人类操纵策略,为行动预测模块训练数据,以及视觉预测用于抓住检测和接触预测. 许多最近的VLA模型使用Ego4D衍生的功能来预先训练他们的视觉编码器.
访问
注: Ego4D需要注册,并获得CC-BY-NC-4.0许可 (仅用于非商业用途).
报名在ego4d-data.org](