Glossaryに戻る

事前学習

Foundation ModelTrainingTransfer Learning

事前学習は、タスク固有のファインチューニング前に、ニューラルネットワークが大規模で多様なデータセットで訓練されるモデル開発の段階です。ロボティクス基礎モデルの場合、事前学習はインターネット規模のビジョン言語データ(画像、ビデオ、テキスト)、クロスエンボディメントロボットデータセット(Open X-Embodiment)、合成シミュレーションデータ、またはそれらの組み合わせで発生する可能性があります。事前学習されたモデルは、オブジェクト、アクション、概念の豊かな一般的な表現を学習し、スクラッチから訓練するよりもはるかに少ないデモンストレーションで下流のロボットタスクに転移します。事前学習は、RT-2などのVLAモデルの成功の背後にあるメカニズムであり、ロボティクスおよびインターネット規模の事前学習の両方から利益を得ます。

Related terms