オープン語彙操作
ロボットが、訓練中に見たことのないオブジェクトであっても、自由形式の言語説明で指定されたオブジェクトを操作する能力。オープン語彙操作は、VLM(言語クエリからオブジェクトを識別するため)と操作制御方針を組み合わせる。CLIPort、VIMA、RT-2などのモデルは、言語を視覚的観察に接地することで、オープン語彙機能を実証している。
ロボットが、訓練中に見たことのないオブジェクトであっても、自由形式の言語説明で指定されたオブジェクトを操作する能力。オープン語彙操作は、VLM(言語クエリからオブジェクトを識別するため)と操作制御方針を組み合わせる。CLIPort、VIMA、RT-2などのモデルは、言語を視覚的観察に接地することで、オープン語彙機能を実証している。