BERT
تمثيلات ثنائية الاتجاه من Transformers — نموذج لغة مدرب مسبقاً يتعلم تمثيلات نصية سياقية من خلال إخفاء الرموز والتنبؤ بها من السياق المحيط. في الروبوتات، تقوم نماذج على غرار BERT بترميز التعليمات باللغة الطبيعية لسياسات مشروطة باللغة. يتم استخدام تضمينات SentenceBERT لاسترجاع المهام ومطابقة تشابه التعليمات.







