Назад к Glossary
Пространство состояний
Пространство состояний — это полный набор конфигураций, в которых могут находиться робот и его окружающая среда. В RL марковское состояние s кодирует всю информацию, необходимую для предсказания будущих вознаграждений и переходов состояния — в идеале полное описание мира. На практике агент имеет доступ только к частичным наблюдениям (изображения, углы суставов), которые могут не полностью отражать состояние (например, скрытые объекты, неизвестные параметры физики). Проектирование пространства наблюдений, которое хорошо аппроксимирует марковское состояние при сохранении вычислительной эффективности, — ключевой вызов в проектировании систем обучения роботов. Смотрите это на практике: наши реальные оценки →