재생 버퍼

재생 버퍼(또는 경험 재생 메모리)는 강화학습 에이전트가 환경 상호작용 중에 수집한 과거 (상태, 행동, 보상, 다음 상태, 종료) 전이의 데이터셋이다. 각 학습 단계에서 버퍼에서 무작위 미니배치를 샘플링하여 가치 함수 또는 제어 정책을 학습하며, 기울기 업데이트를 불안정하게 만드는 시간적 상관관계를 제거한다. 오프라인 강화학습과 로봇 학습에서 재생 버퍼는 인간 시연 또는 이전에 수집한 롤아웃의 고정 데이터셋으로 대체된다. 우선순위 경험 재생은 시간차 오류로 샘플링에 가중치를 부여하여 정보성 있는 전이에 학습을 집중시킨다. 실제 적용 사례 보기: 우리의 실제 환경 평가 →

Related terms