Búfer de Reproducción
Un búfer de reproducción (o memoria de reproducción de experiencia) es un conjunto de datos de transiciones pasadas (estado, acción, recompensa, estado siguiente, hecho) recopiladas por un agente de RL durante la interacción con el entorno. En cada paso de entrenamiento, se muestrean mini-lotes aleatorios del búfer para entrenar la función de valor o la política de control, rompiendo correlaciones temporales que desestabilizarían las actualizaciones de gradiente. En RL sin conexión y aprendizaje robótico, el búfer de reproducción se reemplaza por un conjunto de datos fijo de demostraciones humanas o trayectorias recopiladas previamente. La reproducción de experiencia priorizada pondera el muestreo por error de diferencia temporal para enfocarse en transiciones informativas. Ver esto en práctica: nuestras evaluaciones en el mundo real →