École Nationale Supérieure de
Techniques Avancées

Résumé

L’objet de cet article est de décrire la mise en œuvre d’une architecture en 3 parties décrite dans le papier World Models permettant l’apprentissage d’un environnement simplifié sur des environnements classiques d’apprentissage par renforcement. Ceci est rendu possible par l’entraînement combiné d’un encodeur résumant les informations perçues de l’environnement et d’un prédicteur donnant quelques indications sur la prochaine observation, étant donné un état et une action. Il est donc possible d’entraîner un petit contrôleur basé sur ce modèle résumé du monde pour obtenir de meilleures performances que celles obtenues avec les algorithmes classiques. De plus, il est également possible d’entraîner le contrôleur sans interactions avec l’environnement réel, mais à l’intérieur du rêve généré par le prédicteur avant d’utiliser le contrôleur sur l’environnement réel.