Notre menu dispose de deux options distinctes:

• Jeu en mode normal où l'utilisateur déplace le personnage grâce aux touches directionnelles.
• Jeu en mode IA où le personnage est déplacé grâce à l'apprentissage par renforcement réalisé au préalable.

Comment jouer en mode normal ?

• Une fois que le joueur a cliqué sur mode normal, la partie est lancée directement.  Le personnage est sur la case de départ.
• Déplacer le personnage en utilisant les touches directionnelles et en évitant les trous.
• Utiliser les téléporteurs pour arriver à la case d'arrivée.

Comment jouer en mode IA ?

• Une fois que le joueur a cliqué sur mode IA, la partie est lancée directement.
• Regarder le personnage se déplacer vers la case d'arrivée.

Voici les structures utilisées:

Mouvement de téléportation

Comme nous l'avons expliqué précedemment, nous devons guider notre personnage de la case de départ vers la case d'arrivée en passant par des téléporteurs. Les téléporteurs sont liés deux à deux avec une couleur précise. Quand le personnage arrive sur un téléporteur, nous remarquons comme sur l'image qu'il fait une animation qui le mène vers le téléporteur correspondant.

Mort du personnage

Si notre personnage touche un trou, il est remis sur la position de départ. Nous utilisons l'animation de téléportation. En effet, la mort du personnage le téléporte directement sur la case de départ.

Victoire du personnage

Lorsque le personnage atteint la case finale, il effectue un petit saut en tournant sur lui-même.

Nos perceptions sont en fonction des positions x et y du personnage dans la map. Nous avons 529 états qui dépendent de 4 directions.

L’IA suit l’algorithme de Q-Learning. Ainsi notre QTable est une matrice 529x4.

Notre système de reward est simple: 1 si le personnage a atteint le point d’arrivée, 0 sinon. Afin de déterminer les paramètres xi et gamma, nous avons réalisé différentes modélisations sur 500 000 générations. Les meilleurs résultats sont pour xi = 0.8 et gamma = 0.93.

Le choix des actions est suivant l’algorithme E-greedy. Notre epsilon est une suite géométrique de paramètre 0.999. Pour notre modélisation finale, cet epsilon décroit tous les 150 générations.

Une fois cette modélisation faite, on sauvegarde la QTable résultante et on la charge dans le programme global pour faire bouger notre personnage avec l’expérience des générations précédentes.

Notre point d'arrivée correspond à l’état 265, les états 264 et 266 correspondent respectivement aux cases à gauche et droite de la case finale.
On remarque bien que les 1 dans les colonnes RIGHT et LEFT de chaque état.

Voici une démonstration du jeu en mode IA:

Pistes d'amélioration:

• Mieux gérer les touches pour le mode normal.
• Chercher un objet pour débloquer la sortie.