ESI Talents

Sujet de Stage N°: 314

Sujet de Stage
Validation

Sujet de stage N° 314

Type*

Specialites*

Organisme*

Coencadrants*

Promoteur*

AIT ALI YAHIA Yacine

Email promoteur*

Tel promoteur

Intitule*

Reproduction de styles de jeux aux échecs en utilisant les réseaux récurrents LSTM avec l’apprentissage par renforcement

Resume*

Jusqu’à présent la communauté des chercheurs s’est penchée sur la conception de moteurs d’échecs de plus en plus performants, ces derniers trouvent les coups optimaux sans respecter un style de jeu spécifique en voici une liste non exhaustive : agressif, défensif, contre-attaquant, positionnel, tactique, arnaqueur, sacrifices, gambits, positions ouvertes/fermées, adeptes des ouvertures ou des finales, adepte de la stratégie de la paire de fou.  Le style peut également être identique à des joueurs comme Fischer, Steinitz, Karpov, Kasparov et Carlsen. Par ailleurs les programmes informatiques ne bluffent pas et ne prennent pas de risque en essayant d’arnaquer l’adversaire par des attaques fantômes, ce que font la majorité des joueurs humains.
Sachant que pour les préparations des joueurs d’échecs contre d’autres joueurs qui adoptent des styles de jeu spécifiques comme ceux énoncés ci-dessus, les joueurs ne disposent pas d’outils informatiques (logiciels qui reproduisent des styles de jeu) qui renforcent leurs préparations. Le travail proposé s’inscrit dans ce cadre, pour ce faire nous allons essayer d’appliquer les réseaux de neurones récurrents car ces derniers ont donné de très bons résultats pour la génération de texte selon des auteurs connus ou d’images selon des thèmes spécifiques.
La difficulté consiste à découvrir étant donné un profil de joueur, la corrélation entre un coup et le moment où ce coup devient pertinent à un moment ultérieur du jeu, étant donné les observations et les actions précédentes. Le défi de la préservation de l'information à long terme et de données à court terme dans les modèles existe depuis longtemps, l'une des premières approches pour résoudre ce problème a été les réseaux de neurones récurrents LSTM (Long Short - Term Memory). De plus, l’apprentissage par renforcement (Reinforcement Learning : RL) consiste, pour un agent autonome (moteur d’échecs, etc.), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. Le RL  a pour rôle de donner au moteur la capacité de se corriger et s’améliorer au cours du temps. Le travail demandé consiste à utiliser un réseau neuronal récurrent LSTM en conjonction avec le RL pour apporter une solution à ce problème particulier.
Le plan du travail est établi comme suit :
1. Un état de l’art sur les réseaux récurrents LSTM et l’apprentissage par renforcement.
2. Comment peut-on combiner les réseaux LSTM avec l'apprentissage par renforcement et les adapter aux moteurs d’échecs pour reproduire des styles spécifiques de jeu.
3. Implémentation et analyse des résultats sur des parties réelles. 
Pour l’implémentation de ce modèle les étudiants utiliseront :
L’environnement Jupyter notebook sous anaconda ou colab.
Les bibliothèques de programmation sur les algorithmes d’apprentissage automatique (tels que Keras, Tensorflow avec Tensorboard ) 
Numpy : une bibliothèque open source de Python, destinée à manipuler des matrices ou des tableaux multidimensionnels ainsi que des fonctions mathématiques opérant sur ces tableaux.
Matplotlib : c’est une bibliothèque du langage de programmation Python destinée à tracer et visualiser des données sous formes de graphiques.
H5py : c’est une bibliothèque python qui permet de manipuler le format de données hdf5 (Hierarchical Data Format 5).
Python-chess: Une bibliothèque d’échecs en Python avec génération et validation de mouvements, lecture et écriture PGN.
Les environnements Arena ou Fritz pour les interfaces graphiques des jeux d’échecs.

Objectifs*

Le travail demandé consiste à utiliser un réseau neuronal récurrent LSTM en conjonction avec le RL pour apporter une solution à ce problème particulier.

Resultats attendus*

1. Un état de l’art sur les réseaux récurrents LSTM et l’apprentissage par renforcement.
2. Comment peut-on combiner les réseaux LSTM avec l'apprentissage par renforcement et les adapter aux moteurs d’échecs pour reproduire des styles spécifiques de jeu.
3. Implémentation et analyse des résultats sur des parties réelles.

Antecedents

Moyens informatiques

Echeancier*

Le plan du travail est établi comme suit :
1. Un état de l’art sur les moteurs d'échecs et les réseaux récurrents LSTM avec l’apprentissage par renforcement. (2 mois)
2. Comment peut-on combiner les réseaux LSTM avec l'apprentissage par renforcement et les adapter aux moteurs d’échecs pour reproduire des styles spécifiques de jeu. (4 mois)
3. Implémentation et analyse des résultats sur des parties réelles. (3 mois)

Bibliographie

1-B. Bakker, Reinforcement learning by backpropagation through an LSTM model/critic, in: Proceedings of the IEEE International Symposium on Approximate Dynamic Programming and Reinforcement Learning (ADPRL), Honolulu, HI, pp. 127–134, 2007.

2. Y. Bengio, P. Simard, P. Frasconi, Learning long-term dependencies with gradient descent is difficult, IEEE Transactions on Neural Networks 5 (2),
pp. 157–166, 1994.

3. HADJ HENNI Khadidja , SOUILAMAS Mohamed Nadji : Prédiction des coups aux échecs en utilisant les réseaux de neurones 
Mémoire de fin d’étude Pour l’obtention du diplôme d’Ingénieur d’état en Informatique Option : Systèmes Informatiques (SIQ)
Encadré par :Dr. AIT ALI YAHIA Yassine Laboratoire LCSI – ESI  Promotion : 2019/2020

Statut validation*

Reponse aux experts

concernant les remarques  de Mr Aries  et Mr Hadadou dans l'échéancier j'ai rajoute l état de l'Art sur les moteurs d'échecs ainsi que la bibliographie
 et les échéanciers, 
concernant la remarque comment appliquer le renforcement avec les RNN LTSM aux échecs c 'est l'objectif du travail demandé dans ce  pfe
d'abord trouver la bonne architecture en terme de nombres de neurones dans les couches d'entrées , cachées et de sortie et comment intégrer le renforcement dans les fonctions dévaluations des neurones.
pour plus de détails je suis prêt a m'entretenir avec Mr Hadadou sur cette question et lui apporter tous les éclaircissements nécessaires.

Reserve pour*

Projet recherche

Notification

Avis sur le Sujet de Stage

Intitule	Organisme	Debut	Fin	Avis	Commentaire
Reproduction de styles de jeux aux échecs en utilisant les réseaux récurrents LSTM avec l’apprentissage par renforcement	LCSI : Laboratoire de la Communication dans les Systèmes Informatiques	09/15/2020	09/23/2020	Avis favorable avec réserves mineures	C'est mieux d'ajouter un chapitre (état de l'art) : moteurs d'échecs ; comment ça marche, les méthodes de recherche, etc. https://arxiv.org/pdf/1607.04186.pdf https://www.ijert.org/research/literature-survey-of-chess-engines-IJERTCONV5IS01199.pdf https://sersc.org/journals/index.php/IJFGCN/article/view/29255/16303
Reproduction de styles de jeux aux échecs en utilisant les réseaux récurrents LSTM avec l’apprentissage par renforcement	LCSI : Laboratoire de la Communication dans les Systèmes Informatiques	09/15/2020	09/23/2020	Avis favorable	—
Reproduction de styles de jeux aux échecs en utilisant les réseaux récurrents LSTM avec l’apprentissage par renforcement	LCSI : Laboratoire de la Communication dans les Systèmes Informatiques	09/15/2020	09/30/2020	Avis favorable avec réserves mineures	- Le temps alloué à chaque étape de l'échéancier n'est pas donné, - Absence de références, - Préciser l'objectif suivant: Comment peut-on combiner les réseaux LSTM avec l'apprentissage par renforcement et les adapter aux moteurs d’échecs pour reproduire des styles spécifiques de jeu. -