ESI Talents

Sujet de Stage N°: 295

Sujet de Stage
Validation

Sujet de stage N° 295

Type*

Specialites*

Organisme*

Coencadrants*

Promoteur*

BERTI-EQUILLE Laure

Email promoteur*

Tel promoteur

Intitule*

Apprentissage par renforcement profond interactif et explicable appliqué à la détection d'anomalies

Resume*

Contexte : De récents travaux en Intelligence Artificielle ont permis à des ordinateurs d'apprendre des tâches complexes, telles que jouer à différents jeux ATARI [Mnih2015], réaliser des tâches de manipulation de LEGO [Levine2015], ou encore, en science des données, explorer des données de façon autonome [Somech2020]. Ces travaux sont basés sur l'utilisation combinée de l'apprentissage par renforcement (Reinforcement Learning RL) [Sutton1998] et des réseaux de neurones profonds (Deep Learning DL) [LeCun2015]. Dans notre contexte, nous nous intéressons à l'application de ces techniques pour explorer les données [Somech2020], les préparer [Berti-Equille2019], en évaluer la qualité et découvrir ou affiner des règles-métier, en particulier pour détecter des anomalies ou les incohérences dans les données de capteurs du domaine de la santé. 
L'organisation du travail de ce travail se fera de manière incrémentale : 
Il faudra dans un premier temps étudier l’état de l’art et analyser les différents algorithmes de la littérature mêlant apprentissage par renforcement profond et automatisation de l’exploration et de la préparation des données. Cette première étape permettra une montée en compétence sur les techniques d'apprentissage profond et par renforcement et une prise en main des frameworks qui seront utilisés (tels que openAIgym, TensorFlow, et pyTorch) pour pouvoir par la suite développer un prototype de recherche. Il faudra proposer ensuite des adaptations d'une ou plusieurs de ces méthodes, appliquées au problème de la détection d'anomalies pour les séries temporelles [Tatbul2018] en général et pour les données capteurs dans le domaine de la santé en particulier.
Détecter les anomalies (en évitant les fausses alarmes) requiert souvent l’implication d’un expert. Le travail consistera donc à découvrir et valider des règles-métiers avec un investissement minimum de l’expert en modifiant de façon dynamique la fonction de reward dans l’apprentissage par renforcement (RL). Dans ce travail, nous visons le développement d'un framework de renforcement explicable avec “l’humain-dans-la-boucle” (HIL Human-In-the-Loop). Dans ce cadre, les modèles d'inférence adaptatifs agissent comme un dispositif de contrôle de supervision du processus d'apprentissage par renforcement, à travers lequel les caractéristiques pertinentes et les retours d’un utilisateur peuvent façonner la structure des modèles approchés (modèle physique sous-jacent et indicateurs de performance). Nous comptons étendre l'architecture classique des structures RL acteur-critique pour intégrer (dans le rôle de critique) également le processus de génération d'explications selon les directives de l’utilisateur. Des garanties de convergence seront proposées tout comme des moyens pour évaluer la qualité des règles-métiers apprises et les explications générées pour mesurer la performance globale des algorithmes proposés.
La validation des propositions se fera de manière incrémentale sur les jeux de données de capteurs IoT et des benchmarks (par exemple [Numenta2015]) pour lesquels on dispose d’une vérité terrain.

Objectifs*

I – Proposer un algorithme de renforcement pour la détection d’anomalies qui permette de bénéficier des inputs d’un utilisateur humain dans la boucle
II – Développer un environnement  pour exécuter et comparer plusieurs algorithmes de renforcement pour la détection et la correction des anomalies
III- Développer un environnement de test sur des données réelles de capteurs
IV- Faire une étude comparative des méthodes existantes de renforcement et de la méthode proposée

Resultats attendus*

I- Algorithme de renforcement pour la détection d’anomalies avec l’humain dans la boucle
II- Prototype permettant de : (1) exécuter et comparer plusieurs algorithmes de renforcement, (2) capturer les inputs de l’utilisateur pour guider d’apprentissage pour la détection d’anomalies, et (3) réaliser une étude comparative.
III- Validation de l’algorithme développé
IV- Résultats de l’étude comparative de la méthode proposée avec les méthodes existantes (en termes de performance et qualité de la détection).

Antecedents

Connaissances en sciences des données, apprentissage (apprentissage par renforcement, réseaux de neurones)
Solides compétences en développement en Python.

Moyens informatiques

Echeancier*

Etape 1: Etude bibliographique et test des implémentations existantes en renforcement,         1 mois
Etape 2: Etude comparative des différentes approches existantes sur des jeux de données de capteurs issues de benchmarks     2 mois
Etape 3: Formalisation et rédaction d’un algorithme de renforcement impliquant l’utilisateur et implémentation        2 mois
Etape 4: Réflexion et conception de l’algorithme pour l’explication des anomalies détectées  et implémentation          1 mois
Etape 5: Réalisation de l’interface de test des algorithmes Premiers tests         2 mois
Etape 6: Tests des algorithmes et rédaction d’article         1 mois

Bibliographie

[Berti-Equille2019] Laure Berti-Equille. Learn2Clean: Optimizing the Sequence of Tasks for Web Data Preparation. Proceedings of the Web Conf 2019, San Francisco, May 2019.[LeCun2015] LeCun, Y., Bengio, Y., Hinton, G., Deep learning, Nature, vol. 521, 436-44, 2015.
[Levine2015] Sergey Levine, Chelsea Finn, Trevor Darrell, Pieter Abbeel. End-to-End Training of Deep Visuomotor Policies. International Conference on Robotics and Automation (ICRA), Late Breaking Results Session, 2015
[Mnih2015] Mnih et al., Human-level control through deep reinforcement learning, Nature 518,529–533, 2015.
[Numenta2015] Numenta Anomaly Benchmark. http://github.com/numenta/  https://arxiv.org/ftp/arxiv/papers/1510/1510.03336.pdf 
[Somech2020] Somech A., Milo T., Bar El O. Towards Autonomous, Hands-Free Data Exploration. CIDR 2020. http://cidrdb.org/cidr2020/papers/p15-bar-cidr20.pdf 
[Sutton1998] Sutton, Richard S. and Barto, Andrew G., Introduction to Reinforcement Learning,1998
[Tatbul2018] Tatbul N. et al.2018.  Precision and Recall for Time Series. InNeurIPS Conference. https://papers.nips.cc/paper/7462-precision-and-recall-for-time-series.pdf

Statut validation*

Reponse aux experts

Reserve pour*

Projet recherche

Notification

Avis sur le Sujet de Stage

Intitule	Organisme	Debut	Fin	Avis	Commentaire
Apprentissage par renforcement profond interactif et explicable appliqué à la détection d'anomalies	LIS : Laboratoire d'Informatique et Systèmes	09/05/2020	—	Avis favorable	—
Apprentissage par renforcement profond interactif et explicable appliqué à la détection d'anomalies	LIS : Laboratoire d'Informatique et Systèmes	09/22/2020	09/30/2020	Avis favorable	—
Apprentissage par renforcement profond interactif et explicable appliqué à la détection d'anomalies	LIS : Laboratoire d'Informatique et Systèmes	09/22/2020	09/30/2020	Avis favorable	—
Apprentissage par renforcement profond interactif et explicable appliqué à la détection d'anomalies	LIS : Laboratoire d'Informatique et Systèmes	09/22/2020	09/30/2020	Avis favorable	—
Apprentissage par renforcement profond interactif et explicable appliqué à la détection d'anomalies	LIS : Laboratoire d'Informatique et Systèmes	09/22/2020	09/23/2020	Avis favorable avec réserves mineures	Je pense que le titre est un peu générique ; Je n'ai pas pu comprendre quelles anomalies que lorsqu'en lisant le résumé. Proposition : "Apprentissage par renforcement profond interactif et explicable appliqué à la détection d'anomalies pour les données capteurs dans le domaine de la santé"