Projet de fin d'étude : Reconnaissance des gestes de la main à l'aide d’approches d'apprentissage Profond pour les applications de maison intelligente

Etudiant : AIT-BEN-LAHCEN RANIA

Filière : Master Big Data Analytics & Smart Systems (BDSaS)

Encadrant : Pr. BOUAYAD ANAS

Annèe : 2023

Résumé : Les smartphones, tablettes… objets digitaux ont effectivement envahi notre quotidien. Présents dans notre vie personnelle et professionnelle, ils changent nos habitudes et en créent parfois d'autres. Ces interactions entre les humains et les systèmes informatiques sont au centre des interactions homme-machine. Le moment où vous avez dû marcher autour de chaque pièce de la maison pour assurer que les lumières ont été éteintes ou le réchauffeur est parti... Maintenant, la gestion du matériel de la maison se fait centralement et à distance par des systèmes informatiques, un grand pas vers la construction de l'avenir. C’est dans ce contexte de gestion de maison intelligente et l’interaction hommemachine que ce projet s’inscrit. L’objectif de celui-ci est de mettre en œuvre un système intelligent permettant d’acquérir, traiter, analyser et comprendre des images numériques et extraire des données de grandes dimensions à partir d’une séquence vidéo en temps réel afin de détecter, identifier, classifier, suivre les actions et les gestes de nos mains dans le but de gérer et contrôler une maison intelligente. L’intelligence artificielle est abordée sous deux points de vue dans le projet à travers deux domaines l’apprentissage profond et vision par ordinateur. Au premier niveau le système proposé vise la détection, l'identification, classification des gestes de la main à l'aide de modèles YOLO version 3, en utilisant deux réseaux de neurones divers. Il y a d'abord un réseau existant, alimenté par une très grande base de données. Le travail de ce réseau est une nouvelle formation pour orienter le réseau vers la tâche souhaitée. Le second est un réseau créé de toutes pièces pour le projet avec un entraînement complet. Puis on a utilisé l'algorithme de suivi centroïde pour parcourir et marquer les objets identifiés afin de suivre le mouvement de la main en fonction de temps. Le deuxième niveau du système est atteint d’utiliser la bibliothèque OpenCV pour les tâches de vision par ordinateur afin de traiter les images récupérées par Webcam comme capteur en analysant le contenu de la vidéo dans un temps réel.