Projet de fin d'étude : Exploring Hybrid Deep Learning Models for Cell Instance Segmentation
Etudiant : RASSE NADYA
Filière : Master Big Data et Systèmes intelligents (BDSI)
Encadrant : Pr. RAMADAN HIBA
Annèe : 2026
Résumé : Ce projet visait à concevoir et évaluer des architectures hybrides combinant réseaux convolutifs (CNN) et transformeurs pour la segmentation d'instances cellulaires dans des images de microscopie. Au terme de ce travail, nous pouvons affirmer que les objectifs fixés ont été largement atteints, et que les résultats obtenus ouvrent des perspectives prometteuses pour l'analyse biomédicale automatisée en contexte multimodal. Sur le plan scientifique et technique, nous avons démontré l'intérêt d'associer la sensibilité aux détails locaux des CNN à la modélisation du contexte global des transformeurs. À partir du jeu de données du NeurIPS 2022 Cell Segmentation Challenge, plusieurs architectures ont été implémentées et comparées : un modèle CNN de référence (ResNet-34), un modèle transformeur de référence (MiT-B5), ainsi que des variantes hybrides testant différentes stratégies de fusion (concaténation simple, attention croisée, attention croisée à portes d'incertitude). Les résultats montrent que le transformeur reste le modèle unique le plus fiable sur le jeu de test, tandis que les hybrides apportent des gains ciblés, notamment sur les images en fluorescence, sans toutefois surpasser globalement le transformeur. D'un point de vue architectural, le système développé se distingue par son décodeur multi-tête, prédisant conjointement des cartes de probabilité, de gradient et de distance, ensuite combinées via un pipeline de post-traitement personnalisé. Les études d'efficience menées avec des backbones transformeurs allégés (MiT-B2) ont montré qu'il est possible de conserver l'essentiel de la précision hybride à moindre coût de calcul, la latence globale du système étant principalement déterminée par l'étape de post-traitement plutôt que par l'inférence du modèle. Ce mémoire conclut par des recommandations pratiques pour rapprocher les performances des approches hybrides de celles des meilleurs modèles du challenge, notamment via un routage sensible à la modalité d'imagerie et un post-traitement appris.