Profil du membre

Modelisation du contexte pour le support au raisonnement spatial en realite mixte

Mes travaux portent sur la réalisation d’un système de reconnaissance contexte en réalité augmentée / mixte. Face au défi de l'adaptation automatique des services aux contextes d'utilisation en RM, j'explore l'exploitation des données de capteurs RGB-D intégrés aux casques HoloLens 2 pour extraire la topologie par l’identification des objets présents dans la scène et les relations existant entre eux. Mon approche combine l'apprentissage profond - notamment les réseaux de neurones convolutionnels (CNN) - avec des techniques de représentation sémantique formelle. J'utilise le langage OWL pour modéliser une taxonomie de l'environnement qui structure les informations contextuelles. Cette représentation formelle permet par la suite d'associer un moteur de raisonnement capable d'inférer des actions contextuelles pertinentes. Par exemple, après la préparation d'un repas, lorsque le système détecte dans l’espace de cuisine des ustensiles sales sur le plan de travail, des ingrédients non rangés et des surfaces non propres, le moteur peut automatiquement déduire qu'une phase de nettoyage et de rangement est nécessaire. Il peut alors guider l'utilisateur en surlignant visuellement les objets à ranger (à leurs emplacements dédiés), afficher des rappels de bonnes pratiques d'hygiène, ou proposer des techniques de nettoyage adaptées au type de surface détecté. Le système peut également reconnaître les habitudes de rangement de l'utilisateur pour personnaliser ses suggestions et s'adapter à l'organisation spécifique de chaque cuisine.