Ma thèse de doctorat en informatique a pour but d’intégrer les objets physiques dans les interactions avec les mains et le contenu virtuel affiché dans les casques de réalité mixte pour sortir du paradigme WIMP (Window, Icon, Menu, Pointer) que l’on connaît sur les ordinateurs traditionnels.
Je me place pour ce projet de recherche dans le contexte de l’aide à la tâche d’assemblage en milieu industriel. Dans ce projet qui croise les interactions humain-machine et l’intelligence artificielle, je réponds à trois questions :
Pour répondre à ces questions, j’ai deux objectifs qui décrivent un changement de l’interaction avec la réalité mixte impliquant un objet physique en main. Le premier objectif est de prendre en considération l’objet en main dans les interactions actuelles avec les mains (suivi en temps réel et reconnaissance de geste). La limitation principale pour atteindre cet objectif est l’occlusion entre la main et l’objet. Le second objectif est d’associer différents comportements sur l’application selon l’objet dans la main reconnu : les gestes autorisés, les fonctionnalités déclenchées et les interfaces utilisateur; selon l’outil utilisé et ses propriétés. Par exemple, lorsque l’utilisateur utilise un pinceau, un menu de couleur s’affiche et lui permet de changer la couleur d’un hologramme en peignant sa surface.
Ces deux objectifs nécessitent la création de données annotées pour l’entraînement des algorithmes d’apprentissage et l’évaluation des interactions implémentées dans des scénarios pratiques pour déterminer l’utilisabilité et l’utilité de ceux-ci.
A venir