Richard Nguyen

Je me place pour ce projet de recherche dans le contexte de l’aide à la tâche d’assemblage en milieu industriel. Dans ce projet qui croise les interactions humain-machine et l’intelligence artificielle, je réponds à trois questions :

• Quelles sont les exigences et les limitations techniques pour implémenter des interactions en réalité mixte qui intègrent des objets physiques en main ?
• Comment les objets physiques dans les mains peuvent s’intégrer et/ou compléter les interactions actuelles en réalité mixte ?
• Quelles sont les bonnes et mauvaises pratiques pour concevoir des interactions POST-WIMP qui incluent un objet dans les mains ?

Pour répondre à ces questions, j’ai deux objectifs qui décrivent un changement de l’interaction avec la réalité mixte impliquant un objet physique en main. Le premier objectif est de prendre en considération l’objet en main dans les interactions actuelles avec les mains (suivi en temps réel et reconnaissance de geste). La limitation principale pour atteindre cet objectif est l’occlusion entre la main et l’objet. Le second objectif est d’associer différents comportements sur l’application selon l’objet dans la main reconnu : les gestes autorisés, les fonctionnalités déclenchées et les interfaces utilisateur; selon l’outil utilisé et ses propriétés. Par exemple, lorsque l’utilisateur utilise un pinceau, un menu de couleur s’affiche et lui permet de changer la couleur d’un hologramme en peignant sa surface.

Ces deux objectifs nécessitent la création de données annotées pour l’entraînement des algorithmes d’apprentissage et l’évaluation des interactions implémentées dans des scénarios pratiques pour déterminer l’utilisabilité et l’utilité de ceux-ci.