Intégrer les objets physiques

dans les interactions en réalité augmentée et mixte

Présentation

Avec la démocratisation de la réalité augmentée et en particulier des casques, un des enjeux est de définir la façon dont on va interagir avec cette nouvelle interface. Ce projet de thèse doctorale a pour but d’explorer des nouvelles interactions homme-machine pour la réalité augmentée en intégrant les objets physiques. Les travaux sont effectués par l’étudiant doctorant Richard Nguyen et supervisés par l’enseignant-chercheur Charles Gouin-Vallerand, professeur au département d’Informatique de l’Université de Sherbrooke.

L’objectif est de coupler les interactions homme-machine et les techniques d’intelligence artificielle pour concevoir des interactions naturelles dans la situation où les mains de l’usager sont occupés par des outils par exemple. Un des aspects à travailler pendant les recherches est de réfléchir sur comment sortir du paradigme des interfaces utilisées actuellement qui sont adaptées aux écrans 2Ds et d’utiliser pleinement ce qu’offrent les interactions en 3D.

Profil de l'utilisateur final de ce projet

Un ouvrier de maintenance qui nécessite de l’assistance dans ces tâches comme par exemple l’assemblage ou la maintenance.

Description générale des sujets de recherche:

Le principal objectif est d’intégrer les objets physiques dans les interactions en réalité augmentée. On peut décomposer cela en trois axes principaux:

Utiliser les objets comme effecteurs d’interactions
Concevoir et implémenter des gestes interactifs qui prennent en compte la présence d’un objet en main
Changer les interactions en fonction de l’objet en main comme les gestes possibles, les fonctionnalités associés ou encore la spatialisation de l’interface

L’implémentation de ces différents concepts nécessitent le suivi de la main en temps réel ainsi que de la reconnaissance voire du suivi en temps réel de l’objet utilisé. La plupart des casques de réalité mixte modernes propose une interface qui fournit la position des joints des doigts en temps réel. Cependant, un défi important de ce projet est le problème de l’occlusion de la main par l’objet utilisé par l’usager ce qui pose problème pour la récupération de la position des mains.

Pour la reconnaissance de l’objet, il existe plusieurs pistes comme par exemple la plus populaire qui consiste à entrainer un réseau de neurones sur une banque d’image labellisée, ce qui permet à l’algorithme de classifier des images en couleurs dans des catégories d’objets . On peut également envisager d’utiliser la forme de la prise de la main pour inférer des informations sur l’objet utilisé comme sa forme ou même le type d’objet qu’il s’agit selon le contexte d’utilisation.