Kinect pour l’assistance aux aveugles et malvoyants

Kinect pour l’assistance aux aveugles et malvoyants

  • 14 avr 0
kinect casque

Nous connaissons tous la Kinect de Microsoft pour les jeux que nous y jouons sur la XBOX. Cette plateforme nous permet de contrôler un personnage juste avec les mouvements du corps qui sont répliqués à l’identique à l’écran.

kinect casque

Deux étudiants en Master  »Mickaël Zöllner » et  »Stephan Huber » ont utilisé la Kinect afin d’aider les malvoyants et non-voyants dans leurs déplacements dans un espace clos( appartement, maison…). Il utilise la Kinect comme oeil et aussi le capteur de profondeur. Des tags( marqueurs) posés un peu partout dans notre espace décrive une direction. Les marqueurs peuvent être vu par la Kinect et apprécier la distance de celle-ci aux marqueurs. N’oublions pas que la Kinect est posée sur la tête du malvoyant grâce à un casque.

kinect image

Afin de faire fonctionner tous cela, l’information de profondeur est transmise à un ordinateur porté par le non voyant . Ensuite, elle est traitée par différents logiciels( pouvant être téléchargés via ces liens: MangedOpenNI et ARToolkitPlus) et envoyée à une carte Arduino qui gère 3 moteurs placés dans une ceinture autour de la taille. Il y a un moteur à gauche de notre taiile, à droite et au centre qui vibre en fonction de la position de l’obstacle  (gauche, droite ou centre). Des informations sonores sont aussi transmises à l’utilisateur en fonction des tags placés dans l’environnement lors de son déplacement afin de lui indiquer la direction à prendre. 

Une petite vidéo de démonstration ci-dessous pour expliquer tous cela en détails.

Pour plus de précisions, n’hésitez pas à cliquez sur ce lien hci.uni-contanz menant au site des universitaires. 


Écrire un commentaire


Categories