Contexte

Dans le cadre d'un projet portant sur l'étude de l'analyse des visage par des non voyant par rapport à des voyant. J'ai du réaliser durant un stage des masques émotionnels basés sur ceux crées par une artiste canadienne, Melody Anderson. Les masques originaux, en exemplaires uniques et en papier mâché, étaient trop fragiles pour être transportés. Le projet s’est donc basé sur la photogrammétrie pour reconstruire des modèles 3D de ces masques de théâtre. J’ai assuré avec la retopologie sous Blender de l’ensemble des masques émotionnels, la modélisation d’une armature de renfort, la gestion des rapports poids/prix/résistance ainsi que la coordination avec l’équipe qui s’est chargée de l’impression 3D SLS [Lycée Polyvalent Aragon-Picasso]. Ces masques émotionnels sont destinés à être exploré avec les mains par des personnes aveugles ou ayant les yeux bandés.

Problème : Analyse

L'exploration de ces masques, a été filmé et il étaient nécessaire d'analyser ces vidéos. L'objectif étant de d'obtenir/concentir/extrait des ces vidéos un tableau décrivant la position de chaques doigts dans le temps. Un travail que je me devait de faciliter.

Solution : GridFace

Une application permettant l’analyse et le codage comportemental des vidéos des mains explorant ces masques en relief. Le but de cette application est d’exporter la séquence d’exploration manuelle sous forme de tableau permettant ensuite le traitement des données et les analyses statistiques des zones d’intérêt explorées par les participants.

Fonctionnement

Interface

L'interace se sépare en deux partie :

  • à gauche la vidéo : les menu pour charger une vidéo, les controles pour naviguer dans la vidéo et un visuel de la vidéo à l'instant t
  • à droite la grille : la grille dont les cellules indique la présences ou l'abscence d'un doigts et en fond un visage neutre créé à partir d'un morphing d'une centaine de visage

Après avoir charger une vidéo, l'analyste peut avancer ou reculer dans la vidéo image par image ou d'un pas de 5 images par défaut mais qui devra être configurable dans une future version.

Chaque fois qu'il affiche un instant t de la vidéo, la grille à droite se remplie des positions de doigts connu ou reste vide.

Grille

En cliquant dans une des celllule en maintenant enfoncé une des touche associé à un doigt, on assigne à l'instant t, le doigt selectionné à la cellule concernée.

Video

L'analyste peut utiliser les flèches de son clavier ou la timeline pour naviguer dans la video

Il peut aussi modifier la vue de l'image actuelle : zoom, décalage

Plusieurs raccourci sont ajouté au fur et à mesure des retours de l'équipe de chercheur comme par exemple la possibilité de copier la position des doigt à l'image suivant lorsque ceux la majorité de ceux-ci sont rester fixe et de modifier uniquement les concerné.

Unity ?

L’interface avait besoin d'être améliorer en fonction des retours des enseignants-chercheurs.

Donc bien que GridFace soit une application 2D, ce qui a motivé mon choix d'utiliser unity, (généralement destinné au développement de jeux), c’est ma familiarité avec l’outil et les composants qu’il offre qui m’ont permis d’être plus réactif pour ce projet.

Outils

  • Moteur : Unity3D
  • Languages : C#

Contraintes

  • Tableau : .csv
  • Vidéo : .mp4

Evolution