Project Description

LEAP SIGN VR

Es una aplicación diseñada para el apoyo de la enseñanza de la lengua de señas colombiana (LSC) con el objetivo de que los usuarios puedan interactuar, aprender y fortalecer esta lengua con el uso del Leap Motion y a través de un conjunto de software (“Orion”, MatLab y Unity), todo esto desarrollado en un entorno de Realidad Virtual (RV).

La idea principal es que el usuario retroalimente las señas realizadas con ayuda de las gafas de realidad virtual y con el sensor Leap Motion, éste último ubicado en el visor para que el usuario tenga la posibilidad de verse las manos mientras manipula la aplicación.

Descripción

Esta aplicación se trabajó con la dactilología de la LSC, usando el Leap Motion y MatLab para capturar la posición de cada seña, los datos adquiridos son un conjunto de sistemas de coordenadas espaciales, los cuales fueron almacenados en matrices con el fin de enseñarle a una red neuronal a identificar el alfabeto de la lengua de señas. Por otro lado, se realizó un código que permitió comunicar a MatLab con Unity, para transmitirle los datos aprendidos por la red neuronal y así poder establecer un funcionamiento en los escenarios elaborados en Unity, los cuales fueron diseñados para ilustrar y evaluar la LSC, además de retroalimentar al usuario a medida que recorre los escenarios.

Finalmente, para trabajar con la aplicación el usuario deberá contar con un computador, un Leap Motion y unas gafas de realidad virtual. La aplicación retroalimentará las señas efectuadas por el usuario al mismo tiempo que se realizan, el objetivo es ayudar a las personas a comprender esta lengua.

Galería de imágenes

Más información:

johanacsramirez@gmail.com

camilosalazarguevara@gmail.com

dmrivera@pedagogica.edu.co