resumen del proyecto

Este proyecto profundiza en la investigación y el desarrollo de técnicas que permitan allanar el camino hacia una plena comprensión y explotación de los canales de comunicación verbal y no verbal que utilizan la expresión facial, el lenguaje corporal y la expresividad de las manos como sus fuentes de señales. 

La comunicación no verbal puede definirse como la transferencia e intercambio de mensajes en todas y cada una de las modalidades que no implican palabras. Las modalidades son tan diversas como las expresiones faciales, los gestos y los movimientos corporales, las locuciones no verbales y el comportamiento en el espacio interpersonal. La mayoría de los avances de investigación realizados por los ingenieros en torno a estas modalidades tenían por objeto mejorar la interacción entre el hombre y la computadora y la computación afectiva, por lo que hay grandes resultados de investigación sobre el reconocimiento de gestos y expresiones faciales de emoción. Sin embargo no existen resultados al mismo nivel respecto a la expresividad comunicativa.

Las lenguas de signos se basan en la gran variabilidad de gestos realizables con las manos, acompañados con movimientos del tronco, cabeza y expresividad facial. Como lengua completa tiene una gramática visual, por lo que muchas de las técnicas desarrolladas para las aplicaciones de reconocimiento de gestos y del habla se están empezando a aprovechar para el reconocimiento de la lengua de signos (RLS). Pero todavía queda mucho camino por recorrer para llegar a un entendimiento automático completo de la lengua de signos.

objetivo general

El objetivo general del proyecto es desarrollar nuevos algoritmos, sistemas y conjuntos de datos, basados en el procesamiento de vídeo y del lenguaje, y en técnicas de aprendizaje automático, para extraer información multimodal que permita decodificar los canales de comunicación verbal y no verbal de las lenguas habladas y de signos.

equipo

El equipo está formado por miembros del Grupo de Tecnologías Multimedia (GTM) y del grupo Gramática, Discurso y Sociedad (GRADES) de la Universidad de Vigo. Además colaboran intérpretes de lengua de signos, las asociaciones de sordos de Vigo y Pontevedra, la federación gallega de asociaciones de sordos (FAXPG), el Centro de normalización lingüística de la lengua de signos española (CNLSE) y la empresa ELDS de interpretación y grabación de vídeos.

resultados esperados

Este proyecto tiene dos tipos de resultados tangibles. En el ámbito académico, se desarrollan nuevos modelos de reconocimiento de signos y expresiones faciales. Además se compilan nuevas Bases de Datos de vídeos que permiten continuar la investigación de las lenguas de signos en proyectos venideros y compartir información con otros grupos de investigación trabajando en el mismo tema. En el ámbito socio-económico se inician desarrollos prácticos dirigidos a facilitar la comunicación entre las personas sordas y oyentes.

Claudia signando