¿Qué es Speech&Signs?
Es un proyecto de investigación financiado por el Ministerio de Ciencia e Innovación que busca avanzar en el entendimiento de la comunicación gestual y signada mediante inteligencia artificial.
La lengua de signos es el ejemplo más extremo de este tipo de comunicación así que nos hemos centrado en este tema convirtiéndolo en una prioridad en nuestra investigación.
Te contamos más detalles en el vídeo (LSE, castellano y gallego).
Colaboramos
con la comunidad sorda
La lengua de signos española (LSE) está legalmente reconocida desde 2007 y la practican más de 100.000 personas. Entender todos los detalles comunicativos y poder codificarlos en algoritmos de inteligencia artificial requiere la colaboración con las personas que conocen la lengua mejor que nadie: la comunidad sorda.
Te contamos más detalles en el vídeo (LSE, castellano e inglés).
Investigación aplicada
Nos encanta la investigación y nos gusta aplicarla para resolver problemas reales. ¿No os gustaría poder comunicaros con una persona sorda usando vuestro smartphone?
Nuestra investigación apunta hacia ahí, pero mientras no llegamos hacemos cosas útiles como crear un diccionario accesible con lengua de signos. Como nos hemos centrado en términos médicos le llamamos SignaMed.
Te contamos más detalles en el vídeo (LSE, castellano y gallego).
¿Quienes somos?
Somos un equipo multidisciplinar formado por personas que investigan, enseñan y estudian en la Universidade de Vigo. Algunas formamos parte del Grupo de Tecnologías Multimedia GTM del Centro de Investigación en Tecnologías de Telecomunicación atlanTTic, y somos expertas en procesado de vídeo, tecnologías de voz y aprendizaje máquina. Otras formamos parte del Grupo de Gramática Discurso y Sociedad GRADES, y somos expertas en lengua de signos, desde una perspectiva sociodiscursiva y funcional.
Con la ayuda de las asociaciones de personas sordas de Vigo Asorvigo y Pontevedra APXP, la Federación de Asociaciones de Personas Sordas de Galicia FAXPG y el Centro de Normalización Lingüística de la Lengua de Signos Española CNLSE estamos trabajando para derribar las barreras de comunicación entre personas sordas y oyentes.
Investigación multidisciplinar y diversa
Actividades realizadas
Te mostramos las principales actividades de investigación, desarrollo y difusión realizadas a lo largo del proyecto. Para saber más detalles abre las cajas…
1.
Reconocimiento de signos manuales
La componente principal de la lengua de signos se realiza con la configuración y movimiento de manos y brazos…y ¡a mucha velocidad! Descubre aquí qué hemos hecho para empezar a reconocer los signos de forma automática.
2.
Reconocimiento de expresiones faciales gramaticales
Las expresiones faciales comunican mucha información: desde emociones hasta contexto del mensaje. En la lengua de signos las expresiones faciales son una componente no manual fundamental para entender bien el mensaje. Descubre aquí lo que hemos hecho para empezar a rascar la superficie del problema.
3.
Recolección de videos en lengua de signos española
Cualquier proyecto de investigación relacionado con tratar de imitar al cerebro humano en una de sus múltiples capacidades necesita de ejemplos de los que aprender. Este proyecto dedica mucho esfuerzo a adquirir videos de personas signando. Entra y mira todo lo que hemos hecho… ¡a pesar de la pandemia!
4.
Aplicaciones prácticas
Investigar cómo resolver problemas es la base del progreso humano, pero además a nosotros nos gusta demostrar que lo que investigamos lo podemos llevar a la práctica y ofrecer soluciones, al menos en un estado incipiente.
5.
Difusión y colaboración
Hasta iniciar este proyecto no sabíamos lo rica y apasionante que es la lengua de signos. La colaboración con la comunidad sorda esá siendo fundamental para poder avanzar en el entendimiento de este problema y para explorar vias de investigación colaborativa. Aquí te contamos qué hemos hecho y cuales son nuestros planes futuros.
6.
Concursos internacionales para competir con otros investigadores
La competencia sana incentiva la creatividad y el avance, en este caso, tecnológico. Nuestro equipo ha participado en una competición internacional y ahora está organizando otra. Mira lo bién que nos ha ido en la primera y lo difícil del reto que estamos planteando en la segunda.
Noticias
Aquí tienes algunas noticias relevantes sobre el proyecto que te pueden interesar…
Abr’22: La Fundación Española para la Ciencia y la Tecnología (FECYT) nos ha concedido una subvención en 2022 para realizar el proyecto de ciencia ciudadana SignaMed: diccionario colaborativo multiplataforma de términos médicos y de salud accesibles en lengua de signos española, para el que solicitaremos la paricipación y colaboración de la comunidad sorda.
Mar’22: Vamos a celebrar un workshop en la prestigiosa conferencia europea sobre visión por computador (ECCV). En dicho workshop colaboramos con la Universidad de Oxford y la Universidad de Barcelona. Además vamos a organizar un reto científico internacional sobre reconocimiento de lengua de signos y los resultados se presentarán en el ECCV.
Nov’21: Premio «Proyecto revelación» en el forum RIES’21 sobre la digitalización en el sector salud, por la aplicación SignaMed, una prueba de concepto para buscar y aprender términos médicos en lengua de signos española.
Sep’21: Premio al mejor trabajo de tesis en progreso para Manuel Vazquez Enríquez en la conferencia GoodIT’2021 por su trabajo «Deep learning and collaborative training for reducing communication barriers with deaf people».
Colabora con Speech&Signs
Agradecimientos
Este proyecto se desarrolla gracias a la participación de las siguientes entidades
Financiadores
El Ministerio de Ciencia e Innovación ha financiado este proyecto con fondos FEDER en la convocatoria de 2018 de Retos Investigación.
El código del proyecto es RTI-2018-101372-B-100.
Además el Centro de Investigación atlanTTic ha proporcionado soporte con personal de comunicación que ayuda con las redes sociales y personal de apoyo de sistemas informáticos.
Colaboradores
La participación de varias entidades relacionadas con la Lengua de Signos Española merece un agradecimiento especial:
Gracias a Asorvigo por dejarnos usar sus instalaciones para las grabaciones y conseguir personas voluntarias.
Gracias a FAXPG por apoyar el proyecto, proporcionar asesoramiento y facilitarnos excelentes profesores de LSE para el grupo de investigación.
Gracias al CNLSE por las interesantes discusiones, por grabar signos para el diccionario SignaMed y por difundir el proyecto.
Gracias a la empresa EnLinguaDeSignos por hacer un trabajo tan profesional y asesorarnos en la comunicación con la comunidad sorda.