Tesis doctoral 

Las personas sordomudas (D-M) son una parte integral de la sociedad, y es particularmente importante brindarles una plataforma para poder comunicarse sin necesidad de ningún tipo de formación o aprendizaje. Estos individuos D-M, que dependen del lenguaje de señas, para una comunicación efectiva esperan que otros puedan entender el lenguaje de signos. Aprender el lenguaje de signos es un desafío para quienes no tienen ninguna discapacidad. En la práctica, los D-M se enfrentan a dificultades de comunicación principalmente porque otros, que generalmente no conocen el lenguaje de signos, no pueden comunicarse con ellos. Esta tesis presenta una solución a este problema a través de (i) un sistema que permite a los no sordomudos (ND-M) comunicarse con los individuos D-M sin la necesidad de aprender el lenguaje de signos, y (ii) gestos con manos en diferentes idiomas. Los gestos con las manos de las personas D-M se adquieren y procesan mediante aprendizaje profundo (Deep Learning, DL), y el soporte de múltiples idiomas se logra mediante aprendizaje automático supervisado (Machine Learning, ML). Las personas D-M cuentan con una interfaz de vídeo donde se adquieren los gestos de las manos y una interfaz de audio para convertir los gestos en voz. El habla de las personas ND-M se adquiere y se convierte en texto e imágenes de gestos con las manos. El sistema es fácil de usar, de bajo costo, confiable, modular y está basado en un dispositivo de movimiento de salto (LMD) comercial disponible (COTS). Se crea un conjunto de datos de ML supervisado que proporciona comunicación en varios idiomas entre las personas D-M y ND-M, que incluye tres conjuntos de datos de lenguaje de signos: lenguaje americano (ASL), lenguaje paquistaní (PSL) y lenguaje español (SSL). El sistema propuesto ha sido validado a través de una serie de experimentos, donde la precisión de detección de gestos con las manos del sistema es superior al 90% para la mayoría de ellos, mientras que para ciertos escenarios, se sitúa entre el 80% y el 90% debido a las variaciones en los gestos con las manos entre diferentes personas D-M.

Palabras clave

Personas sordomudas. Reconocimiento de gestos. Procesado multilingüe. Lenguaje de signos. Aprendizaje máquina supervisado (ML supervised). Reconocimiento de voz.