Google ha dado un paso importante hacia la accesibilidad con el lanzamiento de un modelo de inteligencia artificial que traduce el lenguaje de señas a texto. La tecnología, denominada SL2T (sign-language-to-text), está disponible inicialmente en los teléfonos Pixel 11 para el idioma American Sign Language (ASL).

El sistema permite a los usuarios escribir mensajes, buscar en internet y comunicarse con el asistente Gemini utilizando únicamente señas, sin necesidad de voz ni teclado. Además, en la herramienta Live Transcribe, los usuarios pueden responder en conversaciones usando su lengua de señas nativa.

Cómo funciona y protege la privacidad

A diferencia del dictado por voz, la traducción del lenguaje de señas presenta desafíos particulares. La información se transmite no solo con las manos, sino también con expresiones faciales, movimientos de cabeza, brazos y torso. El modelo SL2T aborda este problema combinando visión computarizada y procesamiento de lenguaje.

El sistema utiliza el modelo MediaPipe Holistic para identificar puntos de referencia en el cuerpo de la persona que signa. Estas coordenadas geométricas reflejan los movimientos de manos, rostro y cuerpo, y son los únicos datos que se envían para la traducción. El video original se elimina de inmediato, protegiendo la privacidad de los usuarios.

La compañía asegura que el modelo está diseñado para funcionar en tiempo real, con baja latencia, y ha mejorado la precisión en usuarios zurdos o que utilizan solo una mano.

Entrenamiento con más de 100.000 horas de datos

El sistema fue entrenado con más de 100.000 horas de datos de lenguaje de señas, abarcando más de 50 idiomas. Un cuarto de este corpus corresponde al ASL. Google informa que el modelo alcanzó una puntuación "zero-shot" de 70 BLEURT en la evaluación con el estándar FLEURS-ASL, superando ampliamente los resultados previos.

Participación de la comunidad sorda

Durante el desarrollo, Google involucró activamente a usuarios sordos y organizaciones especializadas, que participaron desde la recolección y evaluación de datos hasta la validación final del modelo. Un comité asesor conformado por expertos sordos acompañó el avance del proyecto.

El despliegue inicial ofrece traducción de ASL a inglés en Gboard y Live Transcribe para dispositivos Pixel 11. Google planea ampliar la compatibilidad a otros equipos y lenguajes de señas, y prevé que la tecnología evolucione hacia aplicaciones adicionales, como la generación automática de lenguaje de señas.

(Con información de Infobae)