Dissenyen a Alacant la primera app que interpreta el 80% de la llengua de signes

El Grup de Robòtica i Visió Tridimensional (RoViT) de la Universitat d'Alacant (UA) ha dissenyat Sign4all, la primera aplicació capaç de reconéixer i interpretar en temps real el 80 % de l'alfabet de la llengua de signes espanyola (coneguda per les sigles LSE).

"Es tracta d'un avanç que contribueix a trencar les barreres comunicatives entre sords i oients en situacions tan quotidianes com anar a una consulta mèdica o menjar en un restaurant", segons ha informat la institució acadèmica.

A Espanya hi ha 1.230.000 persones amb una discapacitat auditiva de diferent tipus i grau. D'elles, 27.300 persones empren la llengua de signes per a comunicar-se.

Gràcies a l'ús de diferents tècniques de visió per computador i d'aprenentatge profund (deep learning), la doctora en Informàtica i investigadora de la UA Ester Martínez, al costat de l'estudiant de doctorat Francisco Morillas, ha desenvolupat aquesta eina de baix cost. La finalitat és poder oferir assistència a les persones sordes quan no puguen anar acompanyats d'un intèrpret.

Sign4all, després de capturar la persona i extraure el detall de l'esquelet dels braços i mans, codifica amb color blau la part esquerra del cos i en roig la part dreta, mantenint en tot moment l'anonimat de l'usuari.

A partir d'aquest moment, l'aplicació tradueix el signe utilitzat per la persona sorda en temps real i, en sentit oposat, és capaç de signar mitjançant un avatar virtual paraules en espanyol teclejades per la persona oient.

L'aplicació tradueix el signe utilitzat per la persona sorda en temps real i, en sentit oposat, és capaç de signar mitjançant un avatar virtual paraules en espanyol teclejades per la persona oient.

Mòbil o tauleta

"La idea és que tot aquest procés es puga fer després de descarregar una aplicació i utilitzar la pròpia càmera del mòbil o una tauleta perquè puga utilitzar-se en qualsevol lloc", detalla Martínez. Després de moltes proves, Sign4all "aconsegueix interpretar i reconéixer l'alfabet de la LSE amb una precisió del 80%.

"Encara que aquest resultat es correspon amb l'alfabet dactilològic, estem treballant en una versió amb un vocabulari específic pertanyent al camp de les tasques quotidianes on interpretar frases completes", afig.

L'equip de treball de la UA esta "entrenant" des de fa mesos aquest nou sistema i, de manera progressiva, introdueix cada vegada més signes. Aquest projecte ha propiciat que sorgisca una col·laboració amb el Grup d'Investigació de Llengua Espanyola i Llengües Signades (Griles) de la Universitat de Vigo, un grup amb una experiència àmplia en l'estudi d'aquesta llengua i el seu ús en diferents territoris.

"Des de la Universitat de Vigo estan recaptant imatges amb intèrprets i nosaltres estem processant totes aquestes dades. D'aquesta manera, podem ampliar molt més ràpid el vocabulari del nostre sistema de reconeixement i interpretació de l'LSE i millorar-ne el funcionament", apunta Ester Martínez.