« Lorsque nous abordons pour la première fois la langue des signes, nous apprenons que chaque lettre de l’alphabet italien a un signe correspondant. De même, chaque mot du dictionnaire italien a un signe correspondant. Cependant, comme chaque langue a ses propres règles grammaticales, la langue des signes italienne doit également suivre certaines règles qui sont complètement différentes de celles du langage naturel italien. Il s’ensuit que la traduction d’une affirmation de l’italien vers la langue italienne des signes ne se fait pas en mettant successivement les signes des mots de l’affirmation. Au contraire, on observe habituellement une non-correspondance entre les mots de l’affirmation et les signes impliqués dans la traduction respective, ainsi que dans leur disposition ».
Ceci est la préface de nos chercheurs à l’un des plus importants projets sur lesquels nous travaillons et sur lequel nous travaillons : le premier avatar qui connaît la langue des signes italienne.
Une étape décisive pour améliorer l’accès au monde physique et numérique en améliorant l’expérience phygital, même pour les personnes sourdes. Un projet à plusieurs mains impliquant le Fab Lab de l’Université de Sienne et le laboratoire LaCAM (Language and Communication Across Modalities) de l’Institut des Sciences et Technologies de la Cognition du Conseil National des Recherches, avec la collaboration externe dugroupe SILIS (Groupe pour l’étude et l’information de la langue des signes italienne). L’objectif est de rendre les services et les informations accessibles à la collectivité, sans exception. Une fois de plus, l’intelligence artificielle de QuestIT est le précurseur d’une révolution numérique.
Le projet
Le projet comportait trois phases différentes, chacune d’entre elles impliquant un algorithme de machine learning différent pour sa résolution et, par conséquent, une stratégie d’entraînement différente:
- Reconnaissance du signe statique
- Reconnaissance continue de signes
- Traduction d’une affirmation de la langue des signes vers la langue naturelle et vice versa.
Une phrase dans la langue des signes est caractérisée par une séquence de signes, dont chacun implique, outre le mouvement des doigts, des mains et des bras, la position de la bouche, des sourcils et, en général, de toute la posture du corps et de la mimique faciale.
L’objectif de ce projet était de créer un Assistant Virtuel Humanoïde (Artificial Human) capable de générer toutes ces conditions qui, par conséquent, comprendrait les demandes et, une fois la réponse traitée (grâce à l’utilisation d’Algho) la traduisit du langage naturel à la langue des signes italienne.
La structure du jeu de données que nous sommes en train de créer pour la langue des signes italienne est plus riche que celles existantes car chaque clip est associé à sa traduction et à une séquence de « gloses », chacune comportant des informations sur la mimique faciale comme les lèvres, la position des sourcils, la position de la tête, la posture du corps, l’espace où les mains se positionnent pour marquer etc. L’introduction de cette information aide l’algorithme à améliorer la qualité de la traduction plus qu’actuellement le mot unique associé au signe peut faire.
Une évolution de l’accessibilité numérique
Pour la première fois, l’Intelligence Conversationnelle Artificielle a été formée (avec les technologies de Machine translation et Neural sign language translation) pour comprendre et parler la Langue des Signes italienne.
Un avatar à l’apparence humaine va acquérir la séquence de signes en la transformant en langage naturel et capable de prendre les positions corporelles appropriées pour véhiculer un mot/phrase particulier.
Cette technologie intégrée à vos logiciels vous permettra de trouver les informations plus rapidement et d’assurer une assistance immédiate même aux clients/citoyens sourds.
En outre, inséré par exemple dans un totem interactif, il peut également fournir une assistance au sein d’une succursale bancaire ou au guichet d’une commune afin de garantir une assistance adéquate et immédiate.
En savoir plus sur le premier humain artificiel à connaître le LIS
