Récemment, je suis me retrouvé à jouer à la table d’une petite fille sourde. La partie de 7 familles qui s’en est suivie fut très sympathique, et je me suis pris au jeux d’essayer moi aussi de signer les familles (cerf, hérisson, papa, fille…).
De retour chez moi, cela m’a interrogé sur ce que l’informatique peut apporter à ce handicap. Je vais vous montrer ici une petite solution qui pourra peut être un jour vous aider aussi.
Apprendre une langue par IA:
On trouve aujourd’hui pas mal de d’applications ou de sites qui vendent des formations IA pour apprendre une langue étrangère. On en trouve aussi avec des avatars qui nous donnent l’impression d’échanger avec une vraie personne et j’avoue qu’elles sont peu chères et plutôt bien réalisées. Mais pour ce qui est de la langue des signes, c’est presque le néant.
Plusieurs projets d’études ont étés lancés pour comprendre les signes et les traduire en temps réels. Le tout dernier est celui de l’INRIA nommé Sign To Kids qui vient à faciliter l’apprentissage du langage des signes via des avatars 3D et à permettre une traduction vers le français en utilisant l’IA. Pour l’heure, il n’en est malheureusement qu’à ses balbutiements.
Ma solution:
Le dictionnaire le plus complet que j’ai trouvé est celui d’ELIX et il propose déjà beaucoup de termes. Mon idée était donc de donner une phrase à l’outil, qu’il la convertisse en une expression plus simple (en supprimant les articles, les prépositions…) via ChatGPT. Ensuite, de découper la phrase en mots, et pour chaque mot d’aller récupérer les vidéos sur Elix. Enfin, une sélection des expressions les plus en adéquations avec nos propos nous permettraient de générer une séquence d’images à reproduire. En quelques heures, j’ai pu établir un POC (proof of concept), et je vous donne le résultat ici:
https://app.screencastify.com/v3/watch/0GCCjYSruVYewm00rdQ0
Conclusion:
Comme vous pouvez le voir, les blocs bleus permettent d’affiner les expressions, et le dernier bouton de visualiser la séquence complète des vidéos. A titre personnel, je vais donc essayer de reproduire cette séquence en vidéo, et de la transmettre à sa mère. J’espère qu’elle va comprendre mon message (signer nécessite une vraie copie du langage corporelle, et je n’en ai jamais fait), mais j’ai bon espoir. Réponse dans quelques jours 🙂
PS: pour l’instant, vu que je n’ai pas l’accord d’ELIX, je ne préfère pas rendre mon code open source.
