Les chercheurs du centre d’intelligence artificielle centrée sur l’homme GrapheneX-UTS de l’université de technologie de Sydney (UTS) ont mis au point un système d’intelligence artificielle centrée sur l’homme. un système non invasif et portable qui peut décoder les pensées et les transformer en texte.
La technologie pourrait permettre à l aux personnes incapables de parler en raison d’une maladie ou d’une blessure, y compris un accident vasculaire cérébral ou une paralysie, de communiquer avec le monde extérieur. En même temps, il pourrait avoir d’autres applications, notamment permettre à l’homme et à la machine d’interagirpermettant, par exemple, à une personne de commander un bras robotisé ou un véritable robot.
La recherche a été menée par le professeur CT Lin, directeur du GrapheneX-UTS HAI Centre, avec Yiqun Duan et l’étudiant en doctorat Jinzhou Zhou de la faculté d’ingénierie et d’informatique de l’UTS.
Dans le cadre de l’étude, les participants ont lu silencieusement des lignes de texte tout en portant des lunettes de soleil. un casque qui enregistrait l’activité électrique du cerveau à travers le cuir chevelu au moyen d’un électroencéphalogramme (EEG).
L’onde EEG a ensuite été segmentée en unités distinctes afin de capturer les caractéristiques et les modèles spécifiques du cerveau humain. un modèle d’intelligence artificielle appelé DeWave développé par les chercheurs eux-mêmes. DeWave peut traduire les signaux EEG en mots et en phrases en apprenant à partir de grandes quantités de données EEG. De cette manière, le 29 participants à l’étude ont été capables de produire des phrases, affichées à l’écran, sans prononcer un mot, simplement en les pensant. C’est ce que l’on peut voir dans la vidéo suivante :
« Cette recherche représente un effort pionnier dans la traduction des ondes EEG brutes directement en langage.marquant une avancée significative dans le domaine‘, a déclaré le professeur Lin.
« le premier à incorporer des techniques de codage discret dans le processus de traduction du cerveau au texte, introduisant ainsi une approche innovante du décodage neuronal. L’intégration de grands modèles linguistiques ouvre également de nouvelles perspectives dans les domaines des neurosciences et de l’intelligence artificielle.‘, a-t-il ajouté.
La solution développée par les chercheurs met à l’épreuve des technologies telles que les appareils d’IRM – volumineux, coûteux et inutilisables dans la vie de tous les jours – et ceux impliquant des implants cérébraux comme Neuralink d’Elon Musk.
Selon les chercheurs, ces méthodes peinent également à transformer les signaux cérébraux en segments de mots sans recourir à des aides supplémentaires telles que l’oculométrie. Leur technologie, en revanche, peut être utilisée avec ou sans suivi oculaire.
Bien que le fait de capter les ondes EEG à l’aide d’un casque renvoie un signal plus bruyant, les chercheurs sont parvenus à obtenir des performances respectables, dépassant les critères de référence précédents.
« Le modèle associe plus facilement les verbes que les noms. Cependant, en ce qui concerne les noms, nous avons remarqué une tendance à associer des paires de synonymes plutôt que des traductions précises, comme « l’homme » au lieu de « l’auteur« , explique Duan.
« Nous pensons que cela est dû au fait que lorsque le cerveau traite ces mots, les mots sémantiquement similaires peuvent produire des modèles d’ondes cérébrales similaires. Malgré les difficultés, notre modèle produit des résultats significatifs en alignant les mots-clés et en formant des structures de phrases similaires‘, a-t-il déclaré.
Le taux de précision de la traduction est actuellement d’environ 40 % sur BLEU-1. Le score BLEU est un nombre compris entre zéro et un qui mesure la similarité du texte traduit automatiquement avec un ensemble de traductions de référence de haute qualité.
Chercheurs espèrent améliorer la technologie à un niveau comparable à celui des programmes traditionnels de traduction linguistique ou de reconnaissance vocale, plus proche de 90 %.
