2 patients paralysés sur 3 font parler et gesticuler un avatar en même temps

Vous parlez avec les mains sans vous en rendre compte. Deux patients paralysés sur trois viennent de récupérer ces deux moitiés de la conversation en même temps, par avatar interposé : l’équipe d’Edward Chang, à l’université de Californie à San Francisco (UCSF), publie le 14 septembre 2026 dans Nature Neuroscience une neuroprothèse qui décode simultanément la parole et les gestes du haut du corps.

Concrètement, trois personnes atteintes de paralysie du tractus vocal et du corps ont reçu des matrices d’électrodes posées à la surface du cortex moteur, la technique dite d’électrocorticographie (ECoG). Un modèle d’apprentissage automatique traduit cette activité en parole et en mouvements d’un avatar de corps entier affiché sur un écran. Deux des trois participants ont réussi ce pilotage, indique le communiqué des NIH.

Le cortex moteur ne fait pas l’addition

C’est là que l’étude devient intéressante pour la suite. Les chercheurs s’attendaient à ce que les signaux d’une parole gesticulée soient la somme des signaux de la parole seule et de ceux du geste seul. Ils ne le sont pas. Malgré des recouvrements, l’image dessinée par les expressions simultanées s’est révélée très différente de celles produites séparément, rapporte le communiqué. Avec une conséquence directe sur la machine : les décodeurs entraînés sur des enregistrements d’expressions simultanées déchiffrent mieux les expressions mixtes que les décodeurs entraînés sur de la parole et des gestes isolés.

Le geste dont il est question n’est pas la marche : ce sont les mouvements du haut du corps qui accompagnent la parole, hausser les épaules, ouvrir les mains, incliner la tête. Les neuroprothèses précédentes n’en restituaient qu’une moitié. Celle que la même équipe avait présentée en 2023 animait la voix et le visage d’un avatar à partir des gestes articulatoires de la bouche, à 78 mots par minute sur un vocabulaire de 1 024 mots. Tenir les deux dans le même flux suppose de démêler, dans un seul enregistrement, ce qui relève de la bouche et ce qui relève du bras.

« La conversation, c’est bien plus que les mots prononcés. C’est un processus dynamique et à plusieurs couches, qui engage l’ensemble du cortex moteur », déclare Edward Chang, professeur de neurochirurgie à l’UCSF, dans le communiqué. Le laboratoire présente son résultat comme une démonstration de faisabilité, pas comme un dispositif prêt à l’emploi.

La chaîne de neurochirurgie de l’UCSF montre en vidéo le principe de cet avatar piloté depuis le cortex.

Cinq patients en sept ans

Le décompte remet l’annonce à sa taille. La lignée d’implants ECoG posés chez des patients paralysés tient en trois essais publiés : un homme de 28 ans à Clinatec, à Grenoble, qui pilotait un exosquelette par la pensée avec deux matrices de 64 électrodes en 2019 ; une participante à l’UCSF en 2023 ; et les trois patients de 2026. Cinq patients implantés en sept ans. Deux patients sur trois ont piloté un avatar en parlant et en gesticulant en même temps (UCSF, Nature Neuroscience, 14 septembre 2026), quand la neuroprothèse française de Clinatec faisait marcher un unique patient en exosquelette en 2019.

Ce qui sépare encore le labo du salon

Le système testé à San Francisco est filaire : les capteurs implantés sont reliés à des unités de traitement externes, ce qui interdit l’usage quotidien hors du laboratoire. L’implant grenoblois, lui, transmettait déjà ses signaux sans fil en 2019, mais pour commander un exosquelette et non une voix.

Les travaux sont soutenus par les NIH, via l’institut national dédié à la surdité et aux troubles de la communication (NIDCD), dont la directrice Debara Tucci dit espérer que les patients atteints de paralysie sévère pourront à l’avenir retrouver la nature globale de la communication humaine.

Reste le tiers manquant : l’un des trois participants n’a pas obtenu le contrôle de l’avatar, et le communiqué ne publie aucun score de précision pour ce nouveau dispositif. Le résultat décrit ce que le cortex moteur émet, pas encore ce qu’un utilisateur en ferait à table ou au téléphone. Il rejoint une série de travaux qui décrivent un cerveau moins hiérarchique qu’on ne le croyait, comme ce modèle sans décideur unique.

L’équipe annonce l’étape suivante : une version entièrement implantable et sans fil, qu’Edward Chang dit vouloir mettre à l’essai prochainement.

Article créé en collaboration avec l’IA.