Una donna rimasta paralizzata e incapace di parlare 18 anni fa in seguito ad un ictus è tornata a parlare e a trasmettere emozioni attraverso un avatar, che si esprime con la sua stessa voce e le somiglia un po’.
Questo importante passo avanti per le neuroscienze e l’intelligenza artificiale, descritto in uno studio su Nature, è stato possibile, dal punto di vista “tecnico”, grazie ad elettrodi attaccati allo scalpo della paziente, che decodificano i segnali cerebrali e li convertono in linguaggio scritto e parlato, pronunciato sullo schermo di un computer dall’alter ego digitale della donna.
È la prima volta che è possibile sintetizzare il suono delle parole e le espressioni del volto direttamente dall’attività cerebrale.
Come funziona l’impianto. Ann Johnson, insegnante, pallavolista e madre di Saskatchewan, Canada, riesce oggi a produrre semplici frasi al ritmo di 78 parole al minuto e a intavolare brevi conversazioni con il marito grazie alla tecnica dell’elettrocorticografia, la lettura dell’attività elettrica del cervello prodotta quando la donna pensa di formulare parole o espressioni del volto.
A rilevare i segnali è una griglia di elettrodi posizionati direttamente a contatto della sua corteccia cerebrale. L’impianto è connesso attraverso un cavo a un computer, dove un sofisticato sistema di IA interpreta l’attività elettrica relativa alla formulazione del linguaggio e ai processi motori di bocca, labbra, mascelle, lingua e laringe e la tramuta nei fonemi (gli elementi sonori) che compongono le varie parole, «come un alfabeto dei suoni parlati», ha spiegato al New York Times David Moses, direttore del progetto coordinato dall’Università della California a San Francisco (il testo prosegue dopo il video).
[embedded content]
Scambi sempre più ricchi. Il sistema, che al momento si sbaglia sul suono che Ann intende emettere circa un quarto delle volte, sfrutta modelli di predizione del linguaggio per provare a immaginare le parole che la paziente inserirà nelle sue frasi; non solo, migliora con il tempo, mano a mano che affina il riconoscimento dello stile linguistico della donna. L’obiettivo a lungo termine è aiutare le persone private delle capacità di espressione linguistica – da danni cerebrali o condizioni come la paralisi cerebrale o la sclerosi laterale amiotrofica – ad avere conversazioni in tempo reale, sfruttando avatar capaci di veicolare anche le loro emozioni, le increspature dei muscoli facciali, il loro tono e l’inflessione della voce.
Questa sono io, e quella è la mia voce. Ann Johnson ha scelto la propria immagine digitale personalmente, basandosi sulle sembianze del volto, e i ricercatori hanno usato il discorso pronunciato dalla donna al matrimonio col marito per sviluppare la voce dell’avatar.
Le prossime versioni della piattaforma potrebbero funzionare via wireless. Del resto la tecnologia in questo campo avanza rapidamente. Soltanto due anni fa, lo stesso gruppo di scienziati aveva usato un impianto e un algoritmo più semplici per aiutare un uomo paralizzato, soprannominato Pancho, a produrre 50 parole basilari come “ciao”, e “pane”, mostrate in forma testuale sullo schermo di un computer mentre l’uomo provava a pronunciarle. La griglia di elettrodi più ampia e complessa di Johnson permette una lettura molto più raffinata dei segnali cerebrali, mentre il nuovo algoritmo è specializzato nella produzione di una conversazione parlata.
Più in profondità. Sempre su Nature sono stati appena pubblicati i risultati di un altro esperimento del team, che ha provato a impiantare elettrodi in una parte più profonda del cervello di un paziente, per captare l’attività cerebrale con una precisione che arriva al singolo neurone. Un metodo più “fine” ancora, ma anche meno stabile, perché il modo in cui i singoli neuroni scaricano può cambiare nel tempo.
Il buio e la rinascita. Da settembre 2022 Ann e il marito hanno affrontato periodicamente viaggi di tre giorni (autofinanziati) dal Canada alla California, in un van convertito per ospitare una sedia a rotelle per permettere alla donna di partecipare allo studio. L’obiettivo di Johnson è aiutare altre persone sopravvissute a traumi come il suo a riorganizzare la propria vita. Magari diventando consulente, e parlando ai suoi clienti in questa sua nuova, sorprendente lingua.
