Inteligența artificială poate transforma semnalele creierului în vorbire. Cum funcționează tehnologia

Inteligența artificială poate reconstrui cuvinte rostite de alte persoane pornind de la semnalele înregistrate direct din creierul unui ascultător. Cercetătorii de la Columbia University au demonstrat această posibilitate prin combinarea unui sistem de inteligență artificială cu un sintetizator vocal, obținând o voce artificială suficient de clară pentru ca ascultătorii să recunoască numeroase dintre cifrele reproduse. Descoperirea reprezintă un pas important în dezvoltarea interfețelor creier-computer, tehnologii care ar putea facilita comunicarea persoanelor ce și-au pierdut capacitatea de a vorbi.

Experimentul, descris într-un studiu publicat în 2019 în revista științifică Scientific Reports, a utilizat activitatea neuronală a unor pacienți cu epilepsie în timp ce aceștia ascultau vorbirea altor persoane. Sistemul a reușit să reconstruiască sunete inteligibile din semnalele cortexului auditiv, regiunea cerebrală implicată în procesarea informațiilor sonore. Totuși, tehnologia nu a demonstrat capacitatea de a citi liber gândurile sau de a transforma orice idee imaginată într-o propoziție rostită.

Cum poate inteligența artificială să transforme semnalele creierului în vorbire?

Atunci când ascultăm o persoană care vorbește, creierul nostru procesează informațiile sonore printr-o rețea complexă de regiuni neuronale. Activitatea din cortexul auditiv reflectă anumite caracteristici ale sunetelor percepute, inclusiv informații relevante pentru recunoașterea vorbirii. Cercetătorii au încercat să valorifice aceste tipare pentru a reconstrui semnalul sonor care a provocat activitatea cerebrală.

Oamenii de știință știau deja că vorbirea, ascultarea și reprezentările mentale ale limbajului sunt asociate cu tipare specifice de activitate neuronală. Totuși, transformarea acestor semnale într-un sunet inteligibil era dificilă, deoarece informațiile înregistrate din creier nu reprezintă o copie directă a undelor sonore. Ele reflectă modul în care sistemul nervos codifică și prelucrează informațiile, iar această codificare trebuie interpretată înainte de a putea fi utilizată pentru sinteza vorbirii.

În studiul realizat la Columbia University, cercetătorii au folosit algoritmi de învățare automată pentru a identifica relațiile dintre activitatea corticală și caracteristicile vorbirii auzite. Sistemul a fost antrenat să estimeze parametri acustici care puteau fi utilizați ulterior de un sintetizator vocal. În acest mod, datele neuronale au devenit punctul de plecare pentru generarea unui sunet asemănător vorbirii umane.

Această abordare face parte dintr-un domeniu mai amplu al cercetării privind relația dintre inteligența artificială și funcționarea sistemului nervos. Tehnologiile de analiză a semnalelor biologice sunt investigate și în alte contexte, precum utilizarea inteligenței artificiale pentru analiza vocii pacienților în psihiatrie. Cele două direcții urmăresc obiective diferite, însă ilustrează potențialul algoritmilor de a identifica informații relevante în semnale complexe.

De ce metodele anterioare nu reușeau să reconstruiască suficient de clar vorbirea?

Înaintea acestui experiment, cercetătorii încercaseră să reconstruiască vorbirea prin analiza activității cerebrale și estimarea spectrogramelor sonore. O spectrogramă este o reprezentare grafică a modului în care diferitele frecvențe ale unui sunet variază în timp. Această metodă permite descrierea unor caracteristici acustice importante, dar transformarea ulterioară a informațiilor într-un sunet natural și inteligibil poate fi dificilă.

Rezultatele obținute prin metodele anterioare aveau limitări în ceea ce privește claritatea și posibilitatea de recunoaștere a cuvintelor. Cercetătorii au încercat, prin urmare, să identifice o modalitate mai eficientă de a transforma informațiile neuronale în parametri necesari producerii vorbirii. Soluția investigată a fost combinarea unor modele avansate de învățare profundă cu un sistem specializat în sinteza vocală.

Nima Mesgarani, cercetător la Columbia University și autorul coordonator al studiului, a propus utilizarea unui dispozitiv software numit vocoder. Un asemenea sistem poate sintetiza sunete asemănătoare vorbirii umane pornind de la parametri acustici specifici. În loc să încerce reconstruirea directă a întregii forme de undă sonoră din datele cerebrale, echipa a urmărit estimarea caracteristicilor necesare pentru ca vocoderul să genereze vorbire inteligibilă.

Ce este un vocoder și ce rol are în această tehnologie?

Un vocoder este un sistem de analiză și sinteză a vorbirii, capabil să genereze semnale sonore pornind de la caracteristici precum frecvența fundamentală și structura spectrală. În cazul cercetării de la Columbia University, vocoderul utilizat putea produce vorbire pe baza unor parametri estimați prin analiza activității neuronale. Acesta a reprezentat o componentă esențială pentru transformarea datelor cerebrale într-un sunet care putea fi ascultat.

Principiul sintezei vocale este utilizat și în tehnologiile care permit asistenților digitali să răspundă printr-o voce artificială. Nima Mesgarani a explicat asemănarea generală cu sistemele folosite de dispozitive precum Amazon Echo sau de asistentul vocal Siri. Totuși, particularitatea experimentului nu a fost simpla generare a unei voci sintetice, ci obținerea parametrilor necesari pentru această sinteză din activitatea cerebrală a unei persoane.

Pentru a îmbunătăți rezultatele, cercetătorii au combinat vocoderul cu rețele neuronale artificiale profunde. Aceste modele informatice sunt alcătuite din mai multe niveluri de procesare și pot identifica relații complexe între datele de intrare și rezultatele urmărite. Deși sunt inspirate conceptual de anumite proprietăți ale sistemelor neuronale biologice, rețelele artificiale nu reproduc integral structura sau funcționarea creierului uman.

Rolul inteligenței artificiale a fost acela de a învăța corespondențele dintre semnalele neuronale înregistrate și caracteristicile acustice ale vorbirii. După antrenare, modelul putea estima parametrii necesari pentru ca sintetizatorul să producă o versiune sonoră a cuvintelor auzite. Calitatea rezultatului depindea atât de informațiile disponibile în activitatea cerebrală, cât și de precizia modelului utilizat pentru interpretarea acestora.

Cum au fost înregistrate semnalele cerebrale ale pacienților?

Pentru realizarea experimentului, echipa de la Columbia University a colaborat cu neurochirurgul Ashesh D. Mehta, implicat în îngrijirea unor pacienți cu epilepsie. Acești pacienți aveau electrozi implantați pentru monitorizarea activității cerebrale în cadrul evaluării și tratamentului medical. Cercetătorii au putut utiliza înregistrările obținute în acest context clinic pentru a investiga modul în care cortexul auditiv răspunde la vorbire.

Participanții au ascultat înregistrări ale unor povești și propoziții rostite de persoane diferite, în timp ce activitatea cerebrală era monitorizată prin electrozii existenți. Înregistrările au oferit informații despre tiparele neuronale asociate cu procesarea vorbirii auzite. Aceste date au fost utilizate pentru antrenarea algoritmilor care urmau să estimeze caracteristicile semnalului sonor.

Metoda de înregistrare a activității cerebrale a fost importantă deoarece electrozii permiteau obținerea unor informații cu o rezoluție temporală ridicată. Spre deosebire de tehnicile care măsoară indirect activitatea neuronală, înregistrările intracraniene pot surprinde mai direct variațiile electrice asociate procesării informațiilor. Totuși, această abordare este invazivă și nu reprezintă o procedură justificată pentru utilizarea obișnuită a unor aplicații de comunicare.

Folosirea datelor neuronale pentru înțelegerea procesării informațiilor se înscrie într-o direcție importantă a neuroștiințelor. Cercetările despre conexiunile dintre neuroni și funcționarea creierului explorează alte aspecte ale organizării activității neuronale, evidențiind importanța comunicării dintre celulele nervoase pentru procesele cognitive și perceptive.

Experimentul cu cifrele de la 0 la 9: ce au reușit cercetătorii?

După antrenarea sistemului, cercetătorii au trecut la o sarcină concepută pentru evaluarea clarității vorbirii reconstruite. Participanții au ascultat înregistrări ale unor persoane care rosteau cifrele de la zero la nouă, în timp ce activitatea din cortexul auditiv era înregistrată. Semnalele cerebrale au fost apoi analizate de modelele informatice și transformate în parametri utilizați de vocoder pentru generarea unei voci sintetice.

Rezultatul a fost un sunet artificial, asemănător unei voci robotice, care reproducea cifrele prezentate participanților. Pentru a verifica inteligibilitatea, cercetătorii au cerut unor ascultători să identifice cifrele auzite în înregistrările reconstruite. Această evaluare a permis compararea performanței noii metode cu cea a sistemelor mai vechi, bazate în principal pe reconstruirea spectrogramelor.

Ascultătorii au identificat corect aproximativ 75% dintre cifrele reconstruite cu ajutorul modelului care combina o rețea neuronală profundă cu vocoderul. Rezultatul a reprezentat un progres important față de metodele de referință utilizate în cercetare. Sistemul a produs o vorbire suficient de clară pentru ca majoritatea cifrelor să poată fi recunoscute de persoane care nu participaseră la înregistrarea inițială a activității cerebrale.

Procentul de 75% trebuie însă interpretat în contextul exact al experimentului. Participanții la testul de inteligibilitate aveau de identificat cifre dintr-un set restrâns de zece posibilități, nu cuvinte necunoscute sau conversații spontane. Prin urmare, această performanță nu poate fi echivalată cu o capacitate generală de a citi gândurile cu o precizie de 75%.

Ce au demonstrat rezultatele despre activitatea cortexului auditiv?

Experimentul a arătat că activitatea neuronală din cortexul auditiv conține informații suficient de detaliate pentru a permite reconstruirea parțială a vorbirii percepute. Aceste informații pot fi identificate și transformate într-un semnal sonor inteligibil prin combinarea învățării automate cu metode specializate de sinteză vocală. Descoperirea confirmă că anumite caracteristici ale experienței auditive pot fi recuperate din tiparele de activitate cerebrală.

În același timp, performanța sistemului a depins de tipul reprezentării acustice și de metoda utilizată pentru decodare. Cercetătorii au comparat modele liniare și neliniare, precum și abordări bazate pe spectrograme și parametri de sinteză vocală. Rezultatele au indicat că rețelele neuronale profunde, combinate cu vocoderul, ofereau cele mai bune rezultate pentru sarcina analizată.

Aceste observații susțin ideea că relațiile dintre activitatea cerebrală și informațiile senzoriale pot fi complexe și dificil de descris prin modele statistice simple. Sistemele de învățare profundă pot surprinde anumite relații neliniare dintre semnalele neuronale și caracteristicile acustice ale vorbirii. Totuși, identificarea unor asemenea corespondențe nu înseamnă că algoritmul înțelege experiența subiectivă a persoanei sau poate interpreta orice activitate mentală.

Relația dintre activitatea cerebrală și conținutul experiențelor cognitive este investigată și prin alte metode. De exemplu, cercetările despre numărul gândurilor pe care le avem într-o zi și modul în care este studiată activitatea mentală abordează o perspectivă diferită asupra funcționării creierului. În cazul tehnologiei dezvoltate la Columbia University, obiectivul a fost reconstruirea unor sunete auzite, nu identificarea tuturor gândurilor unei persoane.

Poate inteligența artificială să citească gândurile oamenilor?

Expresia „citirea gândurilor” poate sugera că un sistem informatic este capabil să acceseze orice idee, amintire sau intenție a unei persoane. Experimentul realizat în 2019 nu a demonstrat o asemenea capacitate. Cercetătorii au reconstruit vorbirea pe care participanții o ascultau, folosind semnalele neuronale produse în timpul procesării auditive.

Diferența dintre a asculta un cuvânt și a-l imagina este esențială pentru interpretarea rezultatelor. Atunci când o persoană aude vorbirea altcuiva, cortexul auditiv procesează stimuli acustici proveniți din exterior, în timp ce vorbirea imaginată implică procese cognitive care nu depind în același mod de prezența unui sunet real. Deși aceste activități pot avea anumite caracteristici neuronale comune, reconstruirea vorbirii auzite nu demonstrează automat capacitatea de a decoda vorbirea imaginată.

Cercetătorii au considerat însă că tehnologia ar putea reprezenta o etapă în direcția dezvoltării unor sisteme capabile să interpreteze semnalele produse atunci când o persoană încearcă să vorbească. Această posibilitate ar avea o importanță majoră pentru oamenii care își păstrează intenția de a comunica, dar nu mai pot produce vorbire inteligibilă. Pentru atingerea acestui obiectiv sunt necesare experimente distincte și metode de decodare adaptate activității neuronale asociate intenției de vorbire.

Cum ar putea ajuta tehnologia persoanele care nu mai pot vorbi?

Una dintre principalele aplicații urmărite de cercetători este dezvoltarea unor interfețe creier-computer destinate persoanelor cu dificultăți severe de comunicare. Pierderea capacității de a vorbi poate apărea în urma unor leziuni cerebrale sau în contextul unor boli neurologice, inclusiv al unor afecțiuni neurodegenerative. În anumite situații, persoana poate continua să înțeleagă limbajul și să aibă intenții de comunicare, chiar dacă nu mai poate produce cuvintele prin mecanismele obișnuite ale vorbirii.

O interfață creier-computer urmărește să transforme anumite tipare de activitate neuronală în comenzi sau mesaje care pot fi utilizate de un dispozitiv extern. În cazul comunicării, obiectivul ar putea fi generarea de cuvinte sau propoziții sintetizate pornind de la semnalele asociate intenției de a vorbi. Un asemenea sistem ar putea reduce unele dintre barierele de comunicare întâmpinate de persoanele afectate de paralizie severă sau de tulburări neurologice care limitează producerea vorbirii.

De exemplu, cercetătorii au descris posibilitatea ca, în viitor, o persoană incapabilă să vorbească să poată transmite o nevoie simplă prin intermediul unui sistem care interpretează activitatea cerebrală. O intenție precum solicitarea unui pahar cu apă ar putea fi transformată într-un mesaj vocal, dacă algoritmul ar reuși să identifice corect semnalele neuronale corespunzătoare. Acesta reprezintă însă un obiectiv de dezvoltare, nu o funcție demonstrată prin experimentul cu cifrele de la zero la nouă.

Importanța unor astfel de tehnologii devine evidentă atunci când comunicarea verbală este limitată, dar persoana își păstrează nevoia de a interacționa cu familia, cu personalul medical și cu cei din jur. Cercetările asupra modului în care experiențele timpurii pot influența dezvoltarea creierului explorează o altă dimensiune a relației dintre funcționarea neurologică și experiența umană, fără a reprezenta însă o explicație pentru dificultățile de vorbire investigate prin interfețele neuronale.

Ce etape mai sunt necesare pentru dezvoltarea unei interfețe creier-computer?

După demonstrarea posibilității de reconstruire a unor cifre auzite, cercetătorii au identificat mai multe direcții pentru continuarea studiilor. Una dintre acestea presupunea testarea sistemului cu unități lingvistice mai complexe, inclusiv cuvinte și propoziții, pentru a determina dacă tehnologia poate depăși limitele unei sarcini cu un vocabular foarte restrâns. Recunoașterea corectă a unor mesaje variate ar reprezenta o provocare mult mai mare decât identificarea a zece cifre.

O altă direcție importantă privea analiza semnalelor cerebrale produse în timpul vorbirii efective, al încercării de a vorbi sau al vorbirii imaginate. Aceste situații sunt mai apropiate de nevoile persoanelor care nu pot comunica verbal, deoarece sistemul ar trebui să identifice intenția de comunicare, nu doar răspunsul cerebral la un mesaj auzit. Performanța obținută în experimentul inițial nu permite stabilirea preciziei pe care un asemenea sistem ar putea-o atinge în aceste condiții.

De asemenea, tehnologia studiată a utilizat înregistrări obținute prin electrozi implantați în context clinic, ceea ce ridică întrebări privind siguranța și aplicabilitatea unor dispozitive viitoare. O interfață destinată utilizării pe termen lung ar trebui evaluată nu numai pentru precizia decodării, ci și pentru siguranță, stabilitate și capacitatea de a funcționa în situații reale. Accesibilitatea, protecția datelor neuronale și controlul utilizatorului asupra mesajelor generate ar reprezenta, la rândul lor, aspecte importante.

În prezentarea inițială a cercetării, oamenii de știință au discutat perspectiva dezvoltării unor implanturi care să permită transformarea intențiilor de comunicare în vorbire sintetizată. Totuși, rezultatele studiului nu stabilesc un termen precis pentru disponibilitatea clinică a unei asemenea tehnologii. Progresul depinde de cercetări suplimentare, de evaluarea siguranței dispozitivelor și de demonstrarea funcționării lor la persoanele care au nevoie efectiv de comunicare asistată.

Ce ne arată studiul despre relația dintre creier, limbaj și inteligența artificială?

Cercetarea realizată la Columbia University evidențiază posibilitatea de a extrage informații despre vorbirea auzită din activitatea neuronilor implicați în procesarea auditivă. Combinarea înregistrărilor cerebrale cu rețele neuronale artificiale și tehnologii de sinteză vocală a permis reconstruirea unor sunete care puteau fi recunoscute de ascultători. Rezultatul demonstrează potențialul colaborării dintre neuroștiință, inginerie și inteligența artificială pentru dezvoltarea unor instrumente de comunicare asistată.

În același timp, studiul evidențiază diferența dintre performanța obținută într-un experiment controlat și funcționalitatea necesară într-o situație clinică reală. Recunoașterea a 75% dintre cifrele reconstruite reprezintă un progres pentru decodarea neuronală, dar nu înseamnă că un sistem poate reproduce deja orice propoziție imaginată. Pentru persoanele care și-au pierdut capacitatea de a vorbi, obiectivul cercetărilor viitoare este dezvoltarea unor tehnologii suficient de precise și fiabile pentru a transforma intențiile de comunicare în mesaje inteligibile, păstrând controlul utilizatorului asupra exprimării sale.