Folosind tehnologia pentru a scana activitatea creierului, inteligența artificială și un sintetizator de vorbire, oamenii de știință de la Universitatea Columbia (SUA) au creat un dispozitiv care poate traduce gândurile umane în vorbirea articulată. Rezultatele cercetării, publicate în Scientific Reports, reprezintă un pas important în îmbunătățirea interfețelor creier-calculator. În viitor, astfel de dispozitive pot fi utilizate de către persoanele care și-au pierdut capacitatea de a vorbi ca urmare a accidentării sau a bolii.
Pentru a dezvolta un dispozitiv care combină capabilitățile unui sintetizator de vorbire și inteligență artificială, autorul studiului, neurologul Nima Mesgarani și colegii săi au apelat la ultimele progrese în învățarea profundă a mașinilor și a tehnologiilor de sinteză a vorbirii. Rezultatul muncii lor este un vocoder bazat pe inteligență artificială capabil să interpreteze destul de precis activitatea creierului direct din cortexul auditiv al creierului, apoi să o transpună în vorbire inteligibilă. Autorii lucrării notează că vorbirea în acest caz se dovedește a fi foarte computerizată, dar oamenii pot recunoaște cuvintele în majoritatea cazurilor.
Potrivit creatorilor, noul dispozitiv folosit pentru a reproduce discursul rezultat folosește aceeași tehnologie folosită la asistenții digitali precum Alexa, Siri și Google Assistant.
În primul rând, experții au instruit vocoderul să interpreteze corect activitatea creierului uman. Pentru aceasta, oamenii de știință au invitat cinci voluntari care au fost supuși tratamentului pentru epilepsie să participe la experiment. Toți cei cinci aveau electrozi implantați în cortexul auditiv pentru a citi electroencefalograma.
„Am cerut pacienților epileptici care sunt deja supuși unei operații cerebrale să asculte propoziții care sunt spuse de diferite persoane. În același timp, am analizat tiparele în activitatea creierului pacienților. Vocoderul a fost instruit pe modelele neuronale obținute”, explică Mesgarani.
Pacienților li s-a cerut să asculte înregistrările în care actorii citeau secvențe de numere de la 0 la 9. În același timp, oamenii de știință au înregistrat semnalele de la creier, apoi le-au transmis prin vocoder, semnalele pentru care au fost corectate de o rețea neuronală pentru a îmbunătăți claritatea, care a analizat sunetele vocoderului propriu-zis, care produceau sunete ca răspuns la aceste semnale. Drept urmare, s-a putut auzi o voce robotizată repetând o secvență de numere vorbite. Pentru a evalua rezultatele, oamenii de știință au invitat 11 persoane cu audieri excelente.
„S-a dovedit că oamenii pot recunoaște cuvinte aproximativ 75% din timp, ceea ce este cu mult superior oricărei încercări anterioare. Vocoderul sensibil și rețelele neuronale puternice au generat sunetele pe care pacienții le-au ascultat cu o precizie uimitoare”, comentează Mesgarani.
Video promotional:
În viitor, echipa lui Mesgarani va învăța rețeaua neuronală să pronunțe cuvinte, fraze și chiar propoziții întregi. După aceea, vor să dezvolte un implant care poate transpune gândurile unei persoane într-un discurs plin.
„De exemplu, dacă proprietarul implantului crede:„ Am nevoie de un pahar cu apă”, sistemul nostru citește semnalele creierului și le traduce în vorbire. Acest lucru va oferi oricui care a pierdut capacitatea de a vorbi din cauza vătămării sau a bolii o nouă oportunitate de a comunica cu lumea din jurul lor”, adaugă Mesgarani.
Nikolay Khizhnyak
