În urmă cu câteva zile, portalul de tipărire bioRxiv.org a publicat lucrările cercetătorilor ruși de la Institutul de fizică și tehnologie din Moscova și al companiilor Neurobotics și Neuroassistive Technologies, care se ocupă de crearea de interfețe neurocomputere. Lucrarea susține că oamenii de știință și dezvoltatorii au reușit să învețe un algoritm în timp real pentru a reconstrui un videoclip vizualizat de o persoană folosind semnale EEG. Sunete cu adevărat mișto și interesante - aproape ca lectura minții. De fapt, totul, desigur, nu este atât de simplu: calculatoarele nu au învățat să citească gânduri. Pe scurt, computerul a învățat de la înregistrarea EEG pentru a determina ce imagine a cinci clase diferite cunoscute anterior subiectul a văzut. Despre modul în care a fost construit experimentul, ce sarcini au stabilit oamenii de știință și de ce este improbabilă citirea minții în viitorul apropiat, spunem în blogul nostru.
În general, ideea de a citi semnalul electric al creierului și de a o descifra, astfel încât să puteți vedea ce gândește sau face o persoană la un moment dat, având în vedere ritmul progresului tehnologic actual, nu pare atât de dificilă. Iată un semnal și iată ce înseamnă acest semnal: adăugați două și două, antrenați clasificatorul și obțineți rezultatul de care avem nevoie.
Rezultatul este ceea ce viitorii și oamenii ignoranți ar numi „citirea minții”. Și se pare că o astfel de tehnologie s-ar putea regăsi într-o varietate de aplicații: de la interfețe creier-computer perfecte care vă permit să controlați protezele inteligente, până la crearea unui sistem care să spună în sfârșit ce gândește pisica dvs. acolo.
În realitate, desigur, totul nu este deloc atât de simplu, iar ideea creării unui astfel de algoritm se destramă aproape imediat asupra principalului obstacol: trebuie să ne ocupăm de creier. Creierul este un lucru foarte complex: are peste 80 de miliarde de neuroni, iar conexiunile dintre ei sunt de câteva mii de ori mai multe.
Chiar și pentru un om este clar: este prea mult pentru noi să înțelegem de ce este responsabilă fiecare celulă și agregatul lor. Oamenii de știință încă nu au descifrat conectivul uman - chiar dacă încearcă să o facă cu relativ succes.
Se ridică o întrebare logică: este absolut necesar să înțelegem funcțiile fiecărui neuron pentru a reprezenta cu exactitate ce se întâmplă în creier? Chiar nu există suficiente hărți funcționale, de exemplu?
Răspunsul la această întrebare ar trebui, de fapt, să fie „da”, dar chiar și aici nu este atât de simplu. Dacă umanitatea s-ar baza pe decodificarea conectomului ca singura cheie pentru deblocarea misterului creierului, atunci am fi foarte aproape astăzi. Cu toate acestea, știm ceva despre cum funcționează creierul nostru și, desigur, îl putem folosi cu succes.
Video promotional:
Unul dintre cele mai strălucitoare și mai evidente exemple de utilizare a cunoștințelor acumulate de oamenii de știință despre munca creierului este, desigur, neurointerfetele. În general, astăzi există într-adevăr tehnologii care permit citirea activității creierului și folosirea acestuia pentru a controla, de exemplu, cursorul unui mouse de calculator sau chiar mișcările unei proteze.
Există două moduri de a realiza funcționarea eficientă a interfeței neurale. Prima metodă sunt potențialele evocate: privim curba activității electrice a anumitor părți ale creierului și selectăm pe ea acele modificări ale semnalului care, așa cum știm sigur, apar la un moment dat după prezentarea stimulului.
Al doilea mod este să nu te bazezi deloc pe stimulare, ci să folosești imaginația persoanei pentru a genera un semnal electric care poate fi citit. De exemplu, o persoană ar putea fi rugată să vizualizeze cum își mișcă piciorul sau brațul.
Ambele metode prezintă dezavantaje semnificative. Primul este împiedicat de faptul că numărul potențialelor evocate în mod fiabil cunoscute de noi nu este atât de mare: numărul lor nu poate acoperi exact toate acțiunile posibile efectuate de o persoană. Dezavantajul celui de-al doilea este că este necesară o pregătire îndelungată pentru a atinge cel puțin un efect.
Autorii imprimeului au decis să combine ambele abordări pentru a crea interfețe neurocomputere, crezând pe bună dreptate că acest lucru ar salva ambele metode de la limitări semnificative și ar permite dezvoltarea unei metode noi și în prezent cele mai eficiente de lucru cu neurointerfacele.
De asemenea, s-a presupus că această metodă va fi închisă (buclă închisă), adică rezultatul obținut cu ajutorul său va afecta, la rândul său, funcționarea algoritmului. Dar mai multe despre asta mai târziu.
La început, algoritmul descompune toate imaginile în semne de componente separate, distribuite în spațiul vectorial, cu ajutorul cărora pot fi apoi corelate cu anumite semnale cerebrale înregistrate cu EEG.
În această etapă inițială, se folosește un clasificator binar - aproximativ vorbind, foarte „doi și doi”: având un semnal suficient de curat (înregistrarea EEG a fost curățată de artefacte motorii), puteți alege unul sau altul cu o precizie mai mare decât o lovitură aleatorie.
În experimentele lor, oamenii de știință au folosit videoclipuri cu obiecte din cinci clase: imagini cu oameni, cascade, forme geometrice abstracte, sporturi extreme și mașini Goldberg. Pe de o parte, un astfel de set pare ciudat, dar pe de altă parte, se pare că toate aceste obiecte sunt foarte diferite unele de altele. Într-adevăr, există ceva în comun între fețele umane și formele geometrice abstracte?
Între timp, conform clasificatorului binar, figurile abstracte și fețele umane sunt nedistinguibile între ele: rezultatele a nouă din 17 participanți la studiu arată că interfața neurală nu a reușit să distingă între ele. Dar mașinile lui Goldberg și aceleași fețe, din punct de vedere al creierului, dimpotrivă, diferă bine unele de altele.
Rezultatele clasificării. A - forme abstracte, W - cascade, HF - fețe umane, GM - Mașini Goldberg, E - sporturi extreme.
La prima vedere, nu este foarte clar de ce se întâmplă acest lucru: mai degrabă, aceleași mașini și forme geometrice nu pot fi distinse unele de altele. Totul devine puțin mai clar dacă te uiți la un exemplu de cadre din videoclipurile utilizate.
Imagini de la cinci clase.
Cel mai probabil (noi, desigur, putem doar să presupunem aici), succesul clasificatorului depinde de cât de mult diferă imaginile utilizate în cele două clase în unele caracteristici de bază, de bază - în primul rând, în culori. Acest lucru se corelează bine și cu faptul că dimensiunea spațiului latent din codul auto este 10.
În general, pentru a clasifica imaginile a cinci clase, o dimensiune de cinci este suficientă, dar în acest caz va fi realizată cu un maxim al histogramei de culori - ceea ce înseamnă că dimensiunea 10 nu se va îmbunătăți prea mult și va clarifica rezultatul.
Nu este foarte clar de ce autorii nu au folosit un clasificator liniar pentru cinci clase simultan, în loc de zece clasificatori binari: cel mai probabil, ar fi fost mai bine.
Apoi vine etapa de reconstrucție a imaginii rezultate. Faptul că iese înfundat este de înțeles - punctul este în aceeași dimensiune a spațiului latent. Dar aici se confundă două lucruri.
Prima este că imaginile originale și reconstruite sunt foarte asemănătoare între ele. Aici, desigur, nu vreau să supăr pe nimeni (inclusiv pe noi înșine - suntem cu toții în progres), dar acest lucru nu se datorează faptului că semnalul este atât de bine înregistrat și decodificat (și chiar în timp real!), Dar datorită faptului că algoritmul restabilește exact imaginile pe care le avea deja.
Mai mult decât atât, acest lucru nu funcționează întotdeauna la fel de bine cum ne-am dori: dacă, de exemplu, te uiți la videoclipul sistemului, vei observa că în videoclip cu un bărbat care plânge interfața neurală, dintr-un motiv oarecare, vede o femeie. Acest lucru se datorează faptului că algoritmul nu reconstruiește imagini, ci obiecte ale unei anumite clase: chiar dacă o face suficient de eficient, nimic nu împiedică algoritmul să vadă o barcă în imaginea unei motociclete - pur și simplu pentru că aparțin aceleiași clase.
Prin urmare, ceea ce apare pe ecran în timpul reconstrucției este adesea doar o imagine medie a tuturor obiectelor de clasă folosite.
În ceea ce privește semnificația utilizării unui sistem închis, atunci totul nu este foarte clar cu el: atunci când îndeplinește o sarcină, o persoană vede atât o înregistrare a semnalelor EEG, cât și o imagine care se ridică treptat din capul său. Dacă acest lucru ajută de fapt este greu de spus - autorii nu au comparat performanțele interfeței cu și fără consolidare. Dar la prima vedere se pare că nu chiar. Dacă vă ajută, vreau să știu cum.
În general, putem concluziona în siguranță că calculatoarele nu au învățat să citească gânduri. Și nici nu au învățat cum să recreeze videoclipul. Tot ce au învățat să facă, bazat pe activitatea oamenilor de știință, este să clasifice obiectele pe care le-au văzut în cinci clase, pe baza unor criterii de bază. Calculatoarele au putut să facă asta înainte? Desigur că ar putea. Există un creier aici? Desigur, există: dar creierul este cel care vede, nu creierul care înțelege exact ce a văzut.
Elizaveta Ivtushok
