Imediat când doctorul Blake Richards a auzit despre învățarea profundă, și-a dat seama că se confruntă cu mai mult decât doar o metodă care va revoluționa inteligența artificială. Și-a dat seama că privește ceva fundamental din creierul uman. Era la începutul anilor 2000 și Richards preda un curs la Universitatea din Toronto împreună cu Jeff Hinton. Hinton, care a fost în spatele creării algoritmului care a cucerit lumea, i s-a oferit un curs introductiv asupra metodei sale de predare, inspirat de creierul uman.
Cuvintele cheie de aici sunt „inspirate de creier”. În ciuda convingerii lui Richards, pariul a jucat împotriva lui. Creierul uman, așa cum s-a dovedit, nu are o funcție importantă care este programată în algoritmi de învățare profundă. La suprafață, acești algoritmi au încălcat faptele biologice de bază, dovedite deja de neurostiți.
Dar dacă învățarea profundă și creierul sunt compatibile?
Și astfel, într-un nou studiu publicat în eLife, Richards, care lucrează cu DeepMind, a propus un nou algoritm bazat pe structura biologică a neuronilor din neocortex. Cortexul, cortexul cerebral, găzduiește funcții cognitive superioare, precum raționamentul, predicția și gândirea flexibilă.
Echipa și-a combinat neuronii artificiali într-o rețea stratificată și l-a provocat la sarcina viziunii computerizate clasice - să identifice numere scrise de mână.
Noul algoritm a făcut o treabă excelentă. Dar un alt lucru este important: el a analizat exemple pentru învățare în același mod în care fac algoritmi de învățare profundă, dar a fost construit în întregime pe biologia fundamentală a creierului.
„Învățarea profundă este posibilă într-o structură biologică”, au concluzionat oamenii de știință.
Întrucât acest model este în prezent o versiune computerizată, Richards speră să transmită bagheta către neuroștiștiști experimentali care ar putea testa dacă un astfel de algoritm funcționează într-un creier real.
Video promotional:
Dacă da, datele pot fi furnizate oamenilor de informatică pentru a dezvolta masiv algoritmi paraleli și eficienți pe care mașinile noastre vor folosi. Acesta este primul pas către contopirea celor două zone într-un „dans virtuos” de descoperire și inovație.
Găsirea țapului ispășitor
În timp ce probabil ai auzit că AI a bătut recent cele mai bune dintre cele mai bune în Go, nu știi cu exactitate cum funcționează algoritmii din spatele acestei AI.
Pe scurt, învățarea profundă se bazează pe o rețea neuronală artificială cu „neuroni” virtuali. La fel ca un zgârie-nori înalt, rețeaua este structurată într-o ierarhie: intrarea procesului de neuroni de nivel scăzut - de exemplu, bare orizontale sau verticale care alcătuiesc numărul 4 - și neuronii de nivel înalt procesează aspecte abstracte ale numărului 4.
Pentru a instrui rețeaua, îi dai exemple despre ceea ce cauți. Semnalul se propagă prin rețea (urcă treptele clădirii) și fiecare neuron încearcă să vadă ceva fundamental în opera celor „patru”.
Pe măsură ce copiii învață lucruri noi, rețeaua nu merge bine la început. Ea dă tot ceea ce, în opinia ei, arată ca numărul patru - și obții imagini în spiritul lui Picasso.
Dar exact așa se desfășoară învățarea: algoritmul se potrivește cu ieșirea la intrarea ideală și calculează diferența dintre cele două (citire: erori). Erorile „se propagă înapoi” prin rețea, antrenând fiecare neuron, spun ei, acest lucru nu este ceea ce cauți, arată mai bine.
După milioane de exemple și repetări, web-ul începe să funcționeze perfect.
Semnalul de eroare este extrem de important pentru învățare. Fără o „propoziție eficientă a erorilor”, rețeaua nu va ști care dintre neuronii săi este greșită. În căutarea unui țap ispășitor, inteligența artificială se îmbunătățește.
Creierul o face și el. Dar cum? Nu avem idee.
Punctul biologic biologic
Lucrul evident este că soluția de învățare profundă nu funcționează.
Backpropagarea unei erori este o caracteristică extrem de importantă. Este necesar ca o anumită infrastructură să funcționeze corect.
În primul rând, fiecare neuron din rețea trebuie să primească o notificare de eroare. Dar în creier, neuronii sunt conectați doar cu câțiva (dacă există) parteneri din aval. Pentru ca backpropagation să funcționeze în creier, neuronii de la primele niveluri trebuie să perceapă informațiile din miliarde de conexiuni din canalele din aval - iar acest lucru este imposibil din punct de vedere biologic.
Și în timp ce unii algoritmi de învățare profundă adaptează o formă locală de backpropagare a erorilor - în esență între neuroni - necesită ca conexiunile lor înainte și înapoi să fie simetrice. În sinapsele creierului, acest lucru nu se întâmplă aproape niciodată.
Algoritmi mai moderni adaptează o strategie ușor diferită prin implementarea unei căi de feedback separate care ajută neuronii să găsească erori la nivel local. Deși acest lucru este mai posibil din punct de vedere biologic, creierul nu are o rețea de calcul separată dedicată găsirii țapilor ispășitori.
Dar are neuroni cu structuri complexe, spre deosebire de „bile” omogene care sunt utilizate în prezent în învățarea profundă.
Rețele de ramificare
Oamenii de știință se inspiră din celulele piramidale care umplu cortexul uman.
„Majoritatea acestor neuroni au forma unor copaci, cu„ rădăcinile”lor adânci în creier și„ ramurile”care ies la suprafață”, spune Richards. „Remarcabil, rădăcinile obțin un set de intrări, iar ramurile diferă.”
Este curios, dar structura neuronilor se dovedește adesea a fi „exact așa cum este nevoie” pentru a rezolva eficient o problemă de calcul. Luați procesarea senzorială, de exemplu: fundul neuronilor piramidali este acolo unde ar trebui să fie pentru a primi aport senzorial, iar vârfurile sunt localizate convenabil pentru a transmite erori prin feedback.
Această structură complexă ar putea fi o soluție evolutivă pentru a face față semnalului greșit?
Oamenii de știință au creat o rețea neuronală multistrat bazată pe algoritmi precedenți. Dar în loc de neuroni omogeni, ei i-au dat neuronilor în straturile mijlocii - între sandwich și intrare - similare cu cele reale. Învățând din numere scrise de mână, algoritmul s-a comportat mult mai bine decât o rețea cu un singur strat, în ciuda absenței retropropagării clasice a erorii. Structurile celulare în sine ar putea identifica eroarea. Apoi, la momentul potrivit, neuronul a combinat ambele surse de informații pentru a găsi cea mai bună soluție.
Există o bază biologică pentru acest lucru: neurologii știu de mult că ramurile de intrare ale unui neuron efectuează calcule locale care pot fi integrate cu semnale de backpropagation de la ramurile de ieșire. Dar nu știm dacă creierul funcționează într-adevăr așa - așa că Richards i-a comandat pe neuroștiștiști să afle.
Mai mult decât atât, această rețea tratează problema într-un mod similar cu metoda tradițională de învățare profundă: folosește o structură stratificată pentru a extrage idei din ce în ce mai abstracte despre fiecare număr.
„Aceasta este o caracteristică a învățării profunde”, explică autorii.
Creier profund de învățare
Fără îndoială, vor exista mai multe răsuciri și transformări în această poveste, deoarece informaticienii aduc mai multe detalii biologice în algoritmii AI. Richards și echipa sa privesc o funcție predictivă de sus în jos, unde semnalele de la niveluri superioare afectează în mod direct modul în care nivelurile inferioare răspund la intrare.
Feedback-ul de la nivelurile superioare nu numai că îmbunătățește semnalizarea erorilor; acesta poate încuraja, de asemenea, neuronii cu procesare inferioară să funcționeze „mai bine” în timp real, spune Richards. Până în prezent, rețeaua nu a depășit alte rețele de învățare profundă non-biologice. Dar nu contează.
„Învățarea profundă a avut un impact uriaș asupra AI, dar până acum impactul său asupra neuroștiinței a fost limitat”, spun autorii studiului. Acum, neuroștiințienii vor avea o scuză pentru a efectua un test experimental și vor afla dacă structura neuronilor se află la baza algoritmului natural al învățării profunde. Poate că în următorii zece ani, va începe un schimb de date reciproc avantajoase între neurologi și cercetătorii de inteligență artificială.
Ilya Khel
