În ultimii 10 ani, datorită așa-numitei metode de învățare profundă, am primit cele mai bune sisteme de inteligență artificială - de exemplu, recunoscători de vorbire pe smartphone-uri sau cel mai recent traducător automat de la Google. Învățarea profundă, de fapt, a devenit o nouă tendință în rețelele neuronale deja celebre, care au fost în vogă și au ieșit de peste 70 de ani. Rețelele neuronale au fost propuse pentru prima dată de Warren McCullough și Walter Pitts în 1994, doi cercetători la Universitatea din Chicago. În 1952, au mers să lucreze la Institutul de Tehnologie din Massachusetts pentru a pune bazele primului departament de cunoaștere.
Rețelele neuronale au fost una dintre principalele linii de cercetare atât în neuroștiință, cât și în informatică până în 1969, când, potrivit legendei, au fost ucise de matematicienii MIT Marvin Minsky și Seymour Papert, care un an mai târziu au devenit co-șefi ai noului laborator de inteligență artificială al MIT.
Această metodă a cunoscut o renaștere în anii 1980, ușor decolorată în umbre în prima decadă a noului secol și a revenit cu fanfara în al doilea, pe creasta dezvoltării incredibile a cipurilor grafice și a puterii lor de procesare.
„Există percepția că ideile în știință sunt ca niște epidemii de viruși”, spune Tomaso Poggio, profesor de științe cognitive și de creier la MIT. Probabil ca exista cinci sau sase tulpini majore de virus gripal, iar una dintre ele revine la o rata de 25 de ani de invidiat. Oamenii se infectează, dobândesc imunitate și nu se îmbolnăvesc în următorii 25 de ani. Apoi apare o nouă generație, gata să fie infectată cu aceeași tulpină de virus. În știință, oamenii se îndrăgostesc de o idee, îi înnebunește pe toți, apoi o bat la moarte și dobândesc imunitate la ea - se obosesc de ea. Ideile ar trebui să aibă o frecvență similară.
Întrebări serioase
Rețelele neuronale sunt o metodă de învățare automată în care un computer învață să îndeplinească anumite sarcini, analizând exemple de instruire. De obicei, aceste exemple sunt etichetate manual în avans. Un sistem de recunoaștere a obiectelor, de exemplu, poate absorbi mii de imagini etichetate de mașini, case, căni de cafea etc., și apoi poate fi capabil să găsească modele vizuale în acele imagini care se corelează în mod constant cu anumite etichete.
O rețea neurală este adesea comparată cu creierul uman, care are și astfel de rețele, constând din mii sau milioane de noduri simple de procesare, care sunt strâns legate între ele. Majoritatea rețelelor neuronale moderne sunt organizate în straturi de noduri, iar datele curg prin ele într-o singură direcție. Un nod individual poate fi asociat cu mai multe noduri din stratul de sub el, de la care primește date și mai multe noduri din stratul de mai sus, către care transmite date.
Video promotional:
Nodul atribuie un număr fiecăreia dintre aceste legături primite - „greutate”. Când rețeaua este activă, nodul primește diferite seturi de date - numere diferite - pentru fiecare dintre aceste conexiuni și se înmulțește cu greutatea corespunzătoare. Apoi adaugă rezultatele pentru a forma un singur număr. Dacă acest număr este sub prag, nodul nu transmite date la următorul strat. Dacă numărul depășește pragul, nodul „se trezește” trimițând numărul - suma datelor de pondere puse la toate conexiunile de ieșire.
Când o rețea neuronală este antrenată, toate greutățile și pragurile sale sunt inițial setate în ordine aleatorie. Datele de instruire sunt introduse în stratul inferior - stratul de intrare - și trec prin straturile ulterioare, înmulțind și însumând într-o manieră complexă, până la sfârșitul sosirii, deja transformate, în stratul de ieșire. În timpul antrenamentului, ponderile și pragurile sunt ajustate continuu până când datele de instruire cu aceleași etichete produc concluzii similare.
Minte și mașini
Rețelele neuronale descrise de McCullough și Pitts în 1944 au avut atât praguri, cât și greutăți, dar nu au fost organizate în straturi, iar oamenii de știință nu au specificat niciun mecanism specific de învățare. Dar McCullough și Pitts au arătat că, în principiu, o rețea neurală putea calcula orice funcție, ca orice computer digital. Rezultatul a fost mai mult din domeniul neuroștiinței decât informatica: trebuia să presupunem că creierul uman poate fi privit ca un dispozitiv de calcul.
Rețelele neuronale continuă să fie un instrument valoros pentru cercetarea neurobiologică. De exemplu, straturile individuale ale rețelei sau regulile pentru ajustarea greutăților și pragurilor au reprodus trăsăturile observate ale neuroanatomiei umane și ale funcțiilor cognitive și, prin urmare, au afectat modul în care creierul procesează informațiile.
Prima rețea neuronală antrenabilă, Perceptron (sau Perceptron), a fost demonstrată de psihologul Universității Cornell, Frank Rosenblatt, în 1957. Proiectul Perceptron a fost similar cu o rețea neuronală modernă, cu excepția faptului că avea un singur strat cu greutăți și praguri reglabile între straturile de intrare și ieșire.
„Perceptronii” au fost activi cercetați în psihologie și informatică până în 1959, când Minsky și Papert au publicat o carte numită „Perceptrons”, care arăta că efectuarea unor calcule destul de obișnuite pe perceptroni nu era practic în termeni de timp.
"Desigur, toate limitele de tip dispar dacă faceți mașinile un pic mai complexe", de exemplu, în două straturi ", spune Poggio. Dar, la vremea respectivă, cartea a avut un efect rece asupra cercetării rețelei neuronale.
„Aceste lucruri merită luate în considerare într-un context istoric”, spune Poggio. „Dovada a fost creată pentru programare în limbi precum Lisp. Nu cu mult timp înainte, oamenii foloseau liniștit calculatoare analogice. La vremea respectivă nu a fost în întregime clar la ce va duce programarea. Cred că au depășit-o puțin, dar, ca întotdeauna, nu puteți împărți totul în alb și negru. Dacă vă gândiți la asta ca la o competiție între calculul analog și calculul digital, atunci luptau pentru ceea ce era necesar."
Periodicitate
Cu toate acestea, în anii 1980, oamenii de știință au dezvoltat algoritmi pentru a modifica greutățile și pragurile rețelei neuronale suficient de eficiente pentru rețelele cu mai mult de un strat, eliminând multe dintre limitările identificate de Minsky și Papert. Această zonă a cunoscut o Renaștere.
Dar, din punct de vedere rezonabil, ceva lipsea în rețelele neuronale. O sesiune de antrenament suficient de lungă poate duce la o revizuire a setărilor rețelei până când începe să clasifice datele într-un mod util, dar ce înseamnă aceste setări? La ce caracteristici ale imaginii privește recunoscătorul obiectului și cum le împarte pentru a forma semnăturile vizuale ale mașinilor, caselor și a cănilor de cafea? Un studiu al ponderilor compușilor individuali nu va răspunde la această întrebare.
În ultimii ani, informaticienii au început să vină cu metode ingenioase pentru a determina strategiile analitice adoptate de rețelele neuronale. În anii 80, strategiile acestor rețele erau de neînțeles. Prin urmare, la sfârșitul secolului, rețelele neuronale au fost înlocuite de mașini vectoriale, o abordare alternativă a învățării mașinilor bazată pe matematica pură și elegantă.
Recenta creștere a interesului pentru rețelele neuronale - revoluția profundă a învățării - se datorează industriei jocurilor. Grafica complexă și ritmul rapid al jocurilor video moderne necesită un hardware care să poată ține pasul cu tendința, rezultând un GPU (unitate de procesare grafică) cu mii de nuclee de procesare relativ simple pe un singur cip. Oamenii de știință au realizat curând că arhitectura GPU era perfectă pentru rețelele neuronale.
GPU-urile moderne au făcut posibilă construirea rețelelor din anii 1960 și a celor două și trei straturi din anii 1980 în buchete de rețele de 10, 15 și chiar 50 straturi de astăzi. De asta răspunde cuvântul „profund” în „învățarea profundă”. La adâncimea rețelei. Învățarea profundă este în prezent responsabilă pentru cele mai eficiente sisteme din aproape toate domeniile cercetării inteligenței artificiale.
Sub capotă
Opacitatea rețelei încă îi îngrijorează pe teoreticieni, dar există progrese pe acest front. Poggio conduce un program de cercetare pe bazele teoretice ale inteligenței. Recent, Poggio și colegii săi au lansat un studiu teoretic al rețelelor neuronale în trei părți.
Prima parte, care a fost publicată luna trecută în International Journal of Automation and Computing, abordează gama de calcule pe care le pot face rețelele de învățare profundă și când rețelele profunde profită de cele superficiale. Piesele două și trei, care au fost lansate ca prelegeri, abordează provocările optimizării globale, adică asigurându-se că rețeaua va găsi setările care se potrivesc cel mai bine datelor sale de instruire și când rețeaua înțelege atât de bine specificul datelor de formare. care nu poate generaliza alte manifestări ale acelorași categorii.
Există încă multe întrebări teoretice în fața cărora vor trebui date răspunsurile. Există însă speranțe că rețelele neuronale vor putea în cele din urmă să rupă ciclul generațiilor care le cufundă în căldură și uneori în frig.
ILYA KHEL
