Inteligența Artificială și Jeffrey Hinton: Tatăl învățării Profunde - Vedere Alternativă

Cuprins:

Inteligența Artificială și Jeffrey Hinton: Tatăl învățării Profunde - Vedere Alternativă
Inteligența Artificială și Jeffrey Hinton: Tatăl învățării Profunde - Vedere Alternativă

Video: Inteligența Artificială și Jeffrey Hinton: Tatăl învățării Profunde - Vedere Alternativă

Video: Inteligența Artificială și Jeffrey Hinton: Tatăl învățării Profunde - Vedere Alternativă
Video: Inteligența Artificială și Blockchain-ul 2024, Mai
Anonim

Inteligență artificială. Cât de multe s-au spus despre el, dar nici măcar nu am început să vorbim cu adevărat. Aproape tot ceea ce auziți despre progresul inteligenței artificiale se bazează pe o descoperire care are treizeci de ani. Menținerea momentului progresului va necesita evitarea constrângerilor severe și a constrângerilor majore. În continuare, în prima persoană - James Somers.

Stau acolo unde se va afla în curând centrul lumii, sau pur și simplu într-o cameră mare de la etajul șapte al unui turn strălucitor din centrul orașului Toronto - în ce parte te uiți. Sunt însoțit de Jordan Jacobs, co-fondator al acestui loc: The Vector Institute, care își deschide porțile în această toamnă și promite să devină epicentrul global al inteligenței artificiale.

Suntem în Toronto, deoarece Jeffrey Hinton este în Toronto. Iar Jeffrey Hinton este tatăl „învățării profunde”, tehnica din spatele hype AI. "În 30 de ani, vom privi înapoi și vom spune că Jeff este Einstein pentru AI, învățare profundă, orice am numi inteligență artificială", spune Jacobs. Dintre toți cercetătorii AI, Hinton este citat mai des decât cei trei care i-au urmat. Studenții săi de licență și absolvenți merg să lucreze în laboratorul AI la Apple, Facebook și OpenAI; Hinton însuși este omul de știință al echipei AI Brain Google. Aproape fiecare avans în AI în ultimul deceniu - în traducere, recunoaștere a vorbirii, recunoaștere a imaginii și jocuri de noroc - are ceva de-a face cu activitatea lui Hinton.

Vector Institute, un monument al creșterii ideilor lui Hinton, este un centru de cercetare în care companii din SUA și Canada - precum Google, Uber și NVIDIA - sponsorizează eforturile de comercializare a tehnologiilor AI. Banii se revarsă mai repede decât îi poate cere Iacob; doi dintre co-fondatorii săi au examinat companii din zona Toronto, iar cererea de experți AI a fost de 10 ori mai mare decât ofertele din Canada în fiecare an. Vector Institute este, într-un anumit sens, un teren virgin neexploatat pentru a încerca să mobilizeze lumea din jurul învățării profunde: să investească, să învețe, să perfecționeze și să aplice această tehnică. Se construiesc centre de date, zgârie-nori sunt umplute cu startup-uri și generații de studenți se revarsă în regiune.

Când stai pe podeaua Vectorului, ai senzația că ești la început de ceva. Însă învățarea profundă este, în centrul său, foarte veche. Articolul descoperitor al lui Hinton, scris cu David Rumelhart și Ronald Williams, a fost publicat în 1986. Lucrarea a descris în detaliu metoda de backpropagation a erorii (backpropagation), pe scurt. Backprop, conform lui John Cohen, este „totul pe care se bazează învățarea profundă - totul”.

La rădăcina sa, astăzi AI este învățare profundă, iar învățarea profundă este inapropiată. Ceea ce este uluitor, având în vedere că backprop-ul are peste 30 de ani. Este pur și simplu necesar să înțelegeți cum s-a întâmplat acest lucru: cum ar putea tehnologia să aștepte atât de mult timp și apoi să provoace o explozie? Pentru că, după ce cunoașteți istoria backprop, veți înțelege ce se întâmplă cu AI acum și, de asemenea, este posibil să nu fim la începutul revoluției. Poate că suntem la sfârșitul unuia.

Plimbarea de la Vector Institute la biroul Google al lui Hinton unde își petrece cea mai mare parte a timpului (acum este profesor emerit la Universitatea din Toronto) este un fel de reclamă live pentru oraș, cel puțin vara. Devine clar de ce Hinton, originar din Marea Britanie, s-a mutat aici în anii 1980, după ce a lucrat la Universitatea Carnegie Mellon din Pittsburgh.

Video promotional:

Poate că nu suntem chiar la începutul revoluției

Toronto este al patrulea oraș ca mărime din America de Nord (după Mexico City, New York și Los Angeles) și este cu siguranță mai divers: mai mult de jumătate din populație s-a născut în afara Canada. Și îl puteți vedea când vă plimbați prin oraș. Mulțimea este multinațională. Există asistență medicală gratuită și școli bune, oamenii sunt prietenoși, politicienii sunt relativ stângaci și stabili; toate acestea atrag oameni ca Hinton, care spune că a părăsit Statele Unite din cauza Irangate-ului (Iran-Contra este un scandal politic major în Statele Unite în a doua jumătate a anilor '80; atunci a devenit cunoscut faptul că anumiți membri ai administrației americane au organizat secret furnizarea de arme către Iran, încălcând astfel embargoul asupra armelor împotriva acestei țări). Aici începe conversația noastră înainte de prânz.

„Mulți au crezut că SUA ar putea invada Nicaragua”, spune el. "Din anumite motive, au crezut că Nicaragua aparține Statelor Unite." El spune că a făcut recent un progres important în proiect: „Un inginer foarte bun a început să lucreze cu mine”, o femeie pe nume Sarah Sabour. Sabur este iranian și i s-a refuzat viza pentru a lucra în Statele Unite. Biroul Google din Google l-a scos.

Hinton are 69 de ani. Are o față engleză ascuțită, subțire, cu gura subțire, urechile mari și un nas mândru. S-a născut în Wimbledon și în conversație îi amintește naratorului o carte pentru copii despre știință: curios, ispititor, încercând să explice totul. Este amuzant și joacă puțin publicului. Îl doare să stea din cauza problemelor la spate, așa că nu poate zbura, iar la cabinetul stomatologului se întinde pe un dispozitiv care seamănă cu o placă de surf.

Image
Image

În anii 1980, Hinton era, așa cum este el acum, un expert în rețelele neuronale, un model mult simplificat al rețelei de neuroni și sinapse din creierul nostru. Cu toate acestea, la acea vreme, s-a convenit ferm că rețelele neuronale erau un punct mort în cercetarea AI. Deși prima rețea neuronală, Perceptron, a fost dezvoltată în anii 1960 și a fost considerată primul pas către inteligența mașinii la nivel uman, în 1969 Marvin Minsky și Seymour Papert au dovedit matematic că astfel de rețele pot îndeplini doar funcții simple. Aceste rețele aveau doar două straturi de neuroni: un strat de intrare și un strat de ieșire. Rețelele cu un număr mare de straturi între neuronii de intrare și de ieșire ar putea, în teorie, să rezolve o mare varietate de probleme, dar nimeni nu știa cum să-i antreneze, așa că în practică erau inutile. Din cauza Perceptronilor, aproape toată lumea a abandonat ideea rețelelor neuronale cu câteva excepții.inclusiv Hinton.

Avansul lui Hinton în 1986 a demonstrat că backpropagation poate antrena o rețea neuronală profundă cu mai mult de două sau trei straturi. Însă, au trecut încă 26 de ani până când puterea de calcul a crescut. Într-o lucrare din 2012, Hinton și doi studenți din Toronto au arătat că rețelele neuronale profunde, antrenate cu backprop, au depășit cele mai bune sisteme de recunoaștere a imaginilor. Învățarea profundă a început să capteze tracțiune. Lumea a decis peste noapte că AI va prelua dimineața. Pentru Hinton, aceasta a fost o victorie binevenită.

Câmpul de denaturare a realității

O rețea neuronală este de obicei înfățișată ca un sandviș, ale cărui straturi sunt suprapuse unele peste altele. Aceste straturi conțin neuroni artificiali, care sunt, în esență, mici unități de calcul care se aprind - precum un neuron adevărat, se aprinde - și transmit această emoție altor neuroni la care sunt conectați. Excitația unui neuron este reprezentată de un număr, să zicem 0,13 sau 32,39, care determină gradul de excitație al neuronului. Și există un alt număr important, pe fiecare dintre conexiunile dintre cei doi neuroni, care determină câtă excitație trebuie transferată de la unul la altul. Acest număr modelează forța sinapselor dintre neuronii din creier. Cu cât numărul este mai mare, cu atât conexiunea este mai puternică, ceea ce înseamnă că mai multe emoții curg de la unul la altul.

Una dintre cele mai de succes aplicații ale rețelelor neuronale profunde a fost recunoașterea imaginii. Astăzi există programe care pot recunoaște dacă în imagine există un hot dog. În urmă cu aproximativ zece ani, erau imposibile. Pentru a le face să funcționeze, mai întâi trebuie să faceți o poză. Pentru simplitate, să zicem că este vorba despre o imagine alb-negru de 100 x 100 pixeli. Îl alimentezi la rețeaua neuronală setând tragerea fiecărui neuron simulat în stratul de intrare, astfel încât acesta să fie egal cu luminozitatea fiecărui pixel. Acesta este stratul de jos al sandvișului: 10.000 de neuroni (100 x 100) reprezentând luminozitatea fiecărui pixel din imagine.

Apoi conectați acest strat mare de neuroni la un alt mare strat de neuroni, deja mai mare, să zicem, câteva mii, iar ei, la rândul lor, la un alt strat de câteva mii de neuroni, dar mai puțin, etc. În cele din urmă, stratul superior al sandvișului - stratul de ieșire - va fi format din doi neuroni - unul reprezentând hot dog-ul și celălalt nu hot dog. Ideea este de a antrena rețeaua neuronală pentru a trage foc doar primul dintre acești neuroni dacă există un hot dog în imagine, iar al doilea, dacă nu. Backprop, tehnica de backpropagation pe care Hinton și-a construit cariera, face doar asta.

Image
Image

Backprop este extrem de simplu, deși funcționează cel mai bine cu cantități uriașe de date. Acesta este motivul pentru care datele mari sunt atât de importante pentru AI - de ce Facebook și Google sunt atât de pasionați de aceasta și de ce Vector Institute a decis să se conecteze cu cele mai mari patru spitale din Canada și să împărtășească date.

În acest caz, datele iau forma a milioane de imagini, unele cu hot dog, altele fără; trucul este să marchezi aceste imagini ca având hot dog. Când creezi prima dată o rețea neuronală, conexiunile dintre neuroni au greutăți aleatorii - numere aleatorii care spun câtă excitație este transmisă prin fiecare conexiune. Ca și cum sinapsele creierului nu ar fi încă acordate. Scopul backprop este de a schimba aceste greutăți pentru a face rețeaua să funcționeze: astfel încât atunci când alimentați imaginea hot dog în stratul cel mai de jos, neuronul hot dog din stratul de sus este tras.

Să zicem că faceți prima poză de tutorial pentru pian. Convertiți intensitățile de pixeli ale unei imagini de 100 x 100 la 10.000 de numere, unul pentru fiecare neuron din stratul inferior al rețelei. Pe măsură ce excitația se răspândește prin rețea în concordanță cu puterea conexiunii neuronilor din straturile adiacente, totul ajunge treptat la ultimul strat, unul dintre cei doi neuroni care determină dacă în imagine există un hot dog. Întrucât aceasta este o imagine a unui pian, neuronul hot dog ar trebui să arate zero, iar neuronul non-hot dog ar trebui să arate un număr mai mare. Să spunem că lucrurile nu funcționează așa. Să spunem că rețeaua a greșit în privința imaginii. Backprop este o procedură pentru consolidarea puterii fiecărei conexiuni din rețea, permițându-vă să corectați eroarea din exemplul de instruire dat.

Cum functioneaza? Începi cu ultimii doi neuroni și îți dai seama cât de greșite sunt: care este diferența dintre numărul lor de tragere și ceea ce ar trebui să fie cu adevărat. Apoi te uiți la fiecare conexiune care duce la acești neuroni - coborând straturile - și determini contribuția lor la eroare. Continuați să faceți acest lucru până când ajungeți la primul set de conexiuni din partea de jos a rețelei. În acest moment, știți cum contribuie conexiunea individuală la eroarea generală. În cele din urmă, schimbați toate greutățile pentru a reduce șansa generală de eroare. Această așa-numită „tehnică de propagare a erorilor” este aceea că aveți un fel de erori de rulare înapoi prin rețea, începând din spate, afară.

Incredibilul începe să se întâmple atunci când o faci cu milioane sau miliarde de imagini: rețeaua începe să stabilească bine dacă o imagine este un hot dog sau nu. Și ceea ce este și mai remarcabil este faptul că straturile individuale ale acestor rețele de recunoaștere a imaginilor încep să „vadă” imaginile în același mod pe care îl face propriul nostru sistem vizual. Adică, primul strat detectează contururile - neuronii sunt trași atunci când există contururi și nu sunt trași atunci când nu sunt; următorul strat definește seturi de căi, cum ar fi colțurile; următorul strat începe să distingă formele; următorul strat găsește tot felul de elemente, cum ar fi „chiftele deschise” sau „coama închisă”, deoarece sunt activați neuronii corespunzători. Rețeaua se organizează în straturi ierarhice, fără a fi chiar programată în acest fel.

Inteligența adevărată nu este confundată atunci când problema se schimbă ușor.

Acest lucru a uimit atât de mult pe toată lumea. Nu este atât de mult faptul că rețelele neuronale sunt bune în clasificarea imaginilor de hot dog: construiesc reprezentări ale ideilor. Cu textul, acest lucru devine și mai evident. Puteți alimenta textul Wikipedia, multe miliarde de cuvinte, la o rețea neuronală simplă, învățându-l să înzestreze fiecare cuvânt cu numere corespunzătoare excitațiilor fiecărui neuron din strat. Dacă vă gândiți la toate aceste numere ca coordonate într-un spațiu complex, găsiți un punct, cunoscut în acest context ca vector, pentru fiecare cuvânt din spațiul respectiv. Apoi, antrenați rețeaua astfel încât cuvintele care apar cot la cot în paginile Wikipedia să fie înzestrate cu coordonate similare - și voilă, se întâmplă ceva ciudat: cuvintele cu semnificații similare vor apărea cot la cot în acest spațiu. „Nebun” și „supărat” vor fi acolo; Și „Trei” și „șapte”. În plus,vector aritmetic vă permite să scădem vectorul „Franța” din „Paris”, să îl adăugați la „Italia” și să găsiți „Roma” în apropiere. Nimeni nu a spus rețelei neuronale că Roma este pentru Italia la fel ca Parisul pentru Franța.

„Este uimitor”, spune Hinton. „Este șocant”. Rețelele neuronale pot fi văzute ca o încercare de a lua lucrurile - imagini, cuvinte, înregistrări de conversații, date medicale - și să le așeze într-un spațiu vectorial multidimensional în care apropierea sau îndepărtarea lucrurilor vor reflecta cele mai importante aspecte ale lumii reale. Hinton crede că asta face creierul. „Dacă vrei să știi ce este un gând”, spune el, „îți pot transmite într-o serie de cuvinte. Pot să spun: „John a crezut că”. Dar dacă întrebi: ce este gândul? Ce înseamnă pentru Ioan să aibă acest gând? Până la urmă, în capul său nu există citate de deschidere, „oops”, citate de închidere, în general, nu există așa ceva. O oarecare activitate neuronală se petrece în capul lui. Poze mari ale activității neuronale, dacă ești matematician, pot fi surprinse în spațiul vectorial,unde activitatea fiecărui neuron va corespunde unui număr, iar fiecare număr va corespunde coordonatei unui vector foarte mare. Pentru Hinton, gândul este un dans de vectori.

Acum este clar de ce Institutul Vector a fost numit așa?

Hinton creează un fel de câmp de denaturare a realității, vă este transmis un sentiment de încredere și entuziasm, insuflând credința că nimic nu este imposibil pentru vectori. La urma urmei, au creat deja mașini cu autovehicule, calculatoare pentru detectarea cancerului, traducători de limbi vorbite instant.

Doar când ieși din cameră îți amintești că aceste sisteme de învățare profundă sunt încă destul de mut, în ciuda puterii lor demonstrative de gândire. Un computer care vede o grămadă de gogoși pe o masă și o etichetează automat ca „o grămadă de gogoși pe masă” pare să înțeleagă lumea; dar când în același program vede o fată care se spală pe dinți și spune că este „un băiat cu bâta de baseball”, îți dai seama cât de evazivă este, dacă există, această înțelegere.

Rețelele neuronale sunt doar recunoscători de minte și vagi, precum și cât de utile pot fi astfel de recunoscători de tipuri - până la urmă, încearcă să le integreze în orice software - sunt, în cel mai bun caz, o rază limitată de informații care este ușor păcălită. O rețea neuronală profundă care recunoaște imaginile poate fi complet confuză dacă schimbați un pixel sau adăugați zgomot vizual care este invizibil pentru oameni. Aproape de câte ori găsim noi modalități de a utiliza învățarea profundă, de multe ori ne confruntăm cu limitările sale. Mașinile cu autovehicule nu pot conduce în condiții care nu au fost văzute până acum. Mașinile nu pot analiza propoziții care necesită bunul simț și o înțelegere a modului în care funcționează lumea.

Image
Image

Învățarea profundă imită ceea ce se întâmplă în creierul uman într-un fel, dar superficial - ceea ce explică probabil de ce uneori inteligența sa este atât de superficială. Backprop nu a fost descoperit în timpul imersiei creierului, încercând să descifreze gândul în sine; a rezultat din modele de învățare a animalelor prin încercare și eroare în experimente de modă veche. Și cea mai mare parte a pașilor importanți făcuți de la înființare nu includeau nimic nou în ceea ce privește neuroștiința; acestea au fost îmbunătățiri tehnice meritate de ani de muncă de către matematicieni și ingineri. Ceea ce știm despre inteligență nu este nimic în comparație cu ceea ce nu știm încă despre ea.

David Duvenaud, profesor asistent în același departament ca Hinton la Universitatea din Toronto, spune că învățarea profundă este similară cu ingineria înainte de introducerea fizicii. „Cineva scrie o lucrare și spune:„ Am făcut acest pod și merită!” Altul scrie: „Am făcut acest pod și s-a prăbușit, dar am adăugat suporturi și rămâne în picioare”. Și toată lumea înnebunește pentru suporturi. Cineva adaugă un arc - și toată lumea este așa: arcadele sunt mișto! Cu fizica, vă puteți da seama ce va funcționa și de ce. Abia recent am început să ne îndreptăm către cel puțin o anumită înțelegere a inteligenței artificiale.

Și Hinton însuși spune: „Majoritatea conferințelor vorbesc despre realizarea de mici schimbări în loc să gândească din greu și să pună întrebări:„ De ce facem acum nu se rezolvă? Care este motivul pentru asta? Haideți să ne concentrăm asupra acestui lucru.

Este greu să obții o perspectivă exterioară când tot ce vezi este avansare după avansare. Dar ultimele progrese în AI au fost mai puțin științifice și mai mult inginerești. În timp ce înțelegem mai bine ce schimbări vor îmbunătăți sistemele de învățare profundă, avem încă o idee vagă despre modul în care aceste sisteme funcționează și dacă pot ajunge vreodată la un loc la fel de puternic ca mintea umană.

Este important să înțelegem dacă am reușit să extragem tot ce putem din backprop. Dacă da, atunci vom avea un platou în dezvoltarea inteligenței artificiale.

Răbdare

Dacă doriți să vedeți următoarea descoperire, ceva precum un cadru pentru mașini cu o inteligență mult mai flexibilă, ar trebui, în teorie, să apelați la cercetări similare cercetării backprop din anii 80: când oamenii deștepți au renunțat pentru că ideile lor nu funcționau încă. …

În urmă cu câteva luni, am vizitat Centrul pentru minți, creiere și mașini, o instituție polivalentă staționată la MIT, pentru a-l urmări pe prietenul meu Eyal Dechter să-și apere disertația în științele cognitive. Înainte de începerea spectacolului, soția sa Amy, câinele său Ruby și fiica sa Suzanne l-au sprijinit și i-au urat noroc.

Eyal și-a început discursul cu o întrebare fascinantă: cum s-a întâmplat ca Suzanne, care are doar doi ani, să învețe să vorbească, să se joace, să urmeze povești? Ce este în creierul uman care îi permite să studieze atât de bine? Un computer va învăța vreodată să învețe atât de rapid și fără probleme?

Înțelegem fenomene noi în termeni de lucruri pe care le înțelegem deja. Împărțim domeniul în bucăți și îl examinăm bucată cu bucată. Eyal este matematician și programator, el se gândește la sarcini - precum crearea unui suflu - ca programe de calculator complexe. Dar nu înveți cum să faci un soufflé memorând sute de instrucțiuni ale programului de minute, cum ar fi „întoarceți cotul cu 30 de grade, apoi priviți la masă, apoi întindeți degetul, apoi …”. Dacă ar trebui să faci acest lucru în fiecare caz nou, învățarea ar deveni insuportabilă și ai înceta să te dezvolți. În schimb, vedem în program pași la nivel înalt, cum ar fi „bate albii” în program, care ei înșiși sunt alcătuiți din subrutine precum „rupe ouăle” și „separă albușurile de gălbenușuri”.

Calculatoarele nu fac asta și, prin urmare, par stupide. Pentru învățarea profundă a recunoașterii unui hot dog, trebuie să-i hrăniți 40 de milioane de imagini cu hot dog. Ceea ce Suzanne a recunoscut hot dog-ul, trebuie doar să-i arate cățelușului. Și cu mult înainte de aceasta, ea va înțelege limbajul, ceea ce merge mult mai adânc decât recunoașterea apariției cuvintelor separate împreună. Spre deosebire de un computer, capul ei are o idee despre modul în care funcționează lumea. „Mă surprinde faptul că oamenii se tem că computerele își vor lua locul de muncă”, spune Eyal. „Calculatoarele nu vor putea înlocui avocații, deoarece avocații fac ceva dificil. Dar pentru că avocații ascultă și vorbesc cu oamenii. În acest sens, suntem foarte departe de toate acestea."

Inteligența adevărată nu va fi confundată dacă schimbați ușor cerințele pentru rezolvarea problemei. Și teza cheie a lui Eyal a fost să demonstreze exact acest lucru, în principiu, cum să facă un computer să funcționeze în acest fel: să aplici în mod viu tot ceea ce știe deja pentru a rezolva noi probleme, a înțelege rapid în zbor, a deveni un expert într-un domeniu complet nou.

În esență, acesta este ceea ce el numește algoritmul de explorare-compresie. Oferă computerului funcția de programator, construind o bibliotecă de componente modulare reutilizabile, astfel încât să poată fi create programe mai complexe. Necunoscând nimic despre noul domeniu, computerul încearcă să structureze cunoștințele despre acesta, pur și simplu studiind-o, consolidând ceea ce a descoperit și studiind-o în continuare, ca un copil.

Consilierul său, Joshua Tenenbaum, este unul dintre cei mai citați cercetători ai AI. Numele lui Tenenbaum a apărut în jumătate din conversațiile pe care le-am avut cu alți oameni de știință. Unii dintre oamenii cheie de la DeepMind - echipa de dezvoltare a AlphaGo, care legendarul a bătut Campionul Mondial Go în 2016 - au lucrat sub el. El este implicat într-o pornire care încearcă să ofere mașinilor auto-conducătoare o înțelegere intuitivă a fizicii și intențiilor care stau la baza celorlalți șoferi, astfel încât să poată anticipa mai bine ceea ce se întâmplă în situații pe care nu le-au întâlnit până acum.

Teza lui Eyal nu a fost încă aplicată în practică, nici măcar nu a fost introdusă în programe. "Problemele cu care lucrează Eyal sunt foarte, foarte dificile", spune Tenenbaum. "Este nevoie de multe generații pentru a trece."

Când ne-am așezat la o ceașcă de cafea, Tenenbaum a spus că cercetează istoria de backprop pentru inspirație. Timp de zeci de ani, backprop a fost o formă de matematică mișto, majoritatea nefiind capabilă de nimic. Pe măsură ce calculatoarele au devenit mai rapide și tehnologia a devenit mai grea, lucrurile s-au schimbat. El speră că se va întâmpla ceva similar cu propria sa muncă și cu munca elevilor săi, dar „poate dura încă câteva decenii”.

Pentru Hinton, este convins că depășirea limitărilor AI înseamnă crearea unei „punți între informatică și biologie”. Backprop, din acest punct de vedere, a fost un triumf al calculului inspirat biologic; ideea a venit inițial nu din inginerie, ci din psihologie. Acum, Hinton încearcă să repete acest truc.

Astăzi, rețelele neuronale sunt compuse din mari straturi plate, dar în neocortexul uman, neuronii reali se aliniază nu numai pe orizontală, ci și pe verticală, în coloane. Hinton ghicește pentru ce sunt aceste coloane - în viziune, de exemplu, vă permit să recunoașteți obiecte chiar și atunci când vă schimbați punctul de vedere. Așa că creează o versiune artificială - și le numește „capsule” - pentru a testa această teorie. Până acum, nu iese nimic: capsulele nu au îmbunătățit foarte mult performanțele rețelelor sale. Dar acum 30 de ani a fost la fel și cu backprop.

„Ar trebui să funcționeze”, spune el despre teoria capsulelor, râzând de bravado-ul său. „Și ceea ce nu funcționează încă este doar o iritare temporară”.

Bazat pe materiale de pe Medium.com

Ilya Khel

Recomandat: