Cea mai mare lecție care trebuie învățată din cei 70 de ani de cercetare AI este că metodele generale care utilizează calculul sunt în cele din urmă cele mai eficiente - și cu o marjă largă. Motivul final pentru aceasta este Legea lui Moore. Sau mai degrabă, generalizarea acesteia: reducerea continuă, exponențială a costurilor procesoarelor de calcul. Această „lecție amară” a fost împărtășită de Richard Sutton, un informatician canadian. Mai departe - de la prima persoană.
De ce cercetarea inteligenței artificiale a fost oprită de 70 de ani?
Majoritatea cercetărilor de inteligență artificială au fost efectuate ca și cum calculele disponibile agentului ar fi persistente (iar în acest caz, utilizarea cunoștințelor umane ar fi una dintre singurele modalități de a îmbunătăți performanța). Însă, în timp - mult mai mult decât are nevoie de un proiect tipic de cercetare - inevitabil, mult mai multă calculare devine disponibilă. În căutarea unor îmbunătățiri care pot ajuta pe termen scurt, oamenii de știință încearcă să maximizeze cunoștințele umane în acest domeniu, dar singurul lucru care contează pe termen lung este utilizarea tot mai mare a calculatoarelor. Aceste două aspecte nu ar trebui să se opună între ele, ci în practică. Timpul petrecut pe una dintre ele nu este egal cu timpul petrecut pe celălalt. Există obligații psihologice de a investi într-o abordare sau alta. Iar abordarea cunoașterii umane tinde să complice metodele astfel încât acestea să devină mai puțin potrivite pentru a profita de metodele generale care utilizează calculul.
Au existat multe exemple de cercetători din AI care au înțeles tardiv această lecție amară. Va fi instructiv să luăm în considerare unele dintre cele mai proeminente exemple.
În șahul computerului, metodele care l-au învins pe campionul mondial Kasparov în 1997 s-au bazat pe o căutare masivă și profundă. La acea vreme, cei mai mulți cercetători de șah din calculator au fost priviți cu consternare, care au folosit metode bazate pe înțelegerea umană a structurii specifice a șahului. Când o abordare mai simplă, bazată pe căutare, cu hardware și software specializat s-a dovedit a fi mult mai eficientă, cercetătorii care se bazează pe înțelegerea umană a șahului nu au admis înfrângerea. Ei au spus: „De data aceasta abordarea forțelor brute poate să fi câștigat, dar nu va deveni o strategie de ansamblu și, cu siguranță, oamenii nu joacă șah în acest fel. Acești oameni de știință doreau ca metodele bazate pe oameni să câștige și au fost foarte dezamăgiți când nu au reușit.
Video promotional:
O imagine similară a progresului cercetării a fost observată în computer, doar cu o întârziere de încă 20 de ani. Inițial, s-au depus eforturi mari pentru a evita căutarea folosind cunoștințe umane sau gameplay, dar toate aceste eforturi au fost inutile sau chiar mai grave odată ce căutarea a fost aplicată eficient și pe scară largă. De asemenea, a fost important să se folosească învățarea în procesul jocului independent pentru a învăța funcția valorică (așa cum s-a întâmplat în multe alte jocuri și chiar în șah, doar învățarea nu a jucat un rol important în programul din 1997, care a bătut campioana mondială pentru prima dată). A învăța să te joci cu sine, a învăța în ansamblu, este ca o căutare care îți permite să aplici tablouri uriașe de calcule. Căutarea și învățarea sunt două dintre cele mai importante clase de tehnici care implică cantități enorme de calcul în cercetarea AI. În computer mergiCa și în șahul computerului, eforturile inițiale ale cercetătorilor au avut ca scop folosirea înțelegerii umane (astfel încât a existat mai puține căutări), iar mult mai mult succes a fost obținut doar mai târziu prin utilizarea căutării și a învățării.
În domeniul recunoașterii discursului, în anii '70 a avut loc o competiție sponsorizată de DARPA. Participanții au prezentat diverse metode care au profitat de cunoștințele umane - cunoașterea cuvintelor sau fonemelor, a tractului vocal uman ș.a. Pe cealaltă parte a baricadelor, existau metode mai noi, de natură statistică și care făceau mai multe calcule, bazate pe modele Hidden Markov (HMM). Din nou, metodele statistice au câștigat prin metode bazate pe cunoaștere. Aceasta a dus la schimbări majore în toate procesările limbajului natural, care au fost introduse treptat de-a lungul deceniilor, până când în cele din urmă statisticile și calculele au început să domine domeniul. Creșterea recentă a învățării profunde în recunoașterea vorbirii este ultimul pas în această direcție consistentă. Învățarea profundă se bazează și mai puțin pe cunoștințele umane și folosește și mai mult calcul, împreună cu formarea pe seturi uriașe de probe și produce sisteme uimitoare de recunoaștere a vorbirii.
Richard Sutton, informatician canadian.
La fel ca în jocuri, oamenii de știință au încercat întotdeauna să creeze sisteme care să funcționeze așa cum și-au imaginat în cap - au încercat să pună aceste cunoștințe în sistemele lor - dar toate au ieșit extrem de neproductive, oamenii de știință pierdeau timpul în timp - datorită Legii lui Moore - au devenit disponibile din ce în ce mai multe calcule masive și au găsit aplicații excelente.
O imagine similară a fost în domeniul viziunii computerului. Primele metode au fost percepute ca o căutare a anumitor contururi, cilindri generalizați sau folosind capabilitățile SIFT (transformare la scară-invariabilă a caracteristicilor). Dar astăzi toate acestea au fost aruncate în cuptor. Rețelele neuronale moderne de învățare profundă folosesc doar conceptul de convoluție și anumiți invariați și se comportă mult mai bine.
Aceasta este o lecție minunată.
Oriunde ne uităm, continuăm să facem aceleași greșeli peste tot. Pentru a vedea acest lucru și a face față eficient cu acest lucru, trebuie să înțelegeți de ce aceste greșeli sunt atât de atractive. Trebuie să învățăm lecția amară care construiește modul în care gândim cum gândim că nu va funcționa pe termen lung. O lecție amară bazată pe observație istorică arată că: 1) Cercetătorii AI au încercat adesea să-și bazeze cunoștințele în agenții lor; 2) a ajutat întotdeauna pe termen scurt și a adus satisfacția oamenilor de știință; 3) dar pe termen lung, totul a ajuns la un stop și a împiedicat progresul suplimentar; 4) progresul perturbator a venit inevitabil cu abordarea opusă, bazată pe calcularea scalării prin căutare și învățare. Succesul a avut un gust amar și deseori nu a fost complet absorbit.pentru că este succesul calculelor, nu succesul abordărilor centrate pe om.
Un lucru de învățat din această lecție amară este puterea imensă a metodelor de scop general, metode care continuă să se extindă cu creșterea calculului, chiar dacă calculul disponibil devine foarte mare. Două metode care par să se extindă în mod arbitrar în acest mod sunt căutarea și învățarea.
Al doilea lucru care trebuie învățat din această lecție amară este că conținutul real al minții este extrem de complex și inutil; ar trebui să încetăm să încercăm să găsim modalități simple de a înțelege conținutul minții, similar cu modalitățile simple de a da sens spațiului, obiectelor, mai multor agenți sau simetrii. Toate fac parte dintr-o lume externă complex arbitrar. Nu ar trebui să încercăm să construim pe ele, deoarece complexitatea lor este infinită; ar trebui să ne bazăm pe meta-metode care pot găsi și surprinde această complexitate arbitrară. Aceste metode pot găsi aproximații bune, dar căutarea acestora ar trebui să fie efectuată prin metodele noastre, nu de noi. Avem nevoie de agenți AI care să descopere în același mod în care putem și să nu conțină ceea ce am descoperit. Bazându-ne pe descoperirile noastre nu complică decât procesul de descoperire și căutare.
Ilya Khel
