Divizia de inteligență artificială Google a anunțat crearea unei noi metode de formare a rețelelor neuronale, care combină utilizarea algoritmilor avansați și a jocurilor video vechi. Jocurile video vechi Atari sunt utilizate ca mediu de învățare.
Dezvoltatorii DeepMind (reamintim că acești oameni au creat rețeaua neuronală AlphaGo, care i-a învins în mod repetat pe cei mai buni jucători din jocul logic), cred că mașinile pot învăța în același mod ca și oamenii. Folosind sistemul de instruire DMLab-30, bazat pe jocurile arcade Quake III și arcade Atari (sunt utilizate 57 de jocuri diferite), inginerii au dezvoltat un nou algoritm IMPALA (Importanța Ponderată Actor-Învățător Arhitecturi) de învățare a mașinilor. Permite părților individuale să învețe cum să îndeplinească mai multe sarcini simultan, și apoi să facă schimb de cunoștințe între ele.
În multe privințe, noul sistem s-a bazat pe sistemul de arhitectură Asynchronous Actor-Critic Agents (A3C), în care agenții individuali explorează mediul, apoi procesul este întrerupt și schimbă cunoștințe cu componenta centrală, „studentul”. În ceea ce privește IMPALA, acesta poate avea mai mulți agenți, iar procesul de învățare în sine are loc într-un mod ușor diferit. În ea, agenții trimit informații la doi „studenți” simultan, care apoi fac schimb de date între ei. În plus, dacă în A3C calculul gradientului funcției de pierdere (cu alte cuvinte, discrepanța dintre valorile parametrilor previzionate și obținute) se face de către agenții înșiși, care trimit informații către nucleul central, atunci în sistemul IMPALA, această sarcină este realizată de „studenți”.
Un exemplu de persoană care joacă prin joc:
Iată cum sistemul IMPALA gestionează aceeași sarcină:
Una dintre principalele provocări în dezvoltarea AI este timpul și nevoia de putere de calcul ridicată. Chiar și atunci când sunt autonome, mașinile au nevoie de reguli pe care le pot urma în propriile experimente și găsind modalități de rezolvare a problemelor. Deoarece nu putem doar să construim roboți și să îi lăsăm să învețe, dezvoltatorii folosesc simulări și tehnici de învățare profundă.
Pentru ca rețelele neuronale moderne să învețe ceva, trebuie să proceseze o cantitate imensă de informații, în acest caz, miliarde de cadre. Și cu cât o fac mai repede, cu atât va dura mai puțin timp pentru a învăța.
Video promotional:
Cu suficiente procesoare, DeepMind spune că IMPALA realizează 250.000 de cadre pe secundă sau 21 de miliarde de cadre pe zi. Aceasta este o înregistrare absolută pentru sarcini de acest fel, potrivit The Next Web. Dezvoltatorii înșiși comentează că sistemul lor AI face față mai bine sarcinii decât mașini și oameni similari.
În viitor, algoritmi AI similari pot fi folosiți în robotică. Prin optimizarea sistemelor de învățare a mașinilor, roboții se vor adapta mai rapid la mediul lor și vor lucra mai eficient.
Nikolay Khizhnyak
