În afara ferestrei este 2022. Conduceți o mașină cu autovehicul, ca de obicei, prin oraș. Mașina se apropie de un semn de oprire, pe care a trecut de multe ori, dar de data aceasta nu se oprește în fața ei. Pentru tine, acest semn de oprire este ca celelalte. Dar pentru o mașină, este complet diferit. Câteva minute mai devreme, fără să avertizeze pe nimeni, atacatorul lipise o placă mică pe semn, invizibil pentru ochiul uman, dar pe care tehnologia nu poate să nu-l observe. Adică, un mic autocolant pe semn a transformat semnul de oprire în ceva complet diferit de semnul de oprire.
Toate acestea pot părea incredibile. Dar o zonă de cercetare în creștere demonstrează că inteligența artificială poate fi păcălită în ceva de genul acesta dacă vede niște detalii minuscule care sunt complet invizibile pentru oameni. Pe măsură ce algoritmii de învățare automată apar din ce în ce mai mult pe drumurile noastre, finanțele noastre, sistemul nostru de asistență medicală, informaticienii speră să învețe mai multe despre cum să le protejeze de astfel de atacuri - înainte ca cineva să încerce cu adevărat să le păcălească.
„Aceasta este o preocupare din ce în ce mai mare în comunitatea de învățare automată și AI, mai ales că acești algoritmi sunt folosiți din ce în ce mai mult”, spune Daniel Lode, profesor asistent la Departamentul de Informatică și Știința Informației de la Universitatea din Oregon. „Dacă spamul trece sau este blocat de mai multe e-mailuri, acesta nu este sfârșitul lumii. Dar dacă te bazezi pe un sistem de viziune într-o mașină cu autovehicul care îi spune mașinii cum să conducă fără să se prăbușească cu nimic, miza este mult mai mare."
Indiferent dacă mașina se descompune sau va fi piratată, algoritmii de învățare a mașinii care „văd” lumea vor avea de suferit. Și la fel cu mașina, panda arată ca o gibonă, iar autobuzul școlar arată ca un struț.
Într-un experiment, oamenii de știință din Franța și Elveția au arătat cum astfel de tulburări ar putea determina un computer să greșească o veveriță pentru o vulpe gri și o oală de cafea pentru un papagal.
Cum este posibil acest lucru? Gândiți-vă cum copilul tău învață să recunoască numerele. Privind simbolurile unul câte unul, copilul începe să observe unele caracteristici comune: unele sunt mai înalte și mai subțiri, șase și noua conțin o buclă mare, iar ochii conțin două, etc. După ce văd suficiente exemple, pot recunoaște rapid numere noi ca patru, opt sau triplete - chiar dacă, datorită fontului sau scrierii de mână, acestea nu arată exact ca alți patru, opt sau filete pe care le-au avut vreodată. văzut înainte.
Algoritmii de învățare automată învață să citească lumea printr-un proces oarecum similar. Oamenii de știință alimentează computerul cu sute sau mii de exemple (de obicei etichetate) cu ceea ce ar dori să găsească pe computer. Când aparatul trece prin date - acesta este un număr, acesta nu este, acesta este un număr, nu este - începe să observe caracteristicile care duc la un răspuns. În curând, se va uita la poză și va spune: „Asta e cinci!”. cu precizie ridicată.
Video promotional:
Astfel, atât copiii umani, cât și computerele pot învăța să recunoască o gamă vastă de obiecte, de la numere la pisici, de la bărci până la fețe umane individuale.
Dar, spre deosebire de un copil uman, un computer nu acordă atenție detaliilor la nivel înalt - cum ar fi urechile de blană ale pisicilor sau forma unghiulară distinctivă a celor patru. Nu vede întreaga imagine.
În schimb, privește pixeli individuali într-o imagine - și cel mai rapid mod de a separa obiecte. Dacă majoritatea copleșitoare a unităților au un pixel negru la un anumit punct și câțiva pixeli albi în alte puncte, aparatul va învăța foarte repede să le determine cu câțiva pixeli.
Acum înapoi la semnul de oprire. Corectând imperceptibil pixelii din imagine - experții numesc această interferență „perturbări” - puteți păcăli computerul să creadă că nu există niciun semn de oprire.
Studii similare ale Laboratorului de Inteligență Artificială Evoluționară de la Universitatea din Wyoming și Universitatea Cornell au produs destul de multe iluzii optice pentru inteligența artificială. Aceste imagini psihedelice cu modele și culori abstracte sunt spre deosebire de orice pentru oameni, dar sunt recunoscute rapid de computer ca șerpi sau puști. Acest lucru sugerează modul în care AI poate privi ceva și să nu vadă obiectul sau să vadă altceva în schimb.
Această slăbiciune este comună în toate tipurile de algoritmi de învățare automată. „Ne-am aștepta ca fiecare algoritm să aibă o gaură în armură”, spune Evgeny Vorobeichik, profesor asistent de informatică și calculatoare la Universitatea Vanderbilt. „Trăim într-o lume multidimensională foarte complexă, iar algoritmii, prin natura lor, afectează doar o mică parte din ea.”
Sparrow este „extrem de încrezător” că, dacă există aceste vulnerabilități, cineva își va da seama cum să le exploateze. Probabil că cineva a făcut deja acest lucru.
Luați în considerare filtrele de spam, programele automatizate care filtrează orice e-mailuri incomode. Spammerii pot încerca să ocolească această barieră schimbând ortografia cuvintelor (în loc de Viagra - vi @ gra) sau adăugând o listă de „cuvinte bune” care se găsesc de obicei în litere normale: cum ar fi „aha”, „eu”, „bucuros”. Între timp, spamerii pot încerca să înlăture cuvintele care apar adesea în spam, cum ar fi „mobil” sau „câștig”.
Unde pot ajunge escrocii într-o zi? O mașină cu autovehicule înșelată de un autocolant cu semn de oprire este un scenariu clasic gândit de experți în domeniu. Datele suplimentare pot ajuta pornografia să alunece prin filtre sigure. Alții ar putea încerca să crească numărul de verificări. Hackerii pot regla codul software-ului rău intenționat pentru a sustrage aplicarea legii.
Atacatorii își pot da seama cum pot crea date lipsă dacă primesc o copie a algoritmului de învățare automată pe care doresc să o păcălească. Dar nu trebuie să fie pentru a trece prin algoritm. Se poate rupe pur și simplu cu forța brută aruncând versiuni ușor diferite de e-mail sau imagini la el până când trec. De-a lungul timpului, poate fi folosit chiar și pentru un model complet nou care știe ce caută băieții buni și ce date să producă pentru a-i păcăli.
„Oamenii manipulează sistemele de învățare a mașinilor de la prima introducere”, spune Patrick McDaniel, profesor de informatică și inginerie la Universitatea din Pennsylvania. „Dacă oamenii folosesc aceste metode, este posibil să nu știm nici măcar despre asta”.
Aceste metode pot fi utilizate nu numai de fraudatori - oamenii se pot ascunde de ochii cu raze X ale tehnologiilor moderne.
„Dacă sunteți un fel de disident politic în cadrul unui regim represiv și doriți să desfășurați evenimente fără cunoștința agențiilor de informații, poate fi necesar să evitați metodele de observare automată bazate pe învățarea automată”, spune Lode.
Într-un proiect publicat în octombrie, cercetătorii de la Universitatea Carnegie Mellon au creat o pereche de ochelari care pot induce în eroare subtil sistemul de recunoaștere facială, determinând un computer să greșească actrița Reese Witherspoon pentru Russell Crowe. Pare ridicol, dar o astfel de tehnologie poate veni la îndemână pentru oricine disperată să evite cenzura de către cei aflați la putere.
Ce să faci cu toate acestea? "Singura modalitate de a evita acest lucru este de a crea un model perfect care să fie întotdeauna corect", spune Lode. Chiar dacă am putea crea inteligență artificială care depășește oamenii în orice fel, lumea poate aluneca în continuare un porc într-un loc neașteptat.
Algoritmii de învățare a mașinilor sunt de obicei apreciați după exactitatea lor. Un program care recunoaște 99% din scaune va fi în mod clar mai bun decât unul care recunoaște 6 scaune din 10. Dar unii experți sugerează o altă modalitate de a evalua capacitatea algoritmului de a face față unui atac: cu atât mai greu cu atât mai bine.
O altă soluție ar putea fi ca experții să poată seta ritmul pentru programe. Creați propriile exemple de atacuri în laborator pe baza capacităților infractorilor după părerea dvs., apoi arătați-le algoritmului de învățare automată. Acest lucru îl poate ajuta să devină mai rezistent în timp - cu condiția, desigur, că atacurile de testare sunt de tipul care va fi testat în lumea reală.
„Sistemele de învățare automată sunt un instrument de gândire. Trebuie să fim inteligenți și raționali cu privire la ceea ce le oferim și ce ne spun ei”, a spus McDaniel. „Nu ar trebui să le tratăm ca pe niște oracole perfecte ale adevărului”.
ILYA KHEL
