Timp de câțiva ani, în anii 1980, candidații la Școala Medicală din St George's Hospital din Londra au fost selectați folosind o metodă de înaltă tehnologie. Un program de calculator, unul dintre primele de acest fel, reia scanat, selectând din toate aplicațiile aproximativ 2.000 de candidați pe an. Programul a examinat înregistrările de admitere, examinând caracteristicile candidaților câștigători și a ajustat până când deciziile sale au corespuns avizului comisiei de admitere.
Cu toate acestea, programul a învățat să găsească mai mult decât note bune și semne de realizare academică. La patru ani de la implementarea programului, doi medici de la spital au descoperit că programul tinde să respingă solicitanții de sex feminin și persoanele cu nume non-europene, indiferent de meritul lor academic. Medicii au descoperit că aproximativ 60 de solicitanți au fost refuzați pur și simplu interviuri în fiecare an din cauza sexului sau a rasei lor. Programul a încorporat genul și prejudecățile rasiale în datele utilizate pentru pregătirea sa - de fapt, a aflat că medicii și străinii nu sunt cei mai buni candidați pentru medici.
Treizeci de ani mai târziu, ne confruntăm cu o problemă similară, dar programele cu prejudecăți interne sunt acum mai răspândite și iau decizii cu mize și mai mari. Algoritmii de inteligență artificială bazate pe învățarea automată sunt folosiți de toate, de la agențiile guvernamentale până la asistența medicală, luând decizii și făcând predicții pe baza datelor istorice. Prin examinarea tiparelor din date, acestea absorb și prejudecățile din date. Google, de exemplu, arată mai multe anunțuri pentru locuri de muncă cu salarii mici pentru femei decât pentru bărbați; Transportul Amazon de o zi ocolește cartierele negre, iar camerele digitale se luptă să recunoască fețele care nu sunt albe.
Este greu de știut dacă algoritmul este părtinitor sau corect, și chiar și experții informatici cred acest lucru. Un motiv este că detaliile despre crearea algoritmului sunt adesea considerate informații de proprietate, astfel încât acestea sunt păzite cu atenție de către proprietari. În cazuri mai complexe, algoritmii sunt atât de complexe încât nici chiar creatorii nu știu exact cum funcționează. Aceasta este problema așa-numitei „cutii negre” a AI - incapacitatea noastră de a vedea interiorul algoritmului și de a înțelege cum ajunge la o soluție. Dacă este lăsată închisă, societatea noastră ar putea fi grav deteriorată: mediul digital întruchipează discriminări istorice cu care am luptat de mulți ani, de la sclavie și iobăgie până la discriminare împotriva femeilor.
Aceste preocupări, exprimate anterior în comunitățile mici de informatică, acum câștigă un impuls. În ultimii doi ani, în acest domeniu au apărut câteva publicații despre transparența inteligenței artificiale. Odată cu această conștientizare, crește un sentiment de responsabilitate. „Există ceva ce nu ar trebui să construim?”, Întreabă Keith Crawford, cercetător la Microsoft și co-fondator al AI Now Insitute din New York.
„Învățarea automată a ajuns în cele din urmă. Încercăm acum să-l folosim pentru sute de sarcini diferite din lumea reală”, spune Rich Caruana, om de știință senior la Microsoft. „Este posibil ca oamenii să poată implementa algoritmi nocivi care să afecteze semnificativ societatea pe termen lung. Acum, se pare, dintr-o dată, toată lumea și-a dat seama că acesta este un capitol important în domeniul nostru.”
Video promotional:
Algoritm neautorizat
Folosim algoritmi de mult timp, dar problema cutiei negre nu are precedent. Primii algoritmi au fost simpli și transparenti. Încă mai folosim multe dintre ele - de exemplu, pentru a evalua bonitatea. Cu fiecare nouă utilizare, reglementarea intră în joc.
„Oamenii folosesc algoritmi pentru a evalua bonitatea de zeci de ani, dar aceste domenii au avut unele așezări destul de puternice, care s-au dezvoltat în paralel cu utilizarea algoritmilor predictivi”, spune Caruana. Regulile de reglementare asigură că algoritmii predictivi oferă o explicație pentru fiecare scor: ați fost refuzat, deoarece aveți mult credit sau un venit prea mic.
În alte domenii, cum ar fi sistemul juridic și publicitatea, nu există reguli care să interzică utilizarea unor algoritmi care nu pot fi citite în mod deliberat. Poate nu știți de ce vi s-a refuzat un împrumut sau nu ați fost angajat, pentru că nimeni nu îl obligă pe proprietarul algoritmului să explice cum funcționează. „Știm însă că, deoarece algoritmii sunt instruiți pe date din lumea reală, trebuie să fie părtași - pentru că lumea reală este părtinitoare”, spune Caruana.
Luați în considerare, de exemplu, limba, una dintre cele mai evidente surse de părtinire. Când algoritmii sunt instruiți din textul scris, ei formează unele asociații între cuvinte care apar mai des împreună. De exemplu, ei învață că „pentru un bărbat să fie programator de calculator este același ca pentru o femeie să fie gospodină”. Când acest algoritm este însărcinat să găsească un CV potrivit pentru un job de programator, este probabil să fie selectat dintre candidații bărbați.
Probleme ca acestea sunt destul de ușor de remediat, dar multe companii pur și simplu nu o vor face. În schimb, ei vor ascunde astfel de neconcordanțe în spatele unui scut de informații protejate. Fără acces la detaliile algoritmului, experții, în multe cazuri, nu vor putea determina dacă există o prejudecată sau nu.
Deoarece acești algoritmi sunt secreți și rămân în afara competenței autorităților de reglementare, este aproape imposibil pentru cetățeni să dea în judecată creatorii algoritmilor. În 2016, Curtea Superioară din Wisconsin a respins cererea unei persoane de a revizui lucrările interne ale COMPAS. Bărbatul, Eric Loomis, a fost condamnat în parte la șase ani de închisoare pentru că COMPAS îl considera „cu risc ridicat”. Loomis spune că dreptul său la un proces cuvenit a fost încălcat de dependența judecătorului de un algoritm opac. Cererea finală către Curtea Supremă a SUA a eșuat în iunie 2017.
Dar companiile secrete nu se vor bucura de libertatea lor la nesfârșit. Până în martie, UE va adopta legi care vor cere companiilor să poată explica clienților interesați cum funcționează algoritmii lor și cum se iau deciziile. SUA nu au o astfel de legislație în lucrări.
Medicină criminalistică cu cutie neagră
Indiferent dacă organismele de reglementare se implică în toate acestea, o schimbare culturală în modul în care algoritmii sunt proiectați și dislocați ar putea reduce prevalența algoritmilor părtinitori. Întrucât tot mai multe companii și programatori se angajează să-și facă algoritmii transparenti și de înțeles, unii speră că companiile care nu fac acest lucru își vor pierde reputația bună în ochii publicului.
Creșterea puterii de calcul a făcut posibilă crearea unor algoritmi care să fie preciși și explicabili - o provocare tehnică pe care dezvoltatorii nu au reușit să o depășească istoric. Cercetări recente sugerează că pot fi create modele explicabile care prezic reapariția infractorilor la fel de exact ca o cutie neagră de oameni de știință criminalistă, cum ar fi COMPAS.
„Am terminat - știm să creăm modele fără cutii negre”, spune Cynthia Rudin, profesor asistent de informatică și inginerie electrică la Universitatea Duke. „Dar nu este atât de ușor să atragem atenția oamenilor asupra acestei lucrări. Dacă agențiile guvernamentale ar înceta să plătească pentru modelele de cutii negre, aceasta ar ajuta. Dacă judecătorii refuză să folosească modele de cutii negre pentru condamnare, asta va ajuta și ei."
Alții lucrează pentru a găsi modalități de testare a validității algoritmilor prin crearea unui sistem de verificări și solduri înainte ca algoritmul să fie lansat pe lume, la fel ca orice nou medicament este testat.
„Modelele sunt făcute și implementate prea repede acum. Nu există o validare adecvată înainte ca algoritmul să fie lansat”, spune Sarah Tan de la Universitatea Cornell.
În mod ideal, dezvoltatorii ar trebui să mărturisească prejudecățile cunoscute - precum genul, vârsta și rasa - și să execute simulări interne pentru a testa algoritmii lor pentru alte probleme.
Între timp, înainte de a ajunge la punctul în care toți algoritmii vor fi testați în profunzime înainte de eliberare, este deja posibil să se determine care dintre ei vor suferi de prejudecată.
În lucrarea lor cea mai recentă, Tan, Caruana și colegii lor au descris o nouă modalitate de a înțelege ce s-ar putea întâmpla sub capota algoritmilor de cutie neagră. Oamenii de știință au creat un model care imită algoritmul cutiei negre, învățând să estimeze riscul de recidivă folosind date COMPAS. De asemenea, au creat un alt model care s-a instruit pe datele din lumea reală pentru a arăta dacă a avut loc efectiv reincidentul prevăzut. Compararea celor două modele le-a permis oamenilor de știință să evalueze exactitatea scorului prevăzut fără a analiza algoritmul. Diferențele dintre rezultatele celor două modele pot indica ce variabile, precum rasa sau vârsta, pot fi mai importante într-un anumit model. Rezultatele lor au arătat că COMPAS discriminează oamenii negri.
Algoritmi bine gândiți pot elimina prejudecățile de lungă durată din justiția penală, poliție și multe alte domenii ale societății.
Ilya Khel
