Domeniul inteligenței artificiale este adesea comparat cu industria petrolieră: odată extras și rafinat, datele, precum petrolul, pot deveni o marfă foarte profitabilă. Cu toate acestea, acum devine evident că această metaforă se extinde. Ca și combustibilii fosili, învățarea profundă are un impact imens asupra mediului. Într-un nou studiu, oamenii de știință de la Universitatea din Massachusetts Amherst au evaluat ciclul de viață al învățării mai multor modele comune de AI.
S-a constatat că acest proces poate genera peste 626.000 de lire sterline (aproximativ 300.000 kg) echivalent de dioxid de carbon, de aproape cinci ori mai mult decât emisiile unei mașini tipice în cinci ani (inclusiv producția automobilului în sine).
Mod de instruire a modelelor AI
Aceasta este o cuantificare uimitoare a ceea ce au suspectat de mult cercetătorii AI.
Procesarea limbajului natural Amprenta de carbon
Video promotional:
Lucrarea abordează în mod specific procesul de formare a unui model pentru procesarea limbajului natural (NLP), un sub-câmp al AI care se ocupă de mașini de instruire pentru a lucra cu limbajul uman. În ultimii doi ani, comunitatea NLP a făcut mai multe repere importante în domeniile traducerii automate, completării propozițiilor și altor sarcini de clasificare standard. Infamul model OpenAI GPT-2, de exemplu, a reușit să scrie convingeri false de știri.
Dar astfel de avansuri au necesitat instruirea unor modele din ce în ce mai mari pe seturi de date întinse din propoziții trase de pe Internet. Această abordare este costisitoare din punct de vedere al calculului și consumă foarte mult consum energetic.
Cercetătorii au analizat cele patru modele din zonă responsabile pentru cele mai mari salturi în performanță: Transformer, ELMo, BERT și GPT-2. Ei au instruit fiecare dintre ei într-un singur GPU pentru o zi pentru a măsura consumul de energie.
Apoi au luat numărul de ore de antrenament specificate în documentele modelului original pentru a calcula energia totală consumată pe parcursul întregului proces de formare. Acea cantitate a fost transformată în echivalentul a kilograme de dioxid de carbon, care a fost în concordanță cu amestecul de energie AWS de la Amazon, cel mai mare furnizor de cloud din lume.
S-a constatat că costurile de calcul și de mediu ale pregătirii au crescut proporțional cu dimensiunea modelului și apoi au crescut exponențial atunci când precizia finală a modelului a fost ajustată. O căutare de arhitectură neurală care încearcă să optimizeze un model prin schimbarea treptată a structurii rețelei neuronale prin încercare și eroare suportă costuri extrem de mari, cu câștig de performanță redus. Fără asta, cel mai scump model BERT a lăsat o amprentă de carbon de 1.400 de lire sterline (635 kg), aproape de o călătorie dus-întors americană.
Mai mult decât atât, aceste cifre ar trebui considerate doar drept linii de bază.
În total, oamenii de știință estimează că procesul de creare și testare a modelului final demn de publicat a necesitat instruire de 4.789 de modele în șase luni. În ceea ce privește echivalentul CO2, acesta este de aproximativ 35.000 kg.
Semnificația acestor numere este colosală, în special având în vedere tendințele actuale în cercetarea AI. În general, cercetarea AI neglijează eficiența, deoarece rețelele neuronale mari sunt recunoscute ca fiind utile pentru diverse sarcini, iar companiile cu resurse de calcul nelimitate le vor folosi pentru a obține un avantaj competitiv.
Ilya Khel
