Cerebras Systems, o tânără companie de informații artificiale, este pregătită să arate lumii Cerebras WSE (Cerebras Wafer Scale Engine) - cel mai mare, cel mai puternic și mai inteligent cip semiconductor din istorie.
Cerebras WSE are 1,2 trilioane de tranzistoare, comutatoare electronice de bază, care sunt blocurile de construcție ale cipurilor de siliciu. Prin comparație, primul procesor 4004 Intel, lansat în 1971, avea 2.300 de tranzistoare, în timp ce cel mai recent procesor Advanced Micro Devices are 32 de miliarde de tranzistoare. Cu toate acestea, problema nu este deloc legată de numărul tranzistoarelor.
Majoritatea cipurilor din lume sunt de fapt un set de cipuri create pe baza unei placi de siliciu de 12 inci - sunt produse în fabrici speciale, în loturi imense. Dar cipul Cerebras Systems are 400.000 de nuclee conectate pe o singură placă. Conexiunile sunt proiectate să funcționeze la viteze mari, motiv pentru care un tranzistor de trilioane lucrează împreună ca unul. Dar asta nu este tot.
Până în prezent, cel mai mare cip din lume a fost creat de Samsung - structura sa este construită pe 2 trilioane de tranzistoare. Cu toate acestea, cipul Samsung este doar un card de memorie imens, iar cipul Cerebras este cea mai complexă rețea neuronală special creată pentru antrenarea inteligenței artificiale. Cipul Cerebras are 400.000 de nuclee în 42.225 de milimetri pătrați. Aceasta este de 56,7 ori mai mare decât cel mai mare GPU Nvidia cu doar 21,1 miliarde de tranzistoare.
O altă caracteristică a Cerebras WSE este că cipul este proiectat pentru a fi dirijat în jurul unor zone defecte.
Nu este posibil să perfecționați întreaga placă de siliciu în timpul fabricării cipurilor, astfel încât procesul de fabricație creează zone care nu pot fi utilizate. Nvidia, Intel și alți producători de cipuri se confruntă cu problema, pur și simplu: Sculptură cipurile „potrivite” în placa de fabricație și aruncă restul. Dar acest lucru nu se poate face dacă fiecare cip al plafonului de siliciu face parte dintr-un circuit comun. Prin urmare, Cerebras a trebuit să se construiască în circuite redundante, astfel încât, în cazul unei defecțiuni sau a unei arderi a uneia dintre ele, restul să preia funcțiile sale. Adică, de fapt, cipul Cerebras este un Internet în miniatură cu servere și stații de lucru proprii. Și toate aceste stații sunt proiectate pentru a servi unei inteligențe artificiale.
Companiile care dezvoltă propria IA sunt astăzi principalii consumatori de tehnologie de cipuri, achiziționând piese în cantități imense. Iar dimensiunea cipurilor utilizate este importantă în procesul de instruire AI.
Video promotional:
Google, Facebook, OpenAI, Tencent, Baidu și mulți alții susțin că o limitare fundamentală a AI modern este că durează prea mult timp pentru a antrena modele. De exemplu, supercomputerul Nvidia, format din zeci de GPU-uri de ultimă generație, petrece câteva săptămâni modificând codul - adică învățând rețeaua de neutroni.
Soluția problemei ar fi creșterea numărului de cipuri în computer, cu toate acestea, atunci când sunt asamblate mai mult de opt cipuri, performanța computerului nu mai crește, ci scade, deoarece se acumulează erori în timpul schimbului de informații.
Dezvoltatorii înșiși își descriu proiectul astfel: „Partea cea mai grea pentru AI este mișcarea datelor. Pregătirea unei rețele neuronale necesită efectuarea de mii de operații în paralel la un moment dat, iar cipurile trebuie să comunice în mod constant, în timp ce efectuează aceste operații paralele. Dar computerele cu mai multe CI-uri se descompun încercând să transfere date între CI-uri prin fire lente care le leagă între ele pe un PCB. Aveai nevoie de ceva care să poată muta datele cu viteza cipului în sine. Soluția a fost să luați cea mai mare placă pe care o puteți găsi și să tăiați cel mai mare cip din ea."
Memoria este o componentă cheie a oricărei arhitecturi computerizate. Memoria mai aproape de unitățile de calcul oferă calcule mai rapide, latență mai mică și o eficiență energetică mai bună la mutarea datelor. Cu toate acestea, dimensiunea matriței este limitată și cea mai mare parte a memoriei din computer se află în afara matriței. Sistemele Cerebras au ocolit această problemă, oferind fiecărui nucleu acces la 18 gigabyte de memorie internă. Drept urmare, Cerebras Wafer Scale Engine are 3.000 de ori mai multă memorie la bord decât cel mai avansat procesor grafic, oferind în același timp de 10.000 de ori mai multă lățime de bandă.
Primele probe ale noului cip vor fi scoase la vânzare în septembrie, în timp ce Cerebras Systems, încălcând toate regulile existente în industria calculatoarelor, a încălcat, de asemenea, principiul separării producției de unități de calcul și cipuri. Motorul de cântare Cerebras Wafer va fi comercializat ca un dispozitiv unic, dezvoltat de companie, integrat într-o rețea complexă de răcire a apei, deoarece cipul generează căldură extremă, consumând 15 kilowati într-o zonă atât de mică.
Fondatorul și directorul general al companiei Cerebras Systems spune: „Proiectat de la început pentru a lucra cu AI, Cerebras WSE conține inovații fundamentale care încetează în sfârșit stagnarea de lungă durată a tehnicii. Drept urmare, Cerebras WSE oferă câștiguri de performanță de sute sau mii de ori prin soluții modulare moderne. Și toate acestea cu un consum de energie ridicol și puțin spațiu.
Comentariu editorial
Primele teste AI bazate pe Cerebras WSE arată că sarcinile pe care AI-ul de top de la Nvidia le rezolvă săptămâni și luni, Cerebras WSE rezolvă într-un minut, care este, așa cum s-a spus, este cauza pentru bucurie. Cu toate acestea, teoreticienii conspirației au puțină bucurie în această privință.
Cu toții ne amintim (în orice caz, generația mai veche a cititorilor noștri) boom-ul computerului al modelului „anii 90”, când în câțiva ani, puterea computerelor a sărit după comenzi de mărime. Nu mai devreme o persoană, care beaming cu mândrie, a cumpărat un computer cu 16 megabyte de memorie, când după scurt timp, această memorie s-a mutat în memoria cache L2.
Cu toate acestea, de la începutul anilor 2000, industria calculatoarelor părea să se fi oprit: dacă computerele modelelor din 1990 și 2000 nu erau comparabile, atunci nu exista o diferență deosebită între computerele modelelor din 2000 și 2010 - puterea a crescut semnificativ, dar nu și prin ordinele de mărime. Și acum asistăm la nașterea celui de-al doilea Intel 8086, iar acum capacitățile liniei Cerebras WSE vor sări în același ritm: toate problemele legate de impurități și conexiunile de bază au fost acum rezolvate.
Nu cunoaștem toate capacitățile IA moderne de la producătorii de top, dar, în opinia generală, aceste produse nu sunt încă AI și sunt încă departe de un dispozitiv de gândire pe deplin. Cu toate acestea, Cerebras WSE a făcut nu doar un pas în direcția corectă, ci a sărit zece ani, dacă nu mai mult înainte, iar acum SkyNet este deja o perspectivă destul de previzibilă care poate fi realizată anul acesta în 2025.
Mai mult, în SkyNet, spre deosebire de homosapienii plictisitori, nu este nevoie de mult timp pentru o dezvoltare ulterioară: este suficient ca o rețea neuronală să înceapă cel puțin puțin să gândească - și se modifică într-o clipă, după care începe un război nuclear sau ceva de genul. Și va fi în continuare o opțiune foarte bună.
Când o unitate flash cu tranzistoare de trilioane este realizată de Samsung sau Nvidia, toate acestea pot fi explicate cumva, deoarece circuitele logice ale memoriei sunt relativ simple și de același tip aproape pe întreaga zonă. Dar dezvoltarea a 400.000 de nuclee care plugează în același timp și există și unele duplicate, iar unele stații server și iad știe ce. Și, de asemenea, trebuie să scrieți programe de control pentru acestea, care s-au scris de ani buni. Apoi, programele trebuie testate. Dar la ce au fost testate dacă dispozitivul a fost făcut abia acum?
Cu alte cuvinte, se pare că „marțienii” și-au deschis din nou pubelele pentru nativii locali. Și există mari îndoieli că acest lucru a fost făcut pentru a face plăcere jucătorilor - cel mai probabil există o altă sarcină aici. Și ni se pare după cum urmează.
În ultimele decenii, oamenii deștepți își pun tot mai mult problema originii tehnologiei electronice, problema chipizării universale, care nu este clar de ce este nevoie, etc. Pentru a-și păcăli cumva creierul, au venit cu o poveste despre un „computer cuantic”, ale cărui principii nu sunt înțelese nici măcar de către persoanele care au fost numite „dezvoltatorii” oficiali. Și imaginați-vă acum groaza gospodinei mexicane obișnuite, al cărui nou telefon mobil nu numai că va gândi mai bine decât ea, ci va purta la bord un fel de „computer cuantic”. Adică, un astfel de prost este inacceptabil pentru nativii locali - ei vor începe să înnebunească în mers.
Prin urmare, unii „marțieni” deștepți au decis să le arate aborigenilor bipedali de pe planeta Pământ un miracol mai simplu - principiile cărora bătrânii de la NASA le pot explica cel puțin într-un fel. Și dacă nativii acceptă povestea, atunci „marțienii” vor arăta popoarelor alte minuni magice. De exemplu, aceștia vor transfera acest WSE Cerebras într-un telefon mobil și îl vor vinde pentru o sută de dolari. Pentru cumpărătorii de gadgeturi la modă, acest lucru va fi, desigur, foarte fain și bun, dar oamenii se vor gândi un pic mai inteligent imediat: ce este atunci în camerele de server ale diferitelor organizații serioase, de exemplu, ANS, FBI și CIA? Care sunt posibilitățile de control al gândurilor și comportamentului populației?
