Odată cu dezvoltarea rețelelor neuronale și a tehnologiilor de învățare automată, domeniul de aplicare al acestora se extinde. Dacă rețelele neuronale anterioare au fost utilizate exclusiv pentru efectuarea de calcule complexe matematice, medicale, fizice, biologice și previziuni, acum aceste tehnologii câștigă o largă popularitate într-un mediu mai „banal” - în sectorul divertismentului. Făcând doar primii pași în această direcție, ei sunt deja capabili să demonstreze rezultate uimitoare și uneori chiar excepționale. Astăzi vom analiza câteva exemple ilustrative.
Procesul de remasterizare video este atât de complicat și de consumat de timp încât s-ar putea să nu fi văzut niciodată mai multe capodopere ale clasicilor mondiali, cu o imagine nouă, modernă, clară și suculentă. Cu toate acestea, lumea este plină de fani și entuziaști inteligenți, care sunt bine versați în noile tehnologii, în special rețelele neuronale și tehnologiile de învățare automată, cu ajutorul cărora puteți obține rezultate uimitoare chiar și acasă. De exemplu, utilizatorul YouTube, Stefan Rumen, cu pseudonimul CaptRobau, a decis să demonstreze unele dintre capacitățile rețelelor neuronale în procesarea videoclipurilor unei vechi serii de ficțiune științifică.
Opera sa anterioară este Remako Mod, un „remake HD” al clasicului și foarte popular japonez RPG Final Fantasy VII. Pentru a face acest lucru, el a folosit algoritmul AI AI Gigapixel, cu ajutorul căruia a fost capabil să scaleze imaginea imaginii originale de 4 ori, transformând-o în rezoluție HD fără modificări semnificative în designul original al artei. Astfel, în timp ce aștepți încă un deceniu până în momentul în care dezvoltatorul și editorul japonez de jocuri de calculator Square Enix lansează oficial o remasterizare a uneia dintre cele mai bune părți ale acestei serii de jocuri, poți încerca singur modificarea lui Stefan Rumen, descărcându-l de pe acest site.
Apropo, recent, tehnologiile de rețea neuronală pentru remasterizarea jocurilor vechi și aducerea lor la un aspect mai relevant și mai modern, fără a schimba conceptul general general a devenit o adevărată tendință între diferiți modderi. De exemplu, nu cu mult timp în urmă, am vorbit despre tehnologia ESRGAN (Îmbunătățită Super Rezoluție Generativă Adversară Rețele), care implementează tehnologii de scalare a imaginilor cu o creștere a calității cu 2-8x. Algoritmul este „alimentat” cu imaginea originală cu o rezoluție scăzută, după care nu numai că mărește rezoluția originală a acesteia, dar îmbunătățește calitatea imaginii, pictând pe detalii realiste și făcând texturile „mai naturale”.
Comparație a calității texturii: pe stânga este textura originală din jocul Morrowind, pe dreapta - procesată de rețeaua neuronală.
Un personaj din Doom (stânga - era, dreapta - a devenit).
Prelucrare de fundal în Resident Evil 3.
Video promotional:
Așa cum s-ar putea, în intervalele dintre remasterizarea „A șaptea finală”, Ștefan Rumen a decis să preia un alt proiect - să utilizeze aceeași tehnologie de învățare automată, dar de data aceasta pentru procesarea cadrelor din seria clasică de ficțiune din anii 90. Rumen a ales Star Trek: Deep Space Nine ca obiect pentru experimentele sale.
Scalarea unei imagini în direct a unei serii TV este foarte diferită în complexitate decât scalarea unei imagini pre-redate a Final Fantasy VII, notează autorul, deci rezultatul final, deși pare vizibil mai bun decât materialele originale cu rezoluție redusă, însă această imagine este încă departe de idealul despre care ai fi putut visa când primii playere Blu-ray au intrat pe piață. Ocazional, pe „ecran” apar mici „artefacte”. Dar, din nou, în general, totul arată mai mult decât demn. Dar, în general, vezi pentru tine.
Pentru acest proiect, Rumen a folosit și algoritmul AI Gigapixel, care a fost instruit pentru a edita imagini bazate pe fotografii reale. Autorul observă că noua imagine a fost obținută în 1080p și 4k, dar, deoarece Rumen nu are un televizor sau un monitor cu rezoluție nativă 4K, nu poate evalua în mod adecvat versiunea 4K.
Din păcate, nu puteți viziona întreaga serie în calitate HD. Procesul de prelucrare a întregului material sursă ar fi durat foarte mult timp, astfel încât Rumen a folosit doar cadre separate de la diferite serii pentru demonstrație. Potrivit acestuia, el a preluat acest proiect dintr-un singur motiv - pentru a arăta că este cu adevărat posibil. În opinia sa, o întreagă echipă de profesioniști care lucrează într-o companie de televiziune mare și care au la dispoziție echipamente informatice mai potrivite și mai puternice pentru astfel de lucrări vor putea face față mult mai bine acestei sarcini.
Utilizarea rețelelor neuronale pentru a simplifica munca de procesare a imaginilor vechi din jocuri video și filme nu sunt singurele zone în care astfel de tehnologii sunt capabile să își arate talentele. În lumea modernă, în care camerele panoramice capabile să producă 360 de grade, precum și căști de realitate virtuală câștigă popularitate, dezvoltatorii au început să exploreze activ potențialul fotografiei panoramice.
Una dintre cele mai recente evoluții în această direcție este o rețea neuronală capabilă să sune imagini statice panoramice. Este scris de experți de învățare automată de la Universitățile Massachusetts, Universitățile Columbia și Universitatea George Mason.
Algoritmul creat determină tipul de mediu și obiecte din fotografie, apoi selectează și aranjează sunete din baza de date utilizată în conformitate cu calculul spațial al distanței față de sursele lor din această imagine. Datorită acestui fapt, imaginea panoramică dobândește un sunet realist și spațios, care vă permite să evaluați imaginea prezentată într-un mod complet nou.
Potrivit dezvoltatorilor acestei rețele neuronale, tehnologia poate găsi interes printre dezvoltatorii de conținut VR (filme și jocuri). În acest caz, acesta din urmă nu va trebui să suprapună manual toate sunetele de pe imaginea panoramică, rețeaua neuronală va putea face totul singur.
Nikolay Khizhnyak
