Crearea algoritmilor de lucru cu imagini a fost întotdeauna o sarcină destul de dificilă, dar promițătoare. Când încă îmi scriam proiectul de absolvire în 1999, tema „recunoașterii modelului” a fost foarte relevantă în sistemele de control și management automat.
Asta pot face astăzi. Dezvoltatorii indieni au prezentat un sistem care poate crea videoclipuri scurte din imagini încețoșate. Algoritmul funcționează pe baza rețelelor neuronale convoluționale și recurente și vă permite să transformați artefacte în mișcare în imagini în videoclipuri scurte (până la zece cadre).
Mai multe detalii …
Când vizionează o imagine încețoșată, o persoană poate completa mental o imagine cu ceea ce se întâmplă. De exemplu, a vedea o fotografie a unei păsări cu aripi confuze sugerează că estomparea imaginii se datorează artefactelor în mișcarea aripilor în timpul achiziției. Cu toate acestea, pentru sistemele de vizionare pe calculator, această sarcină este mai dificilă, iar majoritatea metodelor cunoscute sunt orientate numai către îndepărtarea artefactelor în mișcare și netezirea cadrelor.
Oamenii de știință de la Institutul Indian de Tehnologie, condus de AN Rajagopalan, au sugerat ca o singură imagine încețoșată să poată fi folosită pentru a crea un întreg videoclip scurt: adică să restaureze mișcarea originală din artefactele sale din imagine. Pentru a face acest lucru, au dezvoltat un algoritm bazat pe rețele neuronale convoluționale, care sunt utilizate în mod activ pentru sarcini legate de recunoașterea automată a imaginilor, precum și rețele neuronale recurente.
Modelul este instruit pe un număr mare de videoclipuri, care sunt împărțite în cadre. După aceea, rețeaua neuronală caută un astfel de cadru, artefactele pe care se potrivesc cel mai îndeaproape artefactele cadrului probei de antrenament. După aceasta, decodificatorul „restabilește” artefactele cadrului probei de antrenament în mișcare capturate pe video. Astfel, modelul stochează date cu privire la posibile mișcări recuperate din fiecare cadru neclar disponibil în proba de formare.
Video promotional:
În urma lucrărilor, rețeaua neuronală produce videoclipuri, reconstruite din imaginea neclară, formată din zece cadre. Algoritmul dezvoltat, potrivit creatorilor, va putea ajuta în viitor să îmbunătățească nu numai restaurarea imaginilor încețoșate, ci și videoclipurile în sine.
Eliminarea artefactelor în mișcare în cadre individuale poate îmbunătăți, de asemenea, fluxul video. Până în prezent, în acest scop, se folosesc în principal algoritmi pentru adaptarea bitratei în funcție de viteza video și buffering-ul acestuia.
Elizaveta Ivtushok
