Recent, rețelele neuronale au fost surprinzătoare cu abilitățile lor - ați putea crede acum zece ani că un computer ar putea „anima” portretele lui Dostoievski și Marilyn Monroe? Pregătiți-vă să fiți uimiți în continuare, deoarece cercetătorii de la MIT au creat o rețea neuronală Speech2Face care poate atrage portrete ale oamenilor doar ascultând vocile lor. Tehnologia este departe de a fi ideală, dar capacitatea sa de a determina sexul, naționalitatea și vârsta unei persoane este impresionantă.
Pentru a antrena rețeaua neuronală, kitul AVSpeech a fost utilizat cu un milion de videoclipuri scurte cu mii de oameni care vorbesc. Piesele cu video și sunet sunt separate, astfel încât sistemul a fost capabil să studieze fiecare tip de material cât mai detaliat. În prima etapă de lucru, algoritmul VGG-Face a studiat fragmentele video și a creat portrete ale persoanelor pe ele în expresii faciale complete și neutre. O altă parte a algoritmului a studiat spectrograma vocii și a aplicat modificări suplimentare portretelor rezultate - ca urmare, s-a obținut un portret aproximativ al fiecărei persoane care vorbește.
O rețea neuronală pentru crearea de portrete bazate pe voce este deja o realitate
Dacă comparați fața unei persoane cu un videoclip și opțiunea propusă de algoritm, puteți găsi multe diferențe. Cu toate acestea, cercetătorii asigură că inițial nu au dorit să creeze cel mai similar portret al unei persoane - mulți factori afectează tonul și intonația vocii umane, astfel încât nu ar fi obținut rezultatul ideal. Însă rețeaua neuronală face o treabă excelentă a ceea ce este important pentru cercetători, și anume determinarea precisă a sexului, naționalității și vârstei.
Autorii lucrării au remarcat că, în acest moment, algoritmul este slab în determinarea vârstei, dar pot îmbunătăți precizia. S-a constatat, de asemenea, că algoritmul recreează mai bine fețele europene și asiatice, dar acest lucru se datorează doar faptului că videoclipurile de instruire au un număr inegal de fețe de diferite naționalități.
Video promotional:
De ce ai nevoie de o rețea neuronală?
Cum poate fi utilă această tehnologie în viitor? În mod alternativ, cu ajutorul acestuia, poate fi creat într-o zi un serviciu în care avatarul virtual al unui utilizator este creat automat, pe baza vocii sale. Noul studiu are, de asemenea, mari avantaje științifice - studiind datele, oamenii de știință pot găsi relația dintre aspectul unei persoane și vocea sa. Puteți asculta voci și privi portretele recreate pe baza lor pe site-ul web al proiectului.
Ramis Ganiev
