Neseniai neuroniniai tinklai stebino savo įgūdžiais - ar galėjai prieš dešimt metų patikėti, kad kompiuteris gali „pagyvinti“Dostojevskio ir Marilyn Monroe portretus? Pasiruoškite dar labiau nustebinti, nes MIT tyrėjai sukūrė „Speech2Face“neuroninį tinklą, kuris gali piešti žmonių portretus tiesiog klausydamasis jų balso. Technologija toli gražu nėra ideali, tačiau jos galimybės nustatyti žmogaus lytį, tautybę ir amžių yra įspūdingos.
Norint išmokyti neuroninį tinklą, „AVSpeech“rinkinys buvo panaudotas su milijonu trumpų vaizdo įrašų su tūkstančiais kalbančių žmonių. Takeliai su vaizdo ir garsu yra atskirti, todėl sistema galėjo kiek įmanoma išsamiau ištirti kiekvieno tipo medžiagą. Pirmajame darbo etape „VGG-Face“algoritmas tyrė vaizdo fragmentus ir sukūrė ant jų esančių žmonių portretus viso veido ir neutraliomis veido išraiškomis. Kita algoritmo dalis ištyrė balso spektrogramą ir gautus portretus pritaikė papildomai - dėl to buvo gautas apytikslis kiekvieno kalbančio asmens portretas.
- „Salik.biz“
Neuroninis tinklas, skirtas kurti balsu paremtus portretus, jau yra tikrovė
Jei palyginsite žmogaus veidą su vaizdo įrašu ir algoritmo pasiūlytu variantu, galite rasti daugybę skirtumų. Tačiau tyrėjai patikina, kad iš pradžių nenorėjo sukurti kuo panašesnio žmogaus portreto - daugybė veiksnių turi įtakos žmogaus balso tonui ir intonacijai, todėl jie vis tiek nebūtų gavę idealaus rezultato. Tačiau nervų tinklas puikiai atlieka tai, kas svarbu tyrėjams, būtent, tiksliai nustato lytį, tautybę ir amžių.
Darbo autoriai pažymėjo, kad šiuo metu algoritmas yra silpnas nustatant amžių, tačiau jie gali pagerinti tikslumą. Taip pat nustatyta, kad algoritmas geriau atkuria Europos ir Azijos veidus, tačiau taip yra tik dėl to, kad mokomuosiuose vaizdo įrašuose buvo nevienodas skirtingų tautybių veidų skaičius.
Reklaminis vaizdo įrašas:
Kodėl jums reikalingas nervų tinklas?
Kuo ši technologija gali būti naudinga ateityje? Kaip alternatyva, kada nors gali būti sukurta paslauga, kur vartotojo virtualus avataras sukuriamas automatiškai, atsižvelgiant į jo balsą. Naujasis tyrimas taip pat turi didelę mokslinę naudą - tyrę duomenis mokslininkai gali sužinoti ryšį tarp žmogaus išvaizdos ir jo balso. Projekto svetainėje galite klausytis balsų ir žiūrėti į jų pagrindu sukurtus portretus.
Ramis Ganiev