Tobulėjant neuroniniams tinklams ir mašininio mokymosi technologijoms, plečiama ir jų taikymo sritis. Jei anksčiau neuroniniai tinklai buvo naudojami tik atliekant sudėtingus matematinius, medicininius, fizinius, biologinius skaičiavimus ir prognozavimą, dabar šios technologijos populiarėja labiau „kasdienybėje“- pramogų srityje. Žengdami tik pirmuosius žingsnius šia linkme, jie jau sugeba parodyti nuostabius ir kartais net puikius rezultatus. Šiandien analizuosime keletą iliustruojančių pavyzdžių.
Vaizdo įrašų kūrimo procesas yra toks sudėtingas ir reikalaujantis daug laiko, kad galbūt niekada nebūtume matę daugybės pasaulinės klasikos šedevrų su nauju, moderniu, aiškiu ir sultingu paveikslu. Tačiau pasaulis pilnas išmaniųjų gerbėjų ir entuziastų, puikiai išmanančių naujas technologijas, ypač neuroninius tinklus ir mašinų mokymosi technologijas, su kuriomis jūs galite pasiekti nuostabių rezultatų net namuose. Pavyzdžiui, „YouTube“vartotojas Stefanas Rumenas su slapyvardžiu „CaptRobau“nusprendė pademonstruoti kai kuriuos neuroninių tinklų galimybes apdorojant senos mokslinės fantastikos serijos vaizdo įrašus.
- „Salik.biz“
Ankstesnis jo darbas yra Remako Mod, klasikinio ir labai populiaraus japonų RPG Final Fantasy VII „HD perdarymas“. Tam jis panaudojo AI algoritmą „AI Gigapixel“, su kuriuo sugebėjo 4 kartus išmatuoti pradinio paveikslėlio vaizdą, paversdamas jį HD raiška be jokių reikšmingų pradinio meno projekto pakeitimų. Taigi, kol jūs laukiate dar dešimtmetį iki to momento, kai japonų kompiuterinių žaidimų kūrėjas ir leidėjas „Square Enix“oficialiai išleidžia galbūt geriausių šios žaidimų serijos dalyvių remasterį, galite patys išbandyti Stefano Rumeno modą, atsisiųsdami jį iš šios svetainės.
Beje, neseniai neuroninių tinklų technologija, skirta modifikuoti senus žaidimus ir suteikti jiems tinkamesnį bei modernesnį vaizdą, nekeičiant bendrosios originalios koncepcijos, tapo realia tendencija tarp įvairių modifikatorių. Pavyzdžiui, ne taip seniai kalbėjome apie ESRGAN technologiją (Enhanced Super Resolution Generative Adversarial Networks), kuri įgyvendina vaizdo mastelio keitimo technologijas, padidindama 2–8 kartus kokybę. Algoritmas originalų vaizdą „maitina“maža skiriamąja geba, po kurio jis ne tik padidina pradinę pastarojo skiriamąją gebą, bet ir pagerina vaizdo kokybę, tapydamas ant realių detalių ir darydamas tekstūras „natūralesnes“.
Tekstūros kokybės palyginimas: kairėje yra originali „Morrowind“žaidimo tekstūra, dešinėje - apdorota neuroninio tinklo.
Veikėjas iš „Doom“(kairysis ir dešinysis tapo).
Fono apdorojimas „Resident Evil 3“.
Reklaminis vaizdo įrašas:
Kad ir kaip būtų, intervalais tarp „Septintojo finalo“perdarymo Stefanas Rumenas nusprendė imtis dar vieno projekto - naudoti tą pačią mašininio mokymosi technologiją, tačiau šį kartą perdirbti klasikinės 90-ųjų mokslinės fantastikos serijos rėmus. Savo eksperimentų objektu Rumunas pasirinko „Star Trek: Deep Space Nine“.
Autorius pažymi, kad gyvo televizoriaus vaizdo mastelio keitimas yra sudėtingas, palyginti su iš anksto pateikto „Final Fantasy VII“vaizdo mastelio keitimu, taigi galutinis rezultatas, nors ir atrodo pastebimai geriau nei originalios medžiagos, pasižyminčios maža skiriamąja geba, tačiau šis vaizdas vis dar yra toli nuo idealo, apie kurį kalbama jūs galėjote svajoti nuo tada, kai rinkoje pasirodė pirmieji „Blu-ray“grotuvai. Kartais ekrane pasirodo maži „artefaktai“. Bet vėlgi, apskritai, viskas atrodo daugiau nei verta. Bet apskritai žiūrėkite patys.
Šiam projektui Rumenas taip pat panaudojo AI Gigapikselių algoritmą, kuris buvo išmokytas redaguoti vaizdus remiantis tikromis nuotraukomis. Autorius pažymi, kad naujas paveikslėlis buvo gautas 1080p ir 4k vaizdais, tačiau kadangi Rumen neturi televizoriaus ar monitoriaus, turinčio 4K skiriamąją gebą, jis negali tinkamai įvertinti 4K versijos.
Deja, negalite žiūrėti visos serijos „Full HD“kokybės. Visos pradinės medžiagos apdorojimo procesas būtų užtrukęs labai ilgai, todėl Rumen demonstracijai naudojo tik atskirus kadrus iš skirtingų serijų. Anot jo, jis ėmėsi šio projekto tik dėl vienos priežasties - parodyti, kad tai tikrai įmanoma. Jo manymu, visa profesionalų komanda, dirbanti didelėje televizijos kompanijoje ir turinti tokiam darbui tinkamesnę ir galingesnę kompiuterinę įrangą, su šia užduotimi susidoros daug geriau.
Neuroninių tinklų naudojimas, siekiant supaprastinti senų vaizdo žaidimų ir filmų vaizdų apdorojimą, nėra vienintelės sritys, kuriose tokios technologijos gali parodyti savo talentus. Šiuolaikiniame pasaulyje, kur populiarėja panoraminės kameros, galinčios sukurti 360 laipsnių kampą, taip pat virtualiosios realybės ausinės, kūrėjai pradėjo aktyviai tyrinėti panoraminės fotografijos galimybes.
Vienas iš naujausių šios krypties pokyčių yra neuroninis tinklas, galintis skleisti panoraminius statinius vaizdus. Tai autoriai - mašinų mokymosi ekspertai iš Masačusetso, Kolumbijos universitetų ir George'o Masono universiteto.
Sukurtas algoritmas nustato aplinkos ir objektų tipą nuotraukoje, tada iš naudojamos duomenų bazės parenka ir sutvarko garsus pagal erdvinį atstumo iki jų šaltinių šiame paveikslėlyje apskaičiavimą. Dėl šios priežasties panoraminis vaizdas įgyja tikrovišką ir erdvų garsą, kuris leidžia įvertinti pateiktą vaizdą visiškai nauju būdu.
Anot šio neuroninio tinklo kūrėjų, ši technologija gali sudominti VR turinio (filmų ir žaidimų) kūrėjus. Tokiu atveju pastariesiems nereikia rankiniu būdu uždengti visų garsų, esančių panoraminiame vaizde, neuroninis tinklas galės visa tai padaryti savarankiškai.
Nikolajus Khizhnyak