Prieš porą dienų portale „bioRxiv.org“buvo išspausdinti Rusijos tyrinėtojų iš Maskvos fizikos ir technologijos instituto ir įmonių „Neurobotics“ir „Neuroassistive Technologies“, užsiimančių neurokompiuterių sąsajų kūriniais, darbai. Straipsnyje teigiama, kad mokslininkams ir kūrėjams pavyko realiu laiku išmokyti algoritmo rekonstruoti vaizdo įrašą, kurį žmogus žiūrėjo naudodamas EEG signalus. Skamba tikrai šauniai ir įdomiai - beveik kaip proto skaitymas. Tiesą sakant, viskas, žinoma, nėra taip paprasta: kompiuteriai neišmoko skaityti minčių. Trumpai tariant, kompiuteris išmoko iš EEG įrašymo nustatyti, kurį vaizdą iš penkių skirtingų anksčiau žinomų klasių subjektas matė. Apie tai, kaip buvo pastatytas eksperimentas, kokias užduotis iškėlė mokslininkai ir kodėl proto skaitymas greičiausiai nebus įgyvendintas artimiausiu metu, pasakojame savo tinklaraštyje.
- „Salik.biz“
Apskritai, mintis perskaityti smegenų elektrinį signalą ir jį iššifruoti, kad būtų galima pamatyti, ką žmogus mąsto ar veikia tam tikru momentu, atsižvelgiant į dabartinio technologinio progreso tempą, neatrodo tokia sunki. Čia yra signalas, ir štai, ką šis signalas reiškia: pridėkite du ir du, apmokykite klasifikatorių ir gaukite mums reikalingą rezultatą.
Rezultatas yra tai, ką futuristai ir neišmanantys žmonės vadintų „proto skaitymu“. Ir panašu, kad tokia technologija gali būti naudojama įvairiose srityse: pradedant tobulomis smegenų ir kompiuterio sąsajomis, leidžiančiomis valdyti išmaniuosius protezus, ir baigiant sistemos sukūrimu, kuri pagaliau pasakytų, ką ten galvoja tavo katė.
Realybėje, žinoma, viskas nėra taip paprasta, o idėja sukurti tokį algoritmą beveik iškart nutrūksta ties pagrindine kliūtimi: turime susidurti su smegenimis. Smegenys yra labai sudėtingas dalykas: jos turi daugiau nei 80 milijardų neuronų, o jungtys tarp jų yra kelis tūkstančius kartų daugiau.
Net ir pasauliečiui aišku: mums to yra per daug, kad suprastume, už ką yra atsakinga kiekviena ląstelė ir jų visuma. Mokslininkai dar neiššifravo žmogaus ryšio, net jei jie bando tai padaryti santykinai sėkmingai.
Iškyla loginis klausimas: ar iš viso būtina suprasti kiekvieno neurono funkcijas, kad būtų galima tiksliai pavaizduoti tai, kas vyksta smegenyse? Ar tikrai nėra pakankamai funkcinių žemėlapių, pavyzdžiui?
Tiesą sakant, atsakymas į šį klausimą turėtų būti „taip“, tačiau net ir čia jis nėra toks paprastas. Jei žmonija pasitikėtų jungties dekodavimu kaip vieninteliu smegenų paslapties atrakinimo raktu, mes šiandien būtume labai arti. Vis dėlto mes kai ką žinome apie tai, kaip veikia mūsų smegenys, ir, žinoma, galime tai sėkmingai naudoti.
Reklaminis vaizdo įrašas:
Vienas ryškiausių ir akivaizdžiausių mokslininkų sukauptų žinių apie smegenų darbą panaudojimo pavyzdžių, be abejo, yra neuro sąsajos. Apskritai šiandien tikrai yra technologijų, leidžiančių nuskaityti smegenų veiklą ir naudoti ją, pavyzdžiui, valdyti kompiuterio pelės žymeklį ar net protezo judesius.
Efektyvų nervinės sąsajos veikimą galima pasiekti dviem būdais. Pirmasis metodas yra išprovokuojami potencialai: mes pažvelgiame į tam tikrų smegenų dalių elektrinio aktyvumo kreivę ir pasirenkame ant jos tuos signalo pokyčius, kurie, kaip mes žinome tam tikrus atvejus, atsiranda tam tikru momentu po stimulo pateikimo.
Antras būdas - visiškai nepasikliauti stimuliacija, o pasitelkti žmogaus vaizduotę generuoti elektrinį signalą, kurį galima perskaityti. Pvz., Asmens gali būti paprašyta įsivaizduoti, kaip jie juda koją ar ranką.
Abu metodai turi didelių trūkumų. Pirmajam trukdo tai, kad mums žinomų patikimai iškeltų potencialų skaičius nėra toks didelis: jų skaičius negali tiksliai aprėpti visų įmanomų žmogaus atliekamų veiksmų. Antrosios dalies trūkumas yra tas, kad norint pasiekti bent tam tikrą efektą, reikia ilgų treniruočių.
Išankstinio spausdinimo autoriai nusprendė sujungti abu metodus, kad sukurtų neurokompiuterių sąsajas, pagrįstai manydami, kad tai išgelbės abu metodus nuo didelių apribojimų ir leis sukurti naują ir efektyviausią metodą darbui su neurointerfeisais šiandien.
Taip pat buvo manoma, kad šis metodas bus uždaras (uždara kilpa), tai yra, jo gautas rezultatas, savo ruožtu, turės įtakos algoritmo veikimui. Bet apie tai vėliau.
Pačioje pradžioje algoritmas suskaido visus vaizdus į atskirus komponentinius ženklus, paskirstytus vektorinėje erdvėje, kurio pagalba jie gali būti koreliuojami su tam tikrais smegenų signalais, įrašytais naudojant EEG.
Šiame pradiniame etape naudojamas dvejetainis klasifikatorius - grubiai tariant, pats „du ir du“: turėdami gana švarų signalą (EEG įrašas buvo pašalintas iš motorinių artefaktų), galite pasirinkti vieną arba kitą, didesniu tikslumu nei atsitiktinis paspaudimas.
Savo eksperimentuose mokslininkai panaudojo penkių klasių objektų vaizdo įrašus: žmonių vaizdus, krioklius, abstrakčias geometrines figūras, ekstremalias sporto šakas ir „Goldberg“automobilius. Viena vertus, toks rinkinys atrodo keistas, bet, kita vertus, atrodo, kad visi šie objektai labai skiriasi vienas nuo kito. Iš tiesų, ar yra kas bendro tarp žmonių veidų ir abstrakčių geometrinių figūrų?
Tuo tarpu, pasak dvejetainio klasifikatoriaus, abstrakčios figūros ir žmonių veidai nesiskiria vienas nuo kito: devynių iš 17 tyrimo dalyvių rezultatai rodo, kad nervinė sąsaja, matyt, nesugebėjo atskirti. Tačiau Goldbergo mašinos ir tie patys veidai, smegenų požiūriu, priešingai, labai skiriasi vienas nuo kito.
Klasifikavimo rezultatai. A - abstrakčios formos, W - kriokliai, HF - žmonių veidai, GM - „Goldberg“automobiliai, ekstremalios sporto šakos.
Iš pirmo žvilgsnio nėra labai aišku, kodėl tai vyksta: veikiau tos pačios mašinos ir geometrinės figūros negali būti atskirtos viena nuo kitos. Viskas pasidaro šiek tiek aiškiau, jei pažiūrėsite iš naudojamų vaizdo įrašų kadrų pavyzdžių.
Penkių klasių vaizdų pavyzdžiai.
Labiausiai tikėtina (mes, be abejo, čia galime tik spėti), klasifikatoriaus sėkmė priklauso nuo to, kiek vaizdai, naudojami dviejose klasėse, skiriasi vienas nuo kito kai kuriomis paviršutiniškomis, pagrindinėmis savybėmis - pirmiausia spalva. Tai taip pat gerai koreliuoja su tuo, kad autoenkoderio latentinės erdvės matmuo yra 10.
Apskritai, norint klasifikuoti penkių klasių vaizdus, pakanka penkių matmenų, tačiau tokiu atveju tai bus daroma maksimaliai pagal spalvinę histogramą - tai reiškia, kad 10 matmuo per daug nepagerės ir paaiškins rezultatą.
Nelabai aišku, kodėl autoriai nenaudojo linijinio klasifikatoriaus penkioms klasėms iš karto, o ne dešimties dvejetainių klasifikatorių: greičiausiai būtų buvę geriau.
Tada ateina gauto vaizdo rekonstravimo etapas. Tai, kad ji išeina sutepta, yra suprantama - esmė yra tame pačiame latentinės erdvės matmenyje. Bet čia supainioti du dalykai.
Pirma, originalūs ir rekonstruoti vaizdai yra labai panašūs vienas į kitą. Be abejo, aš nenoriu niekam pakenkti (įskaitant mus pačius - mes visi esame už pažangą), bet tai ne dėl to, kad signalas yra taip gerai įrašytas ir iššifruotas (ir net realiuoju laiku!), Bet dėl to, kad algoritmas atkuria būtent tuos vaizdus, kuriuos jis jau turėjo.
Be to, tai ne visada veikia taip gerai, kaip mes norėtume: jei, pavyzdžiui, pažiūrėsite į sistemos vaizdo įrašą, pastebėsite, kad vaizdo įraše su verkiančiu vyru neuroninė sąsaja dėl tam tikrų priežasčių mato moterį. Taip yra todėl, kad algoritmas rekonstruoja ne vaizdus, o tam tikros klasės objektus: net jei jis tai daro pakankamai efektyviai, niekas netrukdo algoritmui matyti valties motociklo vaizde - vien todėl, kad jie priklauso tai pačiai klasei.
Todėl tai, kas ekrane pasirodo rekonstruojant, yra tik vidutinis visų panaudotų klasės objektų vaizdas.
Kalbant apie uždaros sistemos naudojimo prasmingumą, tada viskas su ja nėra labai aiški: atlikdamas užduotį žmogus mato tiek EEG signalų įrašymą, tiek vaizdą, pamažu kylantį iš galvos. Ar tai iš tikrųjų padeda, sunku pasakyti - autoriai nepalygino sąsajos veikimo su armatūra ir be jos. Bet iš pirmo žvilgsnio atrodo, kad tikrai ne. Jei tai padeda, aš tikrai noriu sužinoti, kaip tai padaryti.
Apskritai galime drąsiai daryti išvadą, kad kompiuteriai neišmoko skaityti minčių. Ir jie net neišmoko atkurti vaizdo įrašo. Remdamiesi mokslininkų darbais, jie išmoko viską suskirstyti į penkias klases, remdamiesi kai kuriais pagrindiniais kriterijais. Ar kompiuteriai galėjo tai padaryti anksčiau? Žinoma, jie galėtų. Ar čia smegenys? Žinoma, yra: bet mato smegenys, o ne tos, kurios supranta, ką tiksliai matė.
Elizaveta Ivtushok