Iškart, kai dr. Blake'as Richardsas išgirdo apie gilų mokymąsi, jis suprato, kad susiduria ne tik su metodu, kuris revoliucionuos dirbtinį intelektą. Jis suprato, kad žvelgia į kažką esminio iš žmogaus smegenų. Tai buvo 2000-ųjų pradžia ir Richardsas dėstė kursus Toronto universitete kartu su Jeffu Hintonu. Hintonui, kuris sukūrė pasaulį užkariavusį algoritmą, buvo pasiūlytas įvadinis jo mokymo metodo kursas, įkvėptas žmogaus smegenų.
Pagrindiniai žodžiai čia yra „smegenų įkvėpti“. Nepaisant Richardso įsitikinimo, statymas prieš jį buvo atliktas. Žmogaus smegenys, kaip paaiškėjo, neturi svarbios funkcijos, užprogramuotos giluminio mokymosi algoritmais. Paviršiuje šie algoritmai pažeidė pagrindinius biologinius faktus, kuriuos jau įrodė neuromokslininkai.
- „Salik.biz“
O kas, jei gilus mokymasis ir smegenys iš tikrųjų suderinami?
Taigi naujame „eLife“paskelbtame tyrime Richardsas, dirbdamas su „DeepMind“, pasiūlė naują algoritmą, pagrįstą neuronų biologine struktūra neokortekso srityje. Galvos žievėje, smegenų žievėje, vyksta aukštesnės pažintinės funkcijos, tokios kaip samprotavimas, prognozavimas ir lankstus mąstymas.
Komanda sujungė savo dirbtinius neuronus į sluoksniuotą tinklą ir metė iššūkį klasikinio kompiuterinio matymo uždaviniui - nustatyti ranka rašytus skaičius.
Naujas algoritmas atliko puikų darbą. Bet svarbus yra dar vienas dalykas: jis analizavo mokymosi pavyzdžius taip, kaip tai daro gilaus mokymosi algoritmai, tačiau buvo visiškai paremtas pagrindine smegenų biologija.
„Giluminis mokymasis įmanomas biologinėje struktūroje“, - padarė išvadą mokslininkai.
Kadangi šis modelis šiuo metu yra kompiuterinė versija, Richardsas tikisi perduoti žinią eksperimentiniams neuromokslininkams, kurie galėtų patikrinti, ar toks algoritmas veikia tikrose smegenyse.
Reklaminis vaizdo įrašas:
Jei taip, duomenys gali būti perduodami kompiuterių mokslininkams, kad jie galėtų sukurti masiškai lygiagrečius ir efektyvius algoritmus, kuriuos vykdys mūsų mašinos. Tai yra pirmasis žingsnis link dviejų sričių susiliejimo į „dorišką atradimų ir naujovių šokį“.
Ieškant atpirkimo ožio
Nors tikriausiai girdėjote, kad pastaruoju metu AI įveikė geriausius geriausius „Go“, vargu ar tiksliai žinote, kaip veikia šios AI algoritmai.
Trumpai tariant, gilus mokymasis grindžiamas dirbtiniu neuronų tinklu su virtualiais „neuronais“. Kaip aukštas dangoraižis, tinklas yra struktūruotas pagal hierarchiją: žemo lygio neuronų proceso įvestis - pavyzdžiui, horizontalios arba vertikalios juostos, sudarančios skaičių 4, o aukšto lygio neuronai apdoroja abstrakčius 4 skaičiaus aspektus.
Norėdami išmokyti tinklą, pateikiate to, ko ieškote. Signalas sklinda per tinklą (užlipa ant pastato laiptelių), o kiekvienas neuronas bando pamatyti kažką esminio „keturių“darbe.
Kai vaikai mokosi naujų dalykų, tinklas iš pradžių netenkina. Ji išduoda viską, kas, jos nuomone, atrodo kaip ketvirta - ir tu gauni vaizdus Pikaso dvasioje.
Bet būtent taip vyksta mokymasis: algoritmas suderina išvestį su idealia įvestimi ir apskaičiuoja skirtumą tarp dviejų (skaityti: klaidų). Klaidos „sklinda atgal“per tinklą, treniruodamos kiekvieną neuroną, sako, tai nėra tai, ko jūs ieškote, geriau žiūrėkite.
Po daugybės pavyzdžių ir pakartojimų žiniatinklis pradeda veikti nepriekaištingai.
Klaidos signalas yra nepaprastai svarbus mokantis. Be efektyvaus klaidų atgaminimo tinklas nesužinos, kurie jo neuronai yra neteisingi. Ieškodamas atpirkimo ožio, dirbtinis intelektas tobulina save.
Smegenys taip pat tai daro. Bet kaip? Neturime idėjos.
Biologinė aklavietė
Akivaizdu, kad giluminio mokymosi sprendimas neveikia.
Atkuriant klaidą yra nepaprastai svarbi savybė. Norint tinkamai veikti, reikalinga tam tikra infrastruktūra.
Pirmiausia, kiekvienas tinklo neuronas turi gauti pranešimą apie klaidą. Bet smegenyse neuronai yra sujungti tik su keliais (jei yra) pasroviui esančiais partneriais. Norėdami, kad smegenų ląstelės dirbtų atgaline reprodukcija, pirmojo lygio neuronai turi suvokti informaciją iš milijardų jungčių pasroviuose esančiuose kanaluose - ir tai biologiškai neįmanoma.
Ir nors kai kurie giluminio mokymosi algoritmai pritaiko vietinę klaidų atgaivinimo formą - iš esmės tarp neuronų -, reikia, kad jų pirmyn ir atgal jungtys būtų simetriškos. Smegenų sinapsėse to beveik niekada neįvyksta.
Šiuolaikiškesni algoritmai pritaiko šiek tiek kitokią strategiją, įgyvendindami atskirą grįžtamojo ryšio kelią, kuris padeda neuronams lokaliai rasti klaidas. Nors tai biologiškai labiau įmanoma, smegenys neturi atskiro skaičiavimo tinklo, skirto niekšams surasti.
Tačiau jis turi sudėtingų struktūrų neuronus, priešingai nei vienarūšiai „rutuliai“, kurie šiuo metu naudojami giluminiame mokymesi.
Šakiniai tinklai
Mokslininkai įkvėpimo semiasi iš piramidžių ląstelių, kurios užpildo žmogaus žievę.
„Dauguma šių neuronų yra medžių formos, jų„ šaknys “yra giliai smegenyse ir„ šakos “išeina į paviršių“, - sako Richardsas. "Pažymėtina, kad šaknys gauna vieną įvesties rinkinį, o šakos - skirtingas."
Tai smalsu, tačiau neuronų struktūra dažnai pasirodo esanti „tiksliai tokia, kokios reikia“, norint veiksmingai išspręsti skaičiavimo problemą. Pvz., Atlikite sensorinį apdorojimą: piramidinių neuronų dugnai turėtų būti ten, kur jie turėtų gauti jutimo duomenis, o viršūnės yra patogiai išdėstytos, kad būtų galima perduoti klaidas per grįžtamąjį ryšį.
Ar ši sudėtinga struktūra gali būti evoliucinis sprendimas siekiant pašalinti neteisingą signalą?
Mokslininkai sukūrė daugiasluoksnį neuroninį tinklą, pagrįstą ankstesniais algoritmais. Tačiau vietoj vienalyčių neuronų jie davė jai neuronus, esančius viduriniuose sluoksniuose - įterptuose tarp įvesties ir išvesties -, panašius į tikruosius. Mokantis iš ranka rašytų skaičių, algoritmas veikė daug geriau nei vieno sluoksnio tinklas, nepaisant klasikinio klaidos pakartojimo. Pačios ląstelių struktūros galėjo nustatyti klaidą. Tuomet reikiamu momentu neuronas sujungė abu informacijos šaltinius, kad rastų geriausią sprendimą.
Tam yra biologinis pagrindas: neuromokslininkai jau seniai žinojo, kad įvestos neurono šakos atlieka vietinius skaičiavimus, kuriuos galima integruoti su išėjimo šakų atgalinio sklidimo signalais. Bet mes nežinome, ar smegenys iš tikrųjų veikia taip - todėl Richardsas pavedė neuromokslininkams tai išsiaiškinti.
Be to, šis tinklas problemą nagrinėja panašiai kaip tradicinis gilaus mokymosi metodas: jis naudoja sluoksniuotą struktūrą, kad iš abstrakčių idėjų apie kiekvieną skaičių būtų išgaunamos palaipsniui.
„Tai yra gilaus mokymosi bruožas“, - aiškina autoriai.
Giliai besimokančios smegenys
Šioje istorijoje, be abejo, nebus daugiau posūkių, nes kompiuterių mokslininkai įtraukia daugiau biologinių detalių į AI algoritmus. Richardsas ir jo komanda žvelgia iš numatomosios funkcijos „iš viršaus į apačią“, kai aukštesnių lygių signalai tiesiogiai veikia tai, kaip žemesnieji lygiai reaguoja į įvestį.
Aukštesnių sluoksnių atsiliepimai ne tik pagerina klaidų signalizavimą; tai taip pat gali paskatinti žemesnio lygio apdorojimo neuronus „geriau“atlikti realiu laiku, sako Richardsas. Iki šiol šis tinklas nebuvo pranašesnis už kitus nebiologinius gilaus mokymosi tinklus. Bet nesvarbu.
„Gilus mokymasis turėjo didžiulę įtaką AI, tačiau iki šiol jo poveikis neuromokslams buvo ribotas“, - teigia tyrimo autoriai. Dabar neuromokslininkai turės pateisinimą atlikti eksperimentinį testą ir išsiaiškinti, ar neuronų struktūra yra natūralus gilaus mokymosi algoritmas. Galbūt per ateinančius dešimt metų prasidės abipusiai naudingas keitimasis duomenimis tarp neuromokslininkų ir dirbtinio intelekto tyrinėtojų.
Ilja Khel