Jeffrey Hintonas yra gilaus mokymosi idėjos kūrėjas, 2019 m. Turingo apdovanojimo laureatas ir „Google“inžinierius. Praėjusią savaitę I / O kūrėjų konferencijos metu Wired apklausė jį ir aptarė jo susižavėjimą smegenimis bei jo sugebėjimą modeliuoti kompiuterį pagal smegenų nervų struktūrą. Ilgą laiką šios idėjos buvo laikomos keistomis. Įdomus ir linksmas pokalbis apie sąmonę, Hintono ateities planus ir tai, ar kompiuterius galima išmokyti svajoti.
- „Salik.biz“
Kas bus su neuroniniais tinklais?
Pradėkime nuo tų dienų, kai parašėte savo pirmuosius, labai įtakingus straipsnius. Visi sakė: „Tai protinga idėja, bet mes tikrai negalime tokiu būdu suprojektuoti kompiuterių“. Paaiškinkite, kodėl reikalavote savo ir kodėl buvote tikri, kad radote kažką svarbaus.
Man atrodė, kad smegenys negali dirbti kitaip. Jis turi dirbti tyrinėdamas ryšių stiprumą. Ir jei norite, kad įrenginys darytų ką nors sumanaus, turite dvi galimybes: arba jūs jį programuojate, arba jis mokosi. Ir niekas neužprogramavo žmonių, todėl turėjome mokytis. Šis metodas turėjo būti teisingas.
Paaiškinkite, kokie yra neuroniniai tinklai. Paaiškinkite originalią koncepciją
Jūs paimate gana paprastus apdorojimo elementus, kurie labai neaiškiai primena neuronus. Jie turi įeinančius ryšius, kiekvienas ryšys turi svorį, ir šis svoris gali kisti treniruotės metu. Tai, ką daro neuronas, atlieka veiksmus, susijusius su jungtimis, padaugintomis iš svorių, jas susumuoti ir tada nuspręsti, ar siųsti duomenis. Jei suma įvesta pakankamai didelė, ji išveda. Jei suma neigiama, ji nieko nesiunčia. Tai viskas. Viskas, ką jums reikia padaryti, tai prijungti šių neuronų debesį prie svarmenų ir išsiaiškinti, kaip pakeisti tuos svorius, ir tada jie padarys bet ką. Vienintelis klausimas - kaip pakeisite svorius.
Reklaminis vaizdo įrašas:
Kada supratote, kad tai yra grubus smegenų darbo vaizdas?
O, taip, viskas buvo iš pradžių numatyta. Sukurta taip, kad darbe prilygtų smegenims.
Taigi tam tikru savo karjeros momentu jūs pradėjote suprasti, kaip veikia smegenys. Gal jums buvo dvylika metų, o gal dvidešimt penkeri. Kada nusprendėte pamėginti modeliuoti kompiuterius, pavyzdžiui, smegenis?
Taip iškart. Tai buvo visa esmė. Visa ši idėja buvo sukurti mokymo įrenginį, kuris mokosi kaip smegenys, pagal žmonių idėjas apie tai, kaip mokosi smegenys, keičiant ryšių stiprumą. Ir tai nebuvo mano idėja, Turingas turėjo tą pačią mintį. Nors Turingas išrado daug standartinės informatikos pagrindų, jis manė, kad smegenys yra netvarkingas prietaisas, turintis atsitiktinius svorius, ir naudojo armavimo mokymąsi jungtims pakeisti, todėl galėjo išmokti bet ko. Ir jis tikėjo, kad tai yra geriausias kelias į intelektą.
Ir jūs sekėte Turingo idėją, kad geriausias būdas statyti mašiną yra suprojektuoti ją taip, kaip žmogaus smegenys. Taip veikia žmogaus smegenys, todėl sukurkime panašų aparatą
Taip, ne tik Turingas taip galvojo. Daugelis taip galvojo.
Kada atėjo tamsieji laikai? Kada atsitiko, kad kiti žmonės, dirbantys prie to ir tikėję Turingo idėja teisingi, ėmė trauktis žemyn, o jūs ir toliau lenktumėte savo liniją?
Visada buvo saujelė žmonių, kurie tikėjo niekuo, ypač psichologijos srityje. Bet tarp kompiuterių mokslininkų, manau, devintajame dešimtmetyje atsitiko, kad duomenų rinkiniai buvo gana maži, o kompiuteriai nebuvo tokie greiti. O naudojant nedidelius duomenų rinkinius, kiti metodai, tokie kaip atraminių vektorių mašinos, buvo atlikti šiek tiek geriau. Jie nebuvo tiek sugniuždyti dėl triukšmo. Taigi viskas buvo liūdna, nes devintajame dešimtmetyje mes sukūrėme atgalinio sklidimo metodą, kuris yra labai svarbus neuroniniams tinklams. Manėme, kad jis viską išspręs. Ir jie buvo suglumę, kad jis nieko nenusprendė. Klausimas buvo tikrai masto, bet tada mes to nežinojome.
Kodėl manėte, kad jis neveikia?
Manėme, kad tai neveikia, nes neturėjome ne visai teisingų algoritmų ir ne visai teisingų objektyvių funkcijų. Ilgai galvojau, kad taip yra todėl, kad mes bandėme vykdyti prižiūrimą mokymąsi, kai jūs žymite duomenis, ir mes turėjome daryti neprižiūrimą mokymąsi, kai mokėmės iš nepažymėtų duomenų. Paaiškėjo, kad klausimas dažniausiai buvo mastu.
Tai yra įdomu. Taigi problema buvo ta, kad neturėjote pakankamai duomenų. Manėte, kad turite reikiamą kiekį duomenų, tačiau neteisingai pažymėjote. Taigi jūs neteisingai diagnozavote problemą?
Aš maniau, kad klaida buvo ta, kad mes iš viso naudojame etiketes. Didžioji dalis jūsų treniruočių vyksta nenaudojant jokių etikečių, jūs tik bandote modeliuoti duomenų struktūrą. Aš iš tikrųjų vis dar taip manau. Aš manau, kad kadangi kompiuteriai greičiau, jei kompiuteris yra pakankamai greitas, tada bet kokio dydžio duomenų rinkinį geriau treniruotis be priežiūros. Ir baigę neprižiūrimą mokymąsi galite išmokti naudodami mažiau žymių.
Taigi 1990-aisiais tęsiate savo tyrimus, esate akademinėje erdvėje, vis dar leidžiate leidinius, tačiau didelių problemų neišsprendžiate. Ar kada nors teko pasakyti akimirką, kai sakei: „Žinai ką, to užtenka. Ar aš bandysiu padaryti ką nors kita “? Ar jūs tiesiog pasakėte sau, kad toliau mokysitės giliai (tai yra gilaus mokymosi, gilaus neuroninių tinklų mokymosi samprata)
Taip. Kažkas panašaus turėtų veikti. Aš turiu omenyje, kad smegenyse ryšiai kažkokiu būdu išmokstami, mums tiesiog reikia išsiaiškinti, kaip. Ir turbūt yra daugybė skirtingų būdų, kaip sustiprinti ryšius mokymosi procese; smegenys naudoja vieną iš jų. Gali būti ir kitų būdų. Bet jums tikrai reikia kažko, kas galėtų sustiprinti šiuos ryšius mokantis. Niekada neabejojau.
Jūs niekada to neabejojote. Kada atrodė, kad tai veikia?
Vienas didžiausių devintojo dešimtmečio nusivylimų buvo tas, kad jei mes sudarėme tinklus su daugybe paslėptų sluoksnių, mes negalėjome jų išmokyti. Tai nėra visiškai tiesa, nes galite išmokyti palyginti nesudėtingų procesų, pavyzdžiui, rašyti ranka. Bet mes nežinojome, kaip treniruoti giliausius neuroninius tinklus. O maždaug 2005 m. Aš sugalvojau išmokyti gilius tinklus be priežiūros. Įvedate duomenis, tarkime pikselius, ir treniruojate keletą detalių detektorių, kurie tik gerai paaiškino, kodėl pikseliai buvo tokie, kokie jie yra. Tada jūs pateikiate šiuos dalelių detektorių duomenis ir apmokote kitokį dalelių detektorių rinkinį, kad galėtume paaiškinti, kodėl konkretūs dalių detektoriai turi tam tikras koreliacijas. Jūs ir toliau treniruojate sluoksnį po sluoksnio. Bet įdomiausia buvokuriuos būtų galima išskaidyti matematiškai ir įrodyti, kad kiekvieną kartą treniruodami naują sluoksnį, nebūtinai patobulinsite duomenų modelį, bet turėsite žinoti apie tai, kiek jūsų modelis yra geras. Ir šis diapazonas pagerėjo pridedant kiekvieną sluoksnį.
Ką jūs turite omenyje, kiek geras yra jūsų modelis?
Kai gausite modelį, galite užduoti klausimą: „Kuo neįprastas šis modelis randa šiuos duomenis?“Jūs parodote jai duomenis ir užduodate klausimą: „Ar jūs visa tai matote, kaip tikėtasi, ar tai neįprasta?“Ir tai buvo galima išmatuoti. Ir aš norėjau gauti modelį, gerą modelį, kuris peržiūri duomenis ir sako: „Taip, taip. Aš žinojau tai. Tai nenuostabu “. Visada labai sunku tiksliai apskaičiuoti, koks neįprastas modelis ras duomenis. Bet jūs galite apskaičiuoti to diapazoną. Galime sakyti, kad modelyje šie duomenys bus ne tokie neįprasti. Ir gali būti parodyta, kad pridedant naujus sluoksnius prie detalių detektorių, formuojamas modelis, o pridedant kiekvieną sluoksnį, kai jis randa duomenis, supratimo diapazonas, kiek neįprasta rasti duomenis, tampa geresnis.
Taigi, maždaug 2005 m., Jūs padarėte šį matematinį proveržį. Kada pradėjote gauti teisingus atsakymus? Su kokiais duomenimis dirbote? Pirmasis jūsų lūžis buvo kalbėjimo duomenys, tiesa?
Jie buvo tik ranka rašyti numeriai. Labai paprasta. Ir maždaug tuo pačiu metu prasidėjo GPU (grafikos apdorojimo vienetų) kūrimas. Žmonės, kurie veikė neuroninius tinklus, GPU pradėjo naudotis 2007 m. Turėjau labai gerą studentą, kuris pradėjo naudoti GPU, norėdamas rasti aerofotografijose kelius. Jis parašė kodą, kurį vėliau priėmė kiti studentai, naudojantys GPU atpažinti fonemas kalboje. Jie pasinaudojo šia priešmokymo idėja. Ir kai buvo atliktas išankstinis mokymas, jie tiesiog pakabino etiketes ant viršaus ir naudojo nugarą. Paaiškėjo, kad galima sukurti labai gilų tinklą, kuris anksčiau buvo apmokytas tokiu būdu. Tada buvo galima pritaikyti atgalinį reprodukciją ir ji iš tikrųjų veikė. Kalbos atpažinimas puikiai veikė. Iš pradžių vis dėltotai nebuvo daug geriau.
Ar tai buvo geriau nei komercinis kalbos atpažinimas? Apeiti geriausi moksliniai darbai apie kalbos atpažinimą?
Palyginti mažame duomenų rinkinyje, pavadintame TIMIT, jis buvo šiek tiek geresnis nei geriausias akademinis darbas. IBM taip pat nuveikė daug darbo.
Žmonės greitai suprato, kad visa tai - nes jis apeina standartinius modelius, kurie buvo kuriami 30 metų - veiks gerai, jei bus šiek tiek išplėtota. Mano absolventai apsilankė „Microsoft“, IBM ir „Google“, o „Google“labai greitai sukūrė darbinį kalbos atpažinimo įrenginį. Iki 2012 m. Šis darbas, kuris buvo atliktas dar 2009 m., Turėjo įtakos „Android“. Staiga „Android“žymiai geriau atpažįsta kalbą.
Papasakokite apie akimirką, kai jūs, 40 metų saugoję šias idėjas, 20 metų publikavote šia tema, staiga apeinate savo kolegas. Koks toks jausmas?
Na, tuo metu šias idėjas saugojau tik 30 metų!
Teisingai, teisingai
Buvo puikus jausmas, kad visa tai pagaliau virto tikra problema.
Ar prisimeni, kai pirmą kartą gavai duomenis apie tai?
Ne.
Gerai. Taigi jums kyla mintis, kad tai veikia kartu su kalbos atpažinimu. Kada jūs pradėjote pritaikyti neuroninius tinklus kitoms problemoms?
Iš pradžių mes pradėjome juos taikyti visoms kitoms problemoms spręsti. George'as Dahlas, su kuriuo iš pradžių dirbome dėl kalbos atpažinimo, juos panaudojo numatydamas, ar molekulė gali prie kažko prisijungti ir tapti geru vaistu. Ir vyko konkursas. Jis tiesiog pritaikė mūsų standartinę kalbėjimo atpažinimo technologiją numatydamas narkotikų aktyvumą ir laimėjo konkursą. Tai buvo ženklas, kad mes darome kažką labai įvairiapusio. Tada pasirodė studentas, kuris pasakė: „Žinai, Jeffai, šis dalykas veiks su vaizdo atpažinimu, ir Fei-Fei Li sukūrė tam tinkamą duomenų rinkinį. Vyksta viešas konkursas, padarykime ką nors “.
Gavome rezultatus, kurie žymiai viršijo standartinę kompiuterio viziją. Tai buvo 2012 metai.
T. y., Šiose trijose srityse jūs išsiskyrėte: modeliavimo chemikalai, kalba, balsas. Kur nepavyko?
Ar suprantate, kad nesėkmės yra laikinos?
Na, kas atskiria sritis, kuriose visa tai veikia greičiausiai, ir sritis, kuriose ji trunka ilgiausiai? Atrodo, kad vaizdinis apdorojimas, kalbos atpažinimas ir kažkas panašaus į pagrindinius žmogaus dalykus, kuriuos mes darome su jutiminiu suvokimu, yra laikomi pirmomis kliūtimis, kurias reikia įveikti, tiesa?
Taip ir ne, nes yra ir kitų dalykų, kuriuos mes darome gerai - tie patys motoriniai įgūdžiai. Mes puikiai valdome variklį. Mūsų smegenys tam tikrai paruoštos. Ir tik dabar neuroniniai tinklai pradeda konkuruoti su geriausiomis kitomis technologijomis. Jie galų gale laimės, bet dabar jie tik pradeda laimėti.
Manau, mąstymas, abstraktus mąstymas yra paskutinis dalykas, kurio mes mokomės. Manau, kad jie bus vieni iš paskutinių dalykų, kuriuos šie neuroniniai tinklai išmoko padaryti.
Taigi jūs nuolat sakote, kad nerviniai tinklai galiausiai dominuos visur
Na, mes esame neuroniniai tinklai. Viskas, ką galime, jie gali.
Tiesa, bet žmogaus smegenys yra toli nuo veiksmingiausio kada nors pastatyto skaičiavimo aparato
Tikrai ne.
Tikrai ne mano žmogaus smegenys! Ar yra būdas modeliuoti mašinas, kurios yra daug efektyvesnės nei žmogaus smegenys?
Filosofiškai aš neprieštarauju minčiai, kad visa tai galėtų būti visiškai kitoks būdas. Gal jei jūs pradedate nuo logikos, pabandykite automatizuoti logiką, sugalvokite kokią nors išgalvotą teoremos patarlę, priežastį ir tada nuspręskite, kad būtent per samprotavimus ateinate į vizualinį suvokimą, gali būti, kad šis požiūris laimės. Bet dar ne. Aš neturiu jokių filosofinių priekaištų dėl tokios pergalės. Mes tiesiog žinome, kad smegenys yra pajėgios.
Tačiau yra ir dalykų, kurių mūsų smegenys negali gerai atlikti. Ar tai reiškia, kad neuroniniai tinklai taip pat nesugebės jų gerai atlikti?
Gali būti, kad taip.
Ir yra atskira problema, būtent ta, kad mes nevisiškai suprantame, kaip veikia neuroniniai tinklai, tiesa?
Taip, mes nelabai suprantame, kaip jie veikia.
Mes nesuprantame, kaip veikia viršaus žemyn esantys neuroniniai tinklai. Tai yra pagrindinis neuronų tinklų veikimo elementas, kurio mes nesuprantame. Paaiškink tai ir leisk man užduoti kitą klausimą: jei mes žinome, kaip viskas veikia, kaip tada viskas veikia?
Pažvelgus į šiuolaikines kompiuterinio matymo sistemas, dauguma jų dažniausiai yra į ateitį nukreiptos; jie nenaudoja grįžtamojo ryšio. Ir tada yra kažkas kita šiuolaikinėse kompiuterinio matymo sistemose, kurios yra labai linkusios į prieštaravimų klaidas. Galite šiek tiek pakeisti keletą taškų, o tai, kas buvo panda vaizdas ir vis tiek atrodo jums lyg panda, jūsų supratimu apie nervų tinklą staiga taps stručiu. Akivaizdu, kad taškų pakeitimo metodas yra apgalvotas taip, kad apgauti nervinį tinklą galvoja apie stručius. Bet esmė ta, kad ji vis tiek tau yra panda.
Iš pradžių manėme, kad viskas pavyko puikiai. Bet tada, susidūrę su tuo, kad jie žiūrėjo į pandą ir buvo tikri, kad tai strutis, mes susijaudinome. Ir aš manau, kad dalis problemos yra ta, kad jie nebando rekonstruoti iš aukšto lygio nuomonių. Jie bando mokytis izoliuotai, ten, kur mokosi tik detalių detektorių sluoksniai, o visas tikslas yra pakeisti svorius, kad geriau rastum teisingą atsakymą. Neseniai Toronte mes sužinojome arba Nickas Frostas nustatė, kad pridedant rekonstrukciją padidėja priešiškumas. Manau, kad žmogaus regėjime rekonstrukcija naudojama mokymuisi. Kadangi rekonstrukcijos metu mes išmokstame tiek daug, mes esame daug atsparesni priešiškiems išpuoliams.
Jūs tikite, kad pasroviui perduodamas ryšys neuroniniame tinkle leidžia išbandyti, kaip kažkas rekonstruojamas. Patikrinsite ir įsitikinsite, kad tai panda, o ne stručiai
Manau, kad tai svarbu, taip.
Bet smegenų mokslininkai ne visai su tuo sutinka?
Smegenų mokslininkai nesiginčija, kad jei suvokimo kelyje yra du žievės regionai, visada bus atvirkštiniai ryšiai. Jie ginčijasi dėl to, kam tai skirta. Tai gali būti reikalinga dėmesiui, mokymuisi ar rekonstrukcijai. Arba visiems trims.
Taigi mes nežinome, kas yra atsiliepimai. Ar kuriate naujus neuroninius tinklus, remdamiesi prielaida, kad … ne, net ne - jūs kuriate grįžtamąjį ryšį, nes jis reikalingas jūsų neuroninių tinklų rekonstrukcijai, nors jūs net nelabai suprantate, kaip veikia smegenys?
Taip.
Ar tai nėra triukas? Na, tai yra, jei jūs bandote padaryti kažką panašaus į smegenis, bet nesate tikri, ar smegenys tai daro?
Ne visai. Aš nesu kompiuterinis neuromokslas. Nemėginu modeliuoti, kaip veikia smegenys. Aš žiūriu į smegenis ir sakau: „Tai veikia, o jei norime padaryti ką nors kita, kas veikia, turime žiūrėti ir būti įkvėpti“. Mus įkvepia neuronai, o ne neuroninis modelis. Taigi visą mūsų naudojamų neuronų modelį įkvepia tai, kad neuronai turi daug ryšių ir kad jie keičia svorį.
Tai yra įdomu. Jei būčiau kompiuterinis mokslininkas, dirbantis neuronų tinkluose ir norintis apeiti Jeffą Hintoną, vienas iš variantų būtų užmegzti ryšį žemyn ir remtis kitais smegenų mokslo modeliais. Remiantis mokymais, o ne rekonstrukcija
Jei būtų geresnių modelių, būtumėte laimėjęs. Taip.
Tai labai, labai įdomu. Palieskime bendresnę temą. Taigi, neuroniniai tinklai gali išspręsti visas įmanomas problemas. Ar žmogaus smegenyse yra mįslių, kurių negali uždengti ar nepadengti neuroniniai tinklai? Pavyzdžiui, emocijos
Ne.
Taigi meilę galima atstatyti naudojant neuroninį tinklą? Sąmonę galima rekonstruoti?
Visiškai. Kai išsiaiškinsi, ką šie dalykai reiškia. Esame neuroniniai tinklai, tiesa? Sąmonė man yra ypač įdomi tema. Bet … žmonės iš tikrųjų nežino, ką jie reiškia šiuo žodžiu. Yra daugybė skirtingų apibrėžimų. Ir aš manau, kad tai gana mokslinis terminas. Todėl, jei prieš 100 metų žmonių paklausėte: kas yra gyvenimas? Jie atsakytų: „Na, gyvi daiktai turi gyvybės jėgą, o mirę gyvybės jėgos juos palieka. Tai yra skirtumas tarp gyvųjų ir mirusiųjų. Ar jūs turite gyvybingumą, arba neturite “. Dabar neturime jokios gyvybės jėgos, manome, kad ši sąvoka atsirado anksčiau nei mokslas. Ir kai jūs pradėsite šiek tiek suprasti apie biochemiją ir molekulinę biologiją, jums nebereikia gyvybės jėgos, suprasite, kaip visa tai veikia. Tas pats, manau, atsitiks ir su sąmone. Aš manau,ta sąmonė yra bandymas paaiškinti psichinius reiškinius naudojant esmę. Ir ši esmė nėra reikalinga. Kai paaiškinsite, galite paaiškinti, kaip mes darome viską, kas daro žmones sąmoningomis būtybėmis, paaiškinti skirtingas sąmonės reikšmes, neįtraukdami jokių specialių subjektų.
Pasirodo, nėra emocijų, kurių nepavyktų sukurti? Nėra minties, kurios negalima sukurti? Žmogaus protas nieko negali, ko teoriškai negalėtų atkurti visiškai funkcionuojantis nervų tinklas, kai iš tikrųjų suprasime, kaip veikia smegenys?
Johnas Lennonas vienoje iš savo dainų dainavo kažką panašaus.
Ar tu dėl to 100% tikras?
Ne, aš esu Bajesianas, todėl esu tikras 99,9 proc.
Gerai, kas tada yra 0,01%?
Na, pavyzdžiui, mes visi galime būti didesnio modeliavimo dalis.
Pakankamai teisingas. Taigi ko mes sužinome apie smegenis iš savo darbo kompiuteriuose?
Na, manau, iš to, ko išmokome per pastaruosius 10 metų, įdomu tai, kad jei imi sistemą, kurioje yra milijardai parametrų ir objektyvi funkcija - pavyzdžiui, užpildyti spragą žodžių eilutėje - ji veikia geriau, nei turėtų. Tai veiks daug geriau, nei galite tikėtis. Galite pamanyti, ir daugelis tradicinių PG tyrimų žmonių manys, kad galite paimti sistemą, turinčią milijardą parametrų, paleisti ją atsitiktine reikšme, išmatuoti tikslo funkcijos gradientą, o tada pataisyti, kad pagerintumėte tikslo funkciją. Galite pamanyti, kad beviltiškas algoritmas neišvengiamai įstrigs. Bet ne, pasirodo, tai tikrai geras algoritmas. Ir kuo didesnis mastelis, tuo geriau jis veikia. Ir šis atradimas iš esmės buvo empirinis. Aišku, visa ko pagrindas buvo kažkokia teorija, tačiau atradimas buvo empirinis. Ir dabar,kadangi mes tai nustatėme, labiau tikėtina, kad smegenys apskaičiuoja tam tikros objektyvios funkcijos gradientą ir atnaujina sinaptinio ryšio svorį bei stiprumą, kad neatsiliktų nuo šio gradiento. Mums tiesiog reikia išsiaiškinti, kas yra ši tikslinė funkcija ir kaip ji blogėja.
Bet mes to nesupratome su smegenų pavyzdžiu? Nesuprantate balanso atnaujinimo?
Tai buvo teorija. Seniai žmonės manė, kad tai įmanoma. Tačiau fone visada buvo keletas kompiuterių mokslininkų, kurie sakė: „Taip, bet mintis, kad viskas yra atsitiktinė ir mokytis reikia dėl nuolydžio nusileidimo, neveiks su milijardu parametrų, turite sujungti daug žinių“. Dabar mes žinome, kad taip nėra. Galite tiesiog įvesti atsitiktinius parametrus ir sužinoti viską.
Pasinerkime šiek tiek giliau. Sužinoję vis daugiau ir daugiau, matyt, ir toliau sužinosime vis daugiau ir daugiau apie tai, kaip veikia žmogaus smegenys, kai vykdome didžiulius modelių testus, pagrįstus mūsų smegenų funkcijos supratimu. Kai mes visa tai suprasime geriau, ar bus momentas, kai mes iš esmės perversime savo smegenis ir tapsime daug efektyvesnėmis mašinomis?
Jei mes tikrai suprantame, kas vyksta, galime patobulinti kai kuriuos dalykus, pavyzdžiui, švietimą. Ir aš manau, kad mes patobulėsime. Būtų labai keista pagaliau suprasti, kas vyksta tavo smegenyse, kaip ji mokosi, o ne prisitaikyti taip, kad išmoktų geriau.
Kaip manote, ar per porą metų mes panaudosime tai, ką sužinojome apie smegenis ir kaip giliai mokosi, kad pakeistume švietimą? Kaip jūs pakeistumėte klases?
Nesu tikras, kad per porą metų išmoksime daug. Manau, švietimo pakeitimui prireiks daugiau laiko. Bet kalbant apie tai, [skaitmeniniai] padėjėjai tampa gana protingi. Kai padėjėjai supranta pokalbius, jie gali kalbėtis su vaikais ir juos auklėti.
Ir teoriškai, jei mes geriau suprantame smegenis, galime užprogramuoti pagalbininkus geriau bendrauti su vaikais, remdamiesi tuo, ko jie jau išmoko
Taip, bet aš apie tai negalvojau. Aš darau ką nors kita. Bet visa tai atrodo gana panaši į tiesą.
Ar galime suprasti, kaip veikia sapnai?
Taip, mane labai domina svajonės. Mane taip domina, kad turiu bent keturias skirtingas svajonių teorijas.
Papasakok apie juos - apie pirmą, antrą, trečią, ketvirtą
Seniai ten buvo toks dalykas, vadinamas „Hopfield“tinklais, ir jie tyrinėjo prisiminimus kaip vietinius atrakcionus. Hopfieldas nustatė, kad jei bandai pateikti per daug prisiminimų, jie susipainioja. Jie paims du vietinius atrakcionus ir sujungs juos į vieną atrakcioną kažkur pusiaukelėje tarp jų.
Tuomet atėjo Francisas Crickas ir Grahamas Mitchisonas, sakydami, kad mes galime atsikratyti šių klaidingų žemumų mokydamiesi (tai yra, pamiršdami tai, ko išmokome). Išjungiame duomenų įvestį, nervų tinklą paverčiame atsitiktine būsena, leidžiame jam nusiraminti, sakome, kad blogai, keičiame ryšius, kad jis nepatektų į šią būseną, ir tokiu būdu galime priversti tinklą saugoti daugiau atminties.
Tada aš ir Terry Sejnowski priėjome ir paklausėme: „Pažiūrėkite, jei turime ne tik atmintį turinčius neuronus, bet ir daugybę kitų neuronų, ar galime rasti algoritmą, kuris visus šiuos neuronus naudoja prisimindamas prisiminimus?“… Dėl to mes sukūrėme Boltzmann mašinų mokymosi algoritmą. O Boltzmanno mašininio mokymosi algoritmas turėjo nepaprastai įdomią savybę: aš parodau duomenis, ir jie tarsi praeina per likusius vienetus, kol patenka į labai laimingą būseną, o po to padidina visų ryšių stiprumą, remiantis tuo, kad tuo pačiu metu veikia du blokai.
Taip pat turėtumėte turėti fazę, kurioje jūs išjungsite įvestį, leisite algoritmui „rūdyti“ir padėkite jį į tokią būseną, kurioje jis yra laimingas, kad jis fantazuotų ir kai tik jis turi fantazijos, jūs sakote: „Paimkite visas neuronų poras. kurie yra aktyvūs ir mažina jungčių stiprumą “.
Aš paaiškinu jums algoritmą kaip procedūrą. Tačiau iš tikrųjų šis algoritmas yra matematikos ir klausimo produktas: „Kaip reikia pakeisti šias jungčių grandines, kad šis nervų tinklas su visais šiais paslėptais duomenų vienetais atrodytų nenuostabu?“Taip pat turėtų būti dar viena fazė, kurią mes vadiname neigiama faze, kai tinklas veikia be duomenų įvesties ir neišjungiamas, nesvarbu, kokioje būsenoje jūs jį įdėsite.
Kiekvieną vakarą svajojame daugybę valandų. O jei staiga prabundate, galite pasakyti, kad tik svajojote, nes sapnas išsaugomas trumpalaikėje atmintyje. Žinome, kad sapnus matome daugelį valandų, tačiau ryte pabudę galime prisiminti tik paskutinį sapną, o kitų neprisimename, o tai labai pasiseka, nes galima juos suklaidinti dėl tikrovės. Taigi kodėl mes visai neprisimename savo svajonių? Pasak Cricko, tai yra sapnų prasmė: atsikratyti šių dalykų. Jūs tarsi mokotės atvirkščiai.
Su Terry Seinovski ir aš parodėme, kad tai iš tikrųjų yra didžiausia tikimybė mokytis Boltzmann mašinų. Tai yra pirmoji sapnų teorija.
Noriu pereiti prie kitų jūsų teorijų. Bet mano klausimas yra toks: Ar sugebėjote išmokyti kokį nors giluminio mokymosi algoritmą, kad iš tikrųjų svajotumėte?
Kai kurie iš pirmųjų algoritmų, kuriais remiantis buvo galima išmokti dirbti su paslėptais vienetais, buvo „Boltzmann“mašinos. Jie buvo nepaprastai veiksmingi. Bet vėliau radau būdą, kaip dirbti su aproksimacijomis, kurios pasirodė veiksmingos. Ir tai iš tikrųjų buvo postūmis atnaujinti darbą giliai mokantis. Tai buvo dalykai, kurie vienu metu treniravo vieną elementų detektorių. Tai buvo efektyvi Boltzmanno ribojančios mašinos forma. Taigi ji atliko tokį atvirkštinį mokymąsi. Užuot užmigusi, ji galėtų šiek tiek fantazuoti po kiekvienu duomenų ženklu.
Gerai, kad androidai iš tikrųjų svajoja apie elektrines avis. Pereikime prie dviejų, trijų ir keturių teorijų
Antroji teorija buvo vadinama „Wake Sleep Algorithm“. Turite išmokyti generatyvinį modelį. Ir jūs turite idėją sukurti modelį, kuris galėtų generuoti duomenis, turėti objektų detektorių sluoksnius ir suaktyvinti aukštesnį ir apatinį sluoksnius ir pan., Iki pikselių aktyvavimo - iš esmės sukuriant vaizdą. Bet jūs norėtumėte ją išmokyti kažko kito. Norėtumėte, kad ji atpažintų duomenis.
Taigi jūs turite sudaryti dviejų fazių algoritmą. Prabudimo fazėje duomenys įsijungia, jis bando juos atpažinti ir, užuot tyręs ryšius, kuriuos naudoja atpažinimui, tiria generacinius ryšius. Duomenys gaunami, aš suaktyvinu paslėptus vienetus. Ir tada aš bandau išmokyti šiuos paslėptus vienetus atkurti šiuos duomenis. Jis mokosi rekonstruoti kiekviename sluoksnyje. Tačiau kyla klausimas, kaip išmokti tiesioginių ryšių? Taigi idėja yra ta, kad jei būtumėte žinoję tiesioginius ryšius, galėtumėte išmokti grįžtamuosius ryšius, nes galėtumėte išmokti atvirkštinio inžinieriaus.
Dabar taip pat paaiškėja, kad jei naudojate atvirkštinius sujungimus, taip pat galite išmokti tiesioginių jungčių, nes galite tiesiog pradėti viršuje ir generuoti tam tikrus duomenis. Kadangi kaupiate duomenis, žinote visų paslėptų sluoksnių būsenas ir galite tirti tiesioginius ryšius, kad atkurtumėte tas būsenas. O štai kas atsitiks: jei pradėsite nuo atsitiktinių jungčių ir bandysite pakaitomis naudoti abi fazes, jums pasiseks. Kad jis gerai veiktų, turite išbandyti įvairius variantus, tačiau jis veiks.
Gerai, kaip bus su kitomis dviem teorijomis? Mums liko tik aštuonios minutės, manau, kad neturėsiu laiko paklausti apie viską
Duok man dar valandą ir aš tau papasakosiu apie kitas dvi.
Pakalbėkime apie tai, kas bus toliau. Kur yra jūsų tyrimų kryptis? Kokias problemas bandote išspręsti dabar?
Galų gale turėsite dirbti tai, kas dar nebuvo baigta. Manau, kad galbūt dirbsiu prie kažko, ko niekada nepabaigsiu, vadinamų kapsulėmis, teorija apie tai, kaip regėjimo suvokimas atliekamas rekonstrukcijos būdu ir kaip informacija nukreipiama į reikiamas vietas. Du pagrindiniai motyvuojantys veiksniai buvo tai, kad standartiniuose neuroniniuose tinkluose informacija, veikla sluoksnyje yra tiesiog automatiškai siunčiama kažkur, o jūs nepriimate sprendimo, kur ją siųsti. Kapsulių idėja buvo priimti sprendimus, kur siųsti informaciją.
Dabar, kai aš pradėjau dirbti su kapsulėmis, labai protingi „Google“žmonės išrado transformatorius, kurie daro tą patį. Jie nusprendžia, kur siųsti informaciją, ir tai yra didelis laimėjimas.
Mes grįšime kitais metais kalbėti apie trečią ir ketvirtą sapnų teorijas.
Ilja Khel