Per pastaruosius 10 metų vadinamojo gilaus mokymosi metodo dėka gavome geriausias dirbtinio intelekto sistemas - pavyzdžiui, kalbos atpažinimo išmaniuosiuose telefonuose ar naujausią automatinį vertėją iš „Google“. Gilus mokymasis, tiesą sakant, tapo nauja tendencija jau garsiuose neuronų tinkluose, kurie yra mados ir išeina daugiau nei 70 metų. Neuroninius tinklus pirmą kartą pasiūlė Warrenas McCulloughas ir Walteris Pittsas, 1994 m., Du Čikagos universiteto tyrėjai. 1952 m. Jie išvyko dirbti į Masačusetso technologijos institutą, kad padėtų pagrindus pirmajam pažinimo skyriui.
Neuroniniai tinklai buvo viena pagrindinių tyrimų krypčių tiek neuromokslų, tiek kompiuterių moksle iki 1969 m., Kai, pasak legendos, juos nužudė MIT matematikai Marvinas Minsky ir Seymouras Papertas, kurie po metų tapo MIT naujos dirbtinio intelekto laboratorijos bendrininkais.
- „Salik.biz“
Šis metodas atgaivintas devintajame dešimtmetyje, pirmąjį naujojo amžiaus dešimtmetį šiek tiek nublukęs į šešėlį, o antrajame grįžo su fanfaromis - dėl neįtikėtinos grafikos lustų plėtros ir jų apdorojimo galios.
„Yra nuomonė, kad idėjos moksle yra tarsi virusų epidemijos“, - sako MIT pažinimo ir smegenų mokslų profesorius Tomaso Poggio. „Tikriausiai yra penkios ar šešios pagrindinės gripo virusų padermės, ir viena iš jų grįžta pavydėtinu 25 metų tempu. Žmonės užsikrečia, įgyja imunitetą ir neserga ateinančius 25 metus. Tuomet atsiranda nauja karta, paruošta užkrėsti tuo pačiu viruso kamienu. Moksle žmonės įsimyli idėją, ji visus varo iš proto, tada muša ją iki mirties ir įgyja imunitetą - nuo jos pavargsta. Idėjos turėtų būti panašios dažnumo “.
Svarbūs klausimai
Neuroniniai tinklai yra mašininio mokymosi metodas, kai kompiuteris išmoksta atlikti tam tikras užduotis, analizuodamas mokymo pavyzdžius. Paprastai šie pavyzdžiai iš anksto pažymimi rankiniu būdu. Pvz., Objektų atpažinimo sistema gali sugerti tūkstančius pažymėtų automobilių, namų, kavos puodelių ir pan. Vaizdų ir tada galės rasti vaizdinius tų vaizdų modelius, kurie nuosekliai koreliuoja su tam tikromis etiketėmis.
Neuroninis tinklas dažnai lyginamas su žmogaus smegenimis, kurios taip pat turi tokius tinklus, susidedančius iš tūkstančių ar milijonų paprastų apdorojimo mazgų, kurie yra glaudžiai susiję. Dauguma šiuolaikinių neuroninių tinklų yra suskirstyti į mazgų sluoksnius, o duomenys teka per juos tik viena kryptimi. Atskiri mazgai gali būti susieti su keliais mazgais, esančiais žemiau jo esančiame sluoksnyje, iš kurių jis gauna duomenis, ir keliais aukščiau esančio sluoksnio mazgais, į kuriuos jis perduoda duomenis.
Reklaminis vaizdo įrašas:
Mazgas kiekvienai iš šių gaunamų nuorodų priskiria numerį - „svoris“. Kai tinklas aktyvus, mazgas gauna skirtingus duomenų rinkinius - skirtingus skaičius - už kiekvieną iš šių jungčių ir padaugina iš atitinkamo svorio. Tada jis susumuoja rezultatus ir sudaro vieną skaičių. Jei šis skaičius yra žemiau slenksčio, mazgas neperduoda duomenų į kitą sluoksnį. Jei skaičius viršija slenkstį, mazgas „atsibunda“, siųsdamas numerį - svertinių įvesties duomenų sumą - į visas išeinančias jungtis.
Kai treniruojamas nervų tinklas, visi jo svoriai ir slenksčiai iš pradžių nustatomi atsitiktine tvarka. Treniruočių duomenys perduodami į apatinį - įvesties sluoksnį - ir praeina per kitus sluoksnius, daugindami ir sudėdami sudėtiniu būdu, kol galiausiai gaunami, jau transformuoti, į išvestinį sluoksnį. Treniruotės metu svoriai ir slenksčiai yra nuolat koreguojami, kol treniruočių duomenys su tomis pačiomis etiketėmis padaro panašias išvadas.
Protas ir mašinos
Neutraliniai tinklai, aprašyti McCullough ir Pittso 1944 m., Turėjo ir slenksčius, ir svorius, tačiau nebuvo organizuoti sluoksniais, o mokslininkai nenurodė jokio konkretaus mokymosi mechanizmo. Tačiau McCullough ir Pitts parodė, kad neuroninis tinklas iš principo gali apskaičiuoti bet kokią funkciją, kaip ir bet kuris skaitmeninis kompiuteris. Rezultatas buvo daugiau iš neuromokslų, o ne iš informatikos srities: reikėjo manyti, kad žmogaus smegenys gali būti vertinamos kaip skaičiavimo įrenginys.
Neuroniniai tinklai ir toliau yra vertinga neurobiologinių tyrimų priemonė. Pavyzdžiui, atskiri tinklo sluoksniai ar svorio ir slenksčių reguliavimo taisyklės atkuria pastebėtus žmogaus neuroanatomijos ir pažintinių funkcijų bruožus, todėl paveikė tai, kaip smegenys apdoroja informaciją.
Pirmąjį treniruojamą nervų tinklą „Perceptron“(arba „Perceptron“) pademonstravo Kornelio universiteto psichologas Frankas Rosenblattas 1957 m. „Perceptron“dizainas buvo panašus į šiuolaikinį neuroninį tinklą, išskyrus tai, kad jis turėjo vieną sluoksnį su reguliuojamais svoriais ir slenksčiais, įterptais tarp įvesties ir išvesties sluoksnių.
„Perceptrons“buvo aktyviai tiriami psichologijos ir informatikos srityse iki 1959 m., Kai Minsky ir Papert išleido knygą „Perceptrons“, kuri parodė, kad atlikti įprastus perceptrono skaičiavimus laiko atžvilgiu buvo nepraktiška.
„Žinoma, visi apribojimai išnyks, jei padarysite mašinas šiek tiek sudėtingesnes“, pavyzdžiui, dviem sluoksniais “, - sako Poggio. Tačiau tuo metu knyga turėjo atšaldantį poveikį neuronų tinklo tyrimams.
„Į šiuos dalykus verta atsižvelgti istoriniame kontekste“, - sako Poggio. „Įrodymai buvo sukurti programavimui tokiomis kalbomis kaip Lispas. Neilgai trukus žmonės tyliai naudojosi analoginiais kompiuteriais. Tuo metu nebuvo visiškai aišku, koks bus programavimas. Aš manau, kad jie tai šiek tiek peržengė, bet, kaip visada, negalima visko padalinti į juodą ir baltą. Jei galvojate apie tai kaip apie konkurenciją tarp analoginio ir skaitmeninio skaičiavimo, tada jie kovojo už tai, ko reikia “.
Periodiškumas
Tačiau iki devintojo dešimtmečio mokslininkai buvo sukūrę algoritmus neuronų tinklo svoriams ir slenksčiams modifikuoti, kurie buvo pakankamai veiksmingi tinklams, turintiems daugiau nei vieną sluoksnį, pašalindami daugelį apribojimų, kuriuos nustatė Minsky ir Papert. Ši sritis patyrė Renesansą.
Tačiau pagrįstu požiūriu, kažko trūko neuroniniuose tinkluose. Pakankamai ilga mokymo sesija gali priversti peržiūrėti tinklo nustatymus, kol ji pradės klasifikuoti duomenis naudingu būdu, tačiau ką šie parametrai reiškia? Į kokias vaizdo savybes objektų atpažinimo įrenginys žiūri ir kaip jas sudedant sudaro vizualinius automobilių, namų ir kavos puodelių parašus? Atskirų junginių svorio tyrimas neatsakys į šį klausimą.
Pastaraisiais metais kompiuterių mokslininkai pradėjo ieškoti išradingų metodų, skirtų nustatyti neuroninių tinklų priimtas analitines strategijas. Tačiau devintajame dešimtmetyje šių tinklų strategijos buvo nesuprantamos. Todėl amžių sandūroje neuroninius tinklus pakeitė vektorinės mašinos, alternatyvus požiūris į mašinų mokymąsi, pagrįstą gryna ir elegantiška matematika.
Neseniai išaugęs susidomėjimas neuroniniais tinklais - gilaus mokymosi revoliucija - yra skolingas žaidimų pramonei. Sudėtinga grafika ir greitas šiuolaikinių vaizdo žaidimų tempas reikalauja aparatūros, kuri galėtų neatsilikti nuo tendencijos, todėl GPU (grafikos apdorojimo įrenginys) su tūkstančiais palyginti paprastų apdorojimo branduolių viename luste. Mokslininkai netrukus suprato, kad GPU architektūra puikiai tinka neuroniniams tinklams.
Šiuolaikiniai GPU leido pastatyti septintojo dešimtmečio tinklus ir devintojo dešimtmečio dviejų ir trijų sluoksnių tinklus į šių dienų 10, 15 ir net 50 sluoksnių tinklus. Už tai žodis „gilus“yra atsakingas „giliai mokantis“. Į tinklo gilumą. Giluminis mokymasis šiuo metu yra atsakingas už efektyviausias sistemas beveik visose dirbtinio intelekto tyrimų srityse.
Po gaubtu
Tinklo neskaidrumas teoretikams vis dar kelia nerimą, tačiau šioje srityje daroma pažanga. Poggio vadovauja mokslinių tyrimų programai apie intelekto teorinius pagrindus. Neseniai Poggio su kolegomis išleido teorinį nervinių tinklų tyrimą iš trijų dalių.
Pirmojoje dalyje, kuri praėjusį mėnesį buvo paskelbta tarptautiniame žurnale „Automation and Computing“, aptariama daugybė skaičiavimų, kuriuos gali atlikti giluminio mokymosi tinklai ir kai gilieji tinklai naudojasi sekliaisiais. Antroji ir trečioji dalys, kurios buvo išleistos kaip paskaitos, yra susijusios su globalios optimizacijos iššūkiais, tai yra užtikrinant, kad tinklas rastų parametrus, kurie geriausiai atitiktų jo mokymo duomenis, taip pat atvejus, kai tinklas taip gerai supranta savo mokymo duomenų specifiką. kuris negali apibendrinti kitų tų pačių kategorijų apraiškų.
Dar laukia daug teorinių klausimų, į kuriuos turės būti atsakyta. Tačiau yra vilties, kad neuroniniai tinklai pagaliau sugebės nutraukti kartų ciklą, kuris juos panardina į šilumą ir kartais šaltį.
ILYA KHEL