Dirbtinio intelekto sritis dažnai lyginama su naftos pramone: išgaunant ir patobulinus duomenis, kaip ir naftą, gali tapti labai pelninga prekė. Tačiau dabar akivaizdu, kad ši metafora plečiasi. Kaip ir iškastinis kuras, gilus mokymasis daro didžiulį poveikį aplinkai. Atlikdami naują tyrimą, Masačusetso universiteto Amherst mokslininkai įvertino kelių bendrų didelių AI modelių mokymosi gyvenimo ciklą.
Jis nustatė, kad šis procesas gali sukelti daugiau kaip 626 000 svarų (apie 300 000 kg) anglies dioksido ekvivalentą, tai yra beveik penkis kartus daugiau nei tipinio automobilio išmetamų teršalų kiekis per penkerius metus (įskaitant paties automobilio gamybą).
- „Salik.biz“
Kaip treniruojami PG modeliai
Tai yra stulbinantis kiekybinis įvertinimas to, ko AI tyrėjai seniai įtarė.
Natūralios kalbos apdorojimas Anglies pėdsakas
Reklaminis vaizdo įrašas:
Straipsnyje konkrečiai aptariamas natūralios kalbos apdorojimo modelio (NLP), AI polaukio, skirto mokymo mašinoms dirbti su žmonių kalba, mokymo procesas. Per pastaruosius dvejus metus NLP bendruomenė padarė keletą svarbių etapų mašininio vertimo, sakinio užbaigimo ir kitų standartinių klasifikavimo užduočių srityse. Liūdnai pagarsėjusį „OpenAI GPT-2“modelį pavyko parašyti įtikinamai netikras naujienas.
Tačiau tokiam progresui reikėjo mokyti vis didesnius modelius, naudojančius ištemptas duomenų rinkinius iš sakinių, surinktų iš interneto. Šis požiūris yra skaičiuojamas brangiai ir reikalauja daug energijos.
Tyrėjai apžvelgė keturis modelius toje srityje, kuri atsakinga už didžiausius rezultatų šuolius: „Transformatorius“, „ELMo“, „BERT“ir „GPT-2“. Kiekvieną dieną jie mokė vieną GPU per dieną išmatuoti sunaudojamą energiją.
Tada jie paskaičiavo pradiniame pavyzdiniame dokumente nurodytą treniruočių valandų skaičių, kad apskaičiuotų visą energijos kiekį, sunaudotą per visą mokymo procesą. Ši suma buvo pakeista į svarų anglies dioksido ekvivalentą, kuris atitiko „Amazon“, didžiausio pasaulyje debesų tiekėjo, AWS energijos derinį.
Jis nustatė, kad skaičiavimo ir aplinkosaugos išlaidos mokymui padidėjo proporcingai modelio dydžiui, o vėliau, eksponavus padidėjimą, pakoregavus galutinį modelio tikslumą. Neuroninės architektūros paieška, kuria bandoma optimizuoti modelį, palaipsniui keičiant neuroninio tinklo struktūrą, atliekant bandymus ir klaidas, patiria nepaprastai dideles sąnaudas ir padidina našumą. Be jo, brangiausias BERT modelis paliko 1400 svarų (635 kg) anglies pėdsaką, artimą trans-Amerikos kelionei pirmyn ir atgal.
Be to, šie skaičiai turėtų būti laikomi tik atskaitos taškais.
Apskritai, mokslininkų vertinimu, norint sukurti ir išbandyti galutinį modelį, kurį verta paskelbti, per šešis mėnesius reikėjo išmokyti 4789 modelius. Kalbant apie CO2 ekvivalentą, tai yra apie 35 000 kg.
Šių skaičių svarba yra didžiulė, ypač atsižvelgiant į dabartines PG tyrimų tendencijas. Apskritai AI tyrimuose nepaisoma efektyvumo, nes dideli neuroniniai tinklai pripažįstami naudingais atliekant įvairias užduotis, o įmonės, turinčios neribotus skaičiavimo išteklius, juos naudos konkurenciniam pranašumui įgyti.
Ilja Khel