Atsitiktinai naujienų ir informacijos sraute radau straipsnį „Nature Scientific Reports“. Čia pateikiami 1500 mokslininkų atlikto tyrimo rezultatų pakartojamumo duomenys. Jei anksčiau ši problema buvo iškelta atliekant biologinius ir medicininius tyrimus, kur, viena vertus, ji yra paaiškinama (klaidingos koreliacijos, kaltinamas bendras tiriamų sistemų sudėtingumas, kartais netgi kaltinama mokslinė programinė įranga), kita vertus, ji turi fenomenologinį pobūdį (pavyzdžiui, pelės linkusios skirtingai elgtis su mokslininkais). skirtingų lyčių (1 ir 2).
- „Salik.biz“
Tačiau ne viskas klostosi labiau su gamtos mokslais, tokiais kaip fizika ir inžinerija, chemija, ekologija. Atrodytų, kad šios pačios disciplinos yra pagrįstos „absoliučiai“atkartojamais eksperimentais, kurie atliekami labiausiai kontroliuojamomis sąlygomis, deja, nuostabus - visomis šio žodžio prasmėmis - apklausos rezultatas: iki 70% tyrėjų susidūrė su neatkartojamais eksperimentais ir rezultatais, gautais ne tik kitų mokslininkų grupių., BET ir paskelbtų mokslinių darbų autoriai / bendraautoriai!
Ar kiekvienas smėlinukas giria savo pelkę?
Nors 52% respondentų nurodo mokslo atkuriamumo krizę, mažiau nei 31% mano, kad paskelbti duomenys yra iš esmės neteisingi, o dauguma nurodė, kad vis dar pasitiki paskelbtu darbu.
Klausimas: ar yra rezultatų atkuriamumo krizė?
Žinoma, nereikėtų nugrimzti į petį ir atsisakyti viso mokslo, kaip tokio, remiantis šia apklausa: pusė respondentų vis dar buvo mokslininkai, vienaip ar kitaip susiję su biologinėmis disciplinomis. Kaip pažymi autoriai, fizikoje ir chemijoje gautų rezultatų atkuriamumo ir pasitikėjimo jais lygis yra daug aukštesnis (žr. Toliau pateiktą diagramą), tačiau vis tiek nėra 100%. Tačiau medicinoje viskas yra labai blogai, palyginti su likusiais dalykais.
Reklaminis vaizdo įrašas:
Į galvą ateina anekdotas:
Anglijos Bristolio universiteto biologinis psichologas Marcusas Munafo jau seniai domisi mokslinių duomenų atkuriamumu. Prisimindamas savo studentų dienų dienas, jis sako:
Klausimas: kiek jūsų pramonėje paskelbtų kūrinių yra atkuriamų?
Platumos ir ilgumos problemos gylis
Įsivaizduokite, kad esate mokslininkas. Esate susidūręs su įdomiu straipsniu, tačiau rezultatų / eksperimentų negalima atkurti laboratorijoje. Logiška rašyti apie tai originalaus straipsnio autoriams, klausti patarimo ir užduoti paaiškinančių klausimų. Tyrimo duomenimis, mažiau nei 20% tai padarė bet kuriuo savo mokslinės karjeros metu!
Tyrimo autoriai pastebi, kad galbūt tokie kontaktai ir pokalbiai yra per sunkūs patiems mokslininkams, nes jie atskleidžia jų nekompetenciją ir nenuoseklumą tam tikrose srityse arba atskleidžia per daug dabartinio projekto detalių.
Be to, absoliuti mokslininkų mažuma bandė paskelbti nepaneigiamų rezultatų paneigimą, susidūrę su redaktorių ir recenzentų, kurie reikalavo sumenkinti palyginimus su originaliu tyrimu, pasipriešinimu. Ar kažin, ar tikimybė pranešti apie mokslo rezultatų neatkuriamumą yra apie 50%.
Pirmas klausimas: ar bandėte atkartoti eksperimento rezultatus?
Antras klausimas: ar bandėte paskelbti bandymą atkurti rezultatus?
Gal tada bent laboratorijoje atlikti pakartojamumo testą? Liūdniausia, kad trečdalis respondentų NIEKADA net negalvojo apie duomenų atkuriamumo tikrinimo metodų kūrimą. Tik 40% nurodė, kad reguliariai naudojasi tokia technika.
Kl.: Ar kada nors sukūrėte specialius metodus / techninius procesus, kad pagerintumėte rezultatų pakartojamumą?
Kitas pavyzdys - biochemikas iš Jungtinės Karalystės, nenorėjęs atskleisti savo vardo, sako, kad bandymai pakartoti, atgaminti savo laboratorinio projekto darbus tiesiog padvigubina laiką ir medžiagą, nesuteikdami ar pridėdami nieko naujo kūriniui. Papildomos patikros atliekamos tik dėl novatoriškų projektų ir neįprastų rezultatų.
Ir, žinoma, amžini rusų klausimai, kurie ėmė kankinti užsienio kolegas: kas kaltas ir ką daryti?
Kas kaltas?
Darbo autoriai išskyrė tris pagrindines rezultatų atkuriamumo problemas:
- Viršininkų spaudimas, kad darbas būtų paskelbtas laiku
- Atrankinis ataskaitų teikimas (matyt, tai reiškia kai kurių duomenų, kurie „sugadina“visą vaizdą, panaikinimą)
- Nepakankama duomenų analizė (įskaitant statistinę)
Klausimas: Kokie veiksniai lemia nepataisomus mokslo rezultatus?
Atsakymai (iš viršaus į apačią): –Atskaitos pavyzdys –Boseso slėgis –Patogi analizė / statistika –Nepakankamas eksperimento pakartojamumas laboratorijoje –Nepakankama priežiūra - Metodikos ar kodo trūkumas –Mažas eksperimentinis planas –Apdorotų pirminės laboratorijos duomenų trūkumas –Klastymas –Nepakankamas ekspertų / recenzentų patikrinimas –Problemos su bandymu dauginti –Programavimui reikalinga techninė kompetencija –Standartinių reagentų - „Neddachka ir Pichalka“- tinkamumas
Ką daryti?
Iš 1 500 apklaustų daugiau nei 1 000 specialistų pasisakė už statistikos duomenų rinkimo ir tvarkymo gerinimą, viršininkų priežiūros kokybės gerinimą ir griežtesnį eksperimentų planavimą.
Kl.: Kokie veiksniai padės pagerinti atkuriamumą?
Atsakymai (iš viršaus į apačią): - geresnis statistikos supratimas - griežtesnė priežiūra - geresnis eksperimentinis planavimas - mokymas - vidinė laboratorijos apžvalga - patobulinti praktiniai įgūdžiai - oficialių duomenų kryžminio patikrinimo skatinimas - tarplaboratorinė peržiūra - skirti daugiau laiko projekto valdymui - gerinti mokslo žurnalų standartus - Skirkite daugiau laiko darbui su laboratorijos įrašais
Išvada ir tam tikra asmeninė patirtis
Pirma, net man, kaip mokslininkui, rezultatai stulbinantys, nors aš jau pripratau prie tam tikro rezultatų neatkuriamumo. Tai ypač akivaizdu darbuose, kuriuos atlieka kinai ir indėnai be trečiųjų šalių „audito“Amerikos / Europos profesorių pavidalu. Gerai, kad problema buvo pripažinta ir pagalvota apie jos sprendimą (-us). Taktingai tyliu apie Rusijos mokslą, atsižvelgiant į neseniai kilusį skandalą, nors daugelis sąžiningai atlieka savo darbą.
Antra, straipsnyje ignoruojamas (tiksliau, nesvarstomas) mokslinės metrikos ir recenzuojamų mokslinių žurnalų vaidmuo iškylant ir plėtojant tyrimų rezultatų neatkuriamumo problemą. Siekiant publikacijų greičio ir dažnumo (skaityti, daugėja citatų indeksų), kokybė smarkiai krenta ir nėra laiko papildomai tikrinti rezultatus.
Kaip sakoma, visi personažai yra išgalvoti, tačiau remiasi tikrais įvykiais. Kažkodėl vienas studentas turėjo galimybę recenzuoti straipsnį, nes ne kiekvienas profesorius turi laiko ir energijos apgalvotai skaityti straipsnius, todėl renkama 2–3–4 studentų ir gydytojų nuomonė, iš kurios ir formuojama recenzija. Parašyta recenzija, joje atkreiptas dėmesys į rezultatų neatkuriamumą pagal straipsnyje aprašytą metodą. Tai buvo aiškiai parodyta profesoriui. Bet kad nebūtų sugadinti santykiai su „kolegomis“- juk jiems viskas pavyksta - peržiūra buvo „pataisyta“. Ir yra paskelbti 2 ar 3 tokie straipsniai.
Pasirodo, užburtas ratas. Mokslininkas nusiunčia straipsnį žurnalo redaktoriui, kur nurodo „norimus“ir, svarbiausia, „nepageidaujamus“recenzentus, tai yra, tiesą sakant, palikdamas autorių komandai tik pozityviai nusiteikusius asmenis. Jie apžvelgia kūrinį, tačiau negali „gėdytis komentarų“ir bando pasirinkti mažesnę iš dviejų blogybių - tai sąrašas klausimų, į kuriuos reikia atsakyti, ir tada mes paskelbsime straipsnį.
Kitas pavyzdys, apie kurį „Nature“redaktorius kalbėjo tik prieš mėnesį, yra „Grazel“saulės baterijos. Dėl didžiulio susidomėjimo šia tema mokslo bendruomenėje (juk jie vis tiek nori straipsnio „Gamtoje!“), Redaktoriai turėjo sukurti specialų klausimyną, kuriame turi nurodyti daugybę parametrų, pateikti įrangos kalibravimą, sertifikatus ir kt., Kad patvirtintų, jog efektyvumo matavimo metodas skydai atitinka kai kuriuos bendruosius principus ir standartus.
Ir trečia, kai dar kartą išgirsti apie stebuklingą vakciną, užkariaujančią viską ir visus, naują istoriją apie darbus sijone, naujas baterijas ar GMO ar išmaniųjų telefonų radiacijos pavojus / naudą, ypač jei ją skatino geltoni žurnalistai, tada būkite supratingi ir nesišokite prie išvadų. Palaukite, kol kitos mokslininkų grupės patvirtins rezultatus, masyvo ir duomenų pavyzdžių kaupimą.