Järjekordse kriisi asemel tuleks näha selles võimalust teaduskultuuri parandamiseks. "See pole märk, et suur osa teadlastest sõidavad omahuvidest lähtudes nurki sirgeks. Teadus ongi keeruline. Piiride nihutamiseks on vaja tegeleda teemadega, mille kohta me väga palju ei tea. On loomulik, et osa esialgu põnevana tundunud tulemustest ei pea paika. Probleem tekib, kui keegi ei kontrolli, kas need vastavad ikka tõele," sõnas projekti eest vedanud Brian Nosek, Avatud Teaduse Keskuse juhataja.

Viimastel aastatel on sattunud küsimärgi alla mitmed klassikaks saanud ja isegi õpikutesse jõudnud katsete tulemused. Tahtejõudu ja ego ei annagi võrrelda kaevuga, mille kuivaks jäämisel inimesed kõigile kiusatustele maagiliselt järele annavad ja halbu otsuseid teevad. Lapsena teistest hiljem lauale jäetud vahukommi söömine ei tähenda ilmtingimata, et samal lapsel läheb hiljem koolis teistest paremini. Seda vähemalt juhul, kui arvestada hoolikamalt laste sotsiaalse ja majandusliku tausta eripäradega.

Olukorra paremaks kaardistamiseks kordas Nosek kolleegidega teadusajakirjades Nature ja Science avaldatud 21 teadusartiklis kirjeldatud katseid. Nende sekka kuulusid ka mitmed meedias palju kõneainet leidnud eksperimendid. Näiteks tööd, mille kohaselt aitab ilukirjanduse lugemine mõista paremini teiste tundeid või pelk võimalus kasutada interneti otsimootorit parandab inimeste mälu.

Seejuures peeti ilmunud uurimuste autoritega nõu igal sammul. Vajadusel kaasas töörühm mõnel juhul kuni viis korda rohkem katsealuseid. Selle tulemusel märgata algsest nõrgemaid mõjusid.

60 protsenti ja veidi peale

Kolm aastat ja enam kui 200 000 dollarit hiljem on tulemus käes. Algsete eksperimentidega sarnase tulemuseni jõuti 13 korral. Neis nähtud mõju suurus oli algsest aga kolmandiku kuni poole võrra väiksem. Piltlikult oleks söönud laps karupildi nägemise peale kümne kommi asemel ainult 5–7 kommi.

Teisisõnu tuleks suhtuda eluterve kriitikameelega isegi neisse uurimustesse, mis on avaldatud hea mainega teadusajakirjas. Vähemalt seni, kuni sarnase tulemusi pole jõutud mõnes teises sõltumatus uuringus.

Paralleeli saab tuua haruldase haiguse diagnoosimiseks kasutatava testiga, mis võimaldab leida haiguse 99 juhul 100st. Kui haigus tabab rahvastikus ühte inimest tuhandest, on esimese testi järel positiivse tulemuse saades võimalus reaalselt haiguse põdemiseks 9%. Tuhandet inimest testides pandaks veel kümnele inimesele valediagnoos.

Saades kahtluse korral teise täiesti sõltumatu testi järel sama tulemuse, kasvab tõenäosus haiguse põdemiseks Bayes'i teoreemi põhjal 91%-ni. Sama loogika peab paika teaduses laiemalt. Tõele lähenetakse pidevalt, kuid miski pole päris lõpuni kindel.

Ajakirjade maine ja neis ilmunud tulemuste korratavuse vaheline seos pole veel selge. Ühtpidi võivad olla mõjukamate teadusajakirjade toimetajad olla tulemuste avaldamisel maine hoidmisel hoolikamad. Teisalt on hakanud nimekad teadusajakirjad teiste seas välja paistma just uute ja põnevate leidude avaldamisega.

"See on põhjus, miks ei unista ma, et ühel teadlasrühmal õnnestuks korrata teise töörühma tulemusi iga kord – sajaprotsendiliselt. Tõenäoliselt on muutunud vähemalt teadusajakirjadesse jõudev teadus sellisel juhul liiga konservatiivseks. Me ei julgeks enam küsida põhivoost erinevaid küsimusi või nõuaksime väidete põhjendamiseks liiga tugevaid tõendeid," sõnas Brian Nosek.

Pikas plaanis tasub risk ära. Just mõni eksootilisematest tulemustest võib sillutada teed täielikult uue uurimissuuna sünnini.

Ajaloo taak

Avatud Teaduse Keskuse juhtimisel on lahatud eelnevalt psühholoogia ja eksperimentaalse majandusteaduse vallas avaldatud uurimusi. Sajast psühholoogiakatsest õnnestus korrata 39 tulemusi. Majandusteaduse luubi alla võttes jõuti algsega sarnaste tulemusteni 62 protsendi puhul. Miks tundub ebaõnnestumiste arv ikkagi sedavõrd suur?

Projektis kaasa löönud Anna Dreber Almenbergi sõnul on üheks põhjuseks ajalugu ja harjumused. Replikatsioonikriisist hakati teaduses laiemalt rääkima alles 2010. aastal. Laiemalt tajusid teadlased probleemi olemasolu mõned aastad hiljem.

Laialt levinud mõtteviisi kohaselt loeti avaldamiskõlbulikeks uuringuid, mille puhul jäi võimalus põneva tulemuse puhta juhuse läbi saamiseks alla viie protsendi. Hakatuseks tähendab see, et saja uuringu avaldamisel ilmub viis tööd, mis on otseselt valepositiivsed.

"Sellise piiri seadmine on juba olemuslikult hullumeelne. See annab veidi nõrgema tulemuse saanud teadlasele indu olulise tulemuse saamiseks andmetega (statistika meetodeid kasutades) mängida. Nad ei pruugi seda isegi teadvustada. Eriti juhul, kui nad on ise oma hüpoteesis kindlad," laiendas Dreber Almenberg.

Paratamatult ilmub selle tõttu teaduskirjandusse töid, mida poleks muidu avaldatud. Selle tulemusel võib äärmuslikul juhul võtta doktorandil mõne sellise paljulubava uurimisteema valimisel kraadi saamine aega paar aastat kauem.

Eelnevale lisandub võimalus, et algse uurimuse avaldanud töörühm tegi juhuse tahtel teadmatult mõne vea. Sinna alla liigitub näiteks teade valgusest kiiremini liikuvatest aineosakestest. Neutriinode ebatavalise liikumiskiiruse taga oli logisev kaabel.

Valepositiivseid ehk puhtalt juhuse tõttu tekkinud põnevaid tulemusi iseloomustab Kentucky Ülikooli psühholoogi Will Gervais' eksperiment. "Tagantjärele mõeldes oli meie uuring lihtsalt totter. Kui mul võimalus oleks, siis täna ma seda enam ei avaldaks," meenutas Gervais. Toonase hüpoteesi kohaselt vähendab ratsionaalne mõtlemine usku jumalasse ja kõrgematesse jõududesse. Selle soodustamiseks pidid vaatama uurimisalused pilti Rodini kujust "Mõtleja". Vaatamata väikesele katsealuste arvule ilmus uuring ajakirjas Science.

Helge(m) tulevik?

Julgustava märgiga suudavad analüüsi kohaselt kogenud teadlased ennustada pea sajaprotsendiliselt, milliseid tulemusi õnnestub aja möödudes korrata. Nende teadusajakirjas ilmumine võib aga viidata, et uurimuste retsenseerijad teadusajakirjade toimetajad keskenduvad muule – teadlase või tema töökoha mainele.

Noseki, Dreber Almenberi ja nende kolleegide sõnul on lahendused olukorra parandamiseks juba praegu olemas. See eeldab, et oma käitumist muudaksid nii teadlased kui ka teadusajakirjad. Viimased võiksid juurutada näiteks põhimõtte, mille kohaselt peaksid olema ilmuvate uurimuste algandmed vajaduse tekkides kõigile kättesaadavad.

Teadlased omalt poolt peaksid aga juba enne katsete tegemiste algust selgelt sõnastama, mida, kuidas ja milliste meetoditega nad õigupoolest uurida kavatsevad. See vähendab võimalust, et algse hüpoteesi ümberlükkamisel hakkavad teadlased n-ö kalastama. Muu hulgas hõlmab see andmetes mustrite ja seoste otsimist, millega tõestada mõnda tagantjärele kirja pandud oletust.

Samuti peaks olema katsete metoodika ja tehtud analüüsid kõigile vajadusel näha. Nii saab igaüks ise otsustada, kas ja kui põhjendatud oli näiteks tehtud 20 uuringust 15 kõrvale heitmine.

Igal juhul on hakanud ilmunud analüüsi autorite sõnul on hakanud suhtumine kogukonnas viimastel aastatel muutuma. Töörühmaga tegi tihedat koostööd 21 uurimuse autoritest 20.

"Kui projektiga 2011.–2012. aastal algust tegime, keeldusid mitmed teadlased meiega isegi andmeid jagamast. Nad ei tahtnud, et keegi nende tulemusi kontrolliks ja pidasid seda rünnakuks nende enda isiku vastu: "Miks te seda teha tahate? Kas te ei usalda meid? Kas ma tegin midagi teie arvates valesti?!," meenutas Nosek. Neist osa tundis end ebamugavalt ka pärast selgitustööd. Seekord Noseki töörühm laustõrjuvat suhtumist ei tajunud.

Arenguruumi on ka ühiskonnal. "Teadust ei tohiks kujutada koolis millegi kindla, absoluutse ja autoriteetsena, mis on lõpuni valmis. See on üdini tõenäosuslik nagu elu ise. Mida varem me selle omaks võtame, seda parem meile kõigile," sõnas Dreber Almenber

Uurimus ilmus ajakirjas Nature Human Behaviour.