„Uued, positiivsed ja muidu suurepärased tulemused läbivad retsenseerimise protsessi edukamalt, mis võib viia nihkeni avaldavate uurimuste sisus, välja jäetakse negatiivsed tulemused ja uurimused, mis ei lähe olemasoleva pildiga kokku. Kui see toimub laialdasemal skaalal, siis muutub avaldatud kirjandus reaalsusest ilusamaks,“ tõdes taasprodutseerimise projekti eestvedanud Avatud Teaduse Keskuse (Center for Open Science) tegevjuht Brian Nosek tulemusi esitledes. Kahe aasta eest asutatud vabaühing tegeleb muu hulgas avatud teaduse populariseerimisega ja pakub teadlastele tasuta platvormi oma tulemuste osaliselt või täielikult avalikuks tegemiseks.

Lõhe olemasolule viitavaid ülevaateartikleid on ilmunud varemgi. Näiteks 2005. aastal ilmunud teoreetilises analüüsis nenditi, et rohkem kui pooled avaldatavad tööd on muu hulgas uurimisaluste arvu, nähtud efekti suuruse ja uuritud seoste arvu tõttu pigem väärad kui tõesed. Paari aasta eest rakubioloogia ja vähiuuringute olukorda hinnanud kahes töös jõuti eelnevaid uurimusi proovile pannes samale tulemusele vastavalt igal kümnendal ja neljandal juhul.

„Korratavuse probleem tervikuna ja statistilise olulise taga ajamine ei iseloomusta kindlasti vaid psühholoogiat, vaid igasugust teadust, kus kasutatakse statistika meetodeid. Paratamatult esineb seda rohkem valdkondades, kus on statistikal suurem roll,“ nentis Tallinna ülikooli kultuuri- ja neuropsühholoogia professor Aaro Toomela. Näiteks ajakirjas Science ilmunud uurimuses suutis Nosek koos vabatahtlikega kinnitada poolte kognitiivse psühholoogia valdkonda kuuluvat tööde tulemusi, kuid vaid iga kolmanda sotsiaalpsühholoogia alla liigituva uurimuse järeldust.

Katsete korratavus
Noseki nelja aasta eest alanud projekt erineb eelnevatest oma ulatuse ja avatuse poolest. Kokku lõi saja 2008. aastal ajakirjades Psychological Science, Journal of Personality and Social Psychology ja Journal of Experimental Psychology: Learning, Memory, and Cognition ilmunud uurimuse proovile panemises kaasa 270 teadlast ja 86 toetavat rolli täitnud vabatahtlikku. Kirjeldatud katseid üritati jäljendada võimalikult tõetruult, lähtudes algautorite soovitustest ja näpunäidetest. Korduskatse täpne kulg jäädvustati kõigile osalistele ligipääsetavas veebikeskkonnas.

Kuna katse edukat kordamist saab määratleda mitmel erineval moel, lähtusid uuringus osalenud töörühmad viiest veidi erinevast kriteeriumist. Üldine järeldus on aga selge – korrata suudeti vähem kui poolte proovile pandud uurimuste tulemusi. „Näiteks olid statistiliselt olulised 97 protsendi originaaluurimuste tulemused, korduskatsetes aga vaid 36 protsendi. Lisaks kahanes märgatavalt kirjeldatava efekti suurus. Korduskatsetes nähtud efekt oli keskeltläbi enam kui poole väiksem,“ märkis Nosek.

Katseid korranud töörühmade endi hinnangul jõuti alguurimusega sarnasele tulemusel 39 protsendi uurimuste puhul. Kollektiiv nendib, et märkimisväärse vahe põhjused pole sirgjoonelised. Algne tulemus võiski olla väär ja efekti nähti juhuslikult või polnud see reaalne; nii algse kui korduskatse tulemused peavad paika, kuid kasutatud metodoloogia erines oluliselt; või ei suutnud katse kordajad matkida algset katset nähtuse avaldumiseks piisavalt täpselt.

Aaro Toomela hinnangul peegeldavad tulemused reaalsust küllaltki hästi. „Ma poleks üllatunud, kui vahe on veelgi suurem ja korratavate katsete osakaal jääb tegelikult alla 25 protsendi. Tegu oli psühholoogia tippajakirjades avaldatud töödega,“ märkis ta. Toomela toob välja, et probleemi olemasolule on erinevates erialastes ajakirjades tähelepanu juhitud juba aastaid. Noseki ja ta kolleegide uurimuse ühes maailma mõjukamas ajakirjas ilmumine annab aga lootust, et seda julgetakse laiemalt tunnistada.

Parema maailma poole?
Nosek ise ei näe maailma tumedates toonides. „Projekt näitab teadust demonstreerimas ühte oma põhiomadustest – isekorrigeerivust. Teadlaste kogukond loovutas vabatahtlikult osa oma ajast, saades seejuures väga vähe üksikisiku tasemel tunnustust,“ laiendas teadlane. Samal ajal oleks võimalik tema hinnangul saavutada veelgi paremaid tulemusi, kui osa teadustööks tegemiseks tehtavatest vahenditest eraldataks spetsiaalselt eelnevate katsete kordamise ja järelduste paikapidavuse kontrollimise tarbeks.

Avatud Teaduse Keskuse projektijuhi Mallory Kidwelli arvates ei saa alahinnata ka kaasaegse maailma ja interneti poolt pakutavaid võimalusi. „Mõnes mõttes on meil viimaks tööriistad, et olukorraga midagi ette võtta. Avatud teaduse platvormid ühendavad teadlasi ja võimaldavad tähendusrikka panuse anda rohkematel inimestel kui kunagi varem,“ märkis Kidwell.

Näiteks võiks tulevikus tema sõnul eksisteerida suured andmebaasid, kus saaksid teadlased oma käimasolevate projektide kulgu dokumenteerida, vahetulemused kättesaadavaks teha ja saada kolleegide poolt laiemat tagasisidet isegi enne lõpptulemuse ajakirjas avaldamist.

Avatud teadus
Kidwell toob näitena juba praegu olemasoleva platvormi Open Science Framework, mis võimaldab katsetulemusi ja -protokolle pilves hoiustada ning võimaldada projekti erinevatele osadele vastavalt soovile täielikku või piiratud ligipääsu. „Muu hulgas võimaldaks see vältida olukordi, kus mitu teadlast erineval ajal samale mõttele tulevad, kuid negatiivse tulemuse saamise tõttu ei leia esimene uurimus avaldamist ja kõlapinda ning teine töörühm teeb pool aastat tulutut tööd,“ laiendas ta. Sama platvorm leidis rakendust ajakirjas Science ilmunud töö valmimisel.

Avatud Teaduse Keskuse eestvedamisel loodud teadusuurimuste läbipaistvust ja nendes kirjeldavate katsete korratavust julgustavatele hea tava põhimõtetele on tänaseks alla kirjutanud rohkem kui 500 teadusajakirja ja 49 organisatsiooni. Tõsi, mitte kõik ei ole end sellega kohustanud järgima neid nende kõige rangemas võtmes. Head tava järgivate teadlaste uurimustele lisatakse spetsiaalsed vesimärgid.

Aaro Toomela sedavõrd optimistlik pole. Kuigi taolised andmebaasid saavad ilmselt tulevikus populaarsemaks ja nendel on suurem roll, peab selleks tulema tõuge vähemalt praegu maailmas valdava teaduspoliitika ja pideva avaldamissurve tingimustes väljaspoolt.

„Avaliku raha toel tehtava uurimistöö puhul kaasneb üha sagedamini kohustus tulemused laiemale avalikkusele kättesaadavaks teha. Kuid sellel on alati teatav piir. Tippteadlased ei hakka avaldama oma käimasolevate projektide detaile, et avastada poolt aastat hiljem, kuidas keegi neist sama ideed arendades ette on jõudnud. Mida konkurentsitihedam valdkond on, seda vähem seda tehakse,“ märkis Toomela. Päeva lõpuks teadlasi ainult kleepsudega ei motiveeri ja avalda-või-hävi mentaliteedis oleks vaja olemuslikumat muutust.

Vahepeal on aga Avatud Teaduse Keskus algatanud uue projekti, mille käigus pannakse proovile aastatel 2010-2012 laialdast kõneainet pakkunud vähibioloogia uurimused.