''Et täiesti selgelt väljenduda, mitte keegi ei üritanud sellega kedagi petta, aga nad tegid vigu, mil enamik meediaväljaandeid avaldas toonaste tulemuste peale loo, kuidas psühholoogiat on tabanud kriis,'' märkis Harvardi ülikooli psühholoog Dan Gilbert, Avatud Teaduse Keskuse (OSC) egiidi all tehtud analüüsi vajakajäämistele osutanud kommentaari üks autoritest.

Eelmise aasta augusti viimastel päevadel ajakirjas Science avaldatud töös kirjeldas Virginia ülikooli psühholoogiaprofessor Brian Nosek 270 kaastöölise abil tehtud katset korrata saja 2008. aastal kolmes psühholoogia tippajakirjas ilmunud töö tulemusi. Ühe mõõdiku, katseid korranud töörühmade endi hinnangul jõuti sarnasele tulemusele vaid 39 protsendi uurimuste puhul. Vaatamata sellele, et enne katsete tegemist peeti algsete tingimuste võimalikult lähedaseks jäljendamiseks nõu proovile pandavate uurimuste autoritega.

Siin avaldubki üks Gilberti ja ta kolleegide kriitikanootidest. ''Töö põhjal oleks võinud arvata, et nad uurisid samade meetoditega sarnaseid inimrühmi. Muidugi võib oodata, et mingeid variatsioone tuleb ikka ette, aga kui katsete kirjeldust hoolikalt võrrelda, siis tekib mõnedel juhtudel küsimus, kas seda saab üldse katse kordamiseks nimetada,'' leidis Gilbert. Näitena tõi ta kolleegidega välja korduskatse, kus uuriti itaallaste suhtumist ameeriklaste asemel afroameeriklastesse.

Vaatenurkade küsimus
Psühholoog märkis lisaks, et eksperimendi kordamiseks kasutatud katsete disaini kiitsid heaks vaid 69 protsendi uurimuste autorid. (Tasub välja tuua, et 18 töö autoritega ei õnnestunud ühendust saada, mil 11 töö autorid laitsid tehtud muudatused maha). Analüüs näitas, et heakskiidu pälvimine seostus tugevalt sellega, kas tulemusi õnnestus edukalt korrata. Esimesel juhul ulatus näitaja 59,4, teisel puhul vaid 15,4 protsendini. Vahe oli neljakordne! Seose tõlgendamise osas läheb aga Gilberti töörühma arvamus mitmete Avatud Teaduse Keskuse teadlaste omast lahku.

''Gilberti tähelepanek on hea. Kui katseid võrrelda ja selle käigus märkimisväärseid erinevusi leiab, siis millest me üleüldse räägime. Kuid heakskiidu küsimus on oluliselt keerukam. Võibolla nägid algautorid, et katse kordajate lahendus ei vastanud tõesti nende omale. Teisalt võisid nad ise hoomata, et nende uurimuse järeldused pole piisavalt kindlatel alustel ja jäid seepärast kahtlevale seisukohale,'' selgitas statistikale ja metodoloogiale spetsialiseeruv Marcel Van Assen, Tillburgi ülikooli dotsent. Õnneks saab kaudselt ühe ja teise võimaluse paikapidavuse proovile panna.

Enne korduskatsete tegemist paluti kümnetel teadlastel nn uurimusbörsi vahendusel hinnata, kui tõenäoliselt suudetakse ühe või teise katse tulemusi korrata. Mida kindlamini korratav katse, seda kõrgemale tõusis kaubeldes uurimuse aktsia hind. ''Hiljem nägime, et selle alusel sai täpselt ennustada, kas see tõesti õnnestus. Vaatamata sellele, et tol hetkel polnud ennustusi tegevatel teadlastel mingit aimu, kuidas katse kordamine täpselt käib,'' lisas Bostoni ülikooli psühholoogiaprofessor Joshua Hartshorne. Teiste sõnadega, teadlaste sisetunne on piisavalt hea, et tunda ära head teadustööd.

Veelgi parem võimalus oleks üritada korrata autorite poolt maha laidetud uurimuste tulemusi mitmetes laborites. ''Neist pooltes jälgiksime nende katsedisaini täpselt ja pooltes viisil, nagu tehti korduskatse puhul. Võiksime nõnda etteheidet otseselt testida,'' leidis van Assen. Katsete kordamist eestvedanud Brian Noseki sõnul on plaanis uuesti proovile panna 11 kahtlusi tekitanud tööd.

Lisaks, ''nagu oodata võis, madalama statistilise olulise ja väiksema uurimisaluste arvuga tööde tulemusi õnnestus korrata tunduvalt harvemini. Juba fakt, et saad alguurimuse põhjal ennustada, kas selle tulemusi õnnestub korrata või mitte, näitab, et ebaõnnestumisi ei saa selgitada vaid ''korduskatse kvaliteediga''. Gilbert ja ta kolleegid on sellest teadlikud, aga seda nad oma kommentaaris ei lahka,'' märkis Hartshorne.

Omaette küsimuseks jääb, kas psühholoogidel on üleüldse mõtet uurida nähtuseid, mis avalduvad vaid väga kindlatel tingimustel. ''Luhtunud katse algset tulemust korrata tähendab, et see ei kehti uutel tingimustel. Kui need on algsetest väga palju erinevad, siis on võimalus, et katse kordamise ajal kaugeneti algsest olukorrast liiga palju. Ent kui meetodid on mõlemal juhul küllaltki sarnased, tähendab see, et algse katse pealt ei saa pea mingisuguseid üldistusi teha,'' lisas psühholoog.

Täiendav kriitika?
Samuti heidab Gilbert oma kriitikas ette, et Avatud Teaduse Keskuse projektiga liitunud teadlased kasutasid analüüsiks meetodeid, mis seadsid potentsiaalsed tulemused juba ette negatiivsesse valgusesse. Osa korduskatseid oleks pidanud läbi kukkuma juba pelga juhuse läbi. Töörühma hinnangul oleks selle mõju sedavõrd suur, et töös nähtud luhtunud katsete arv oleks võrreldav juhuse läbi ebaõnnestunud katsete arvuga juhul, kui paika oleks pidanud kõik algsed tulemused. OCS analüüsi kohaselt ebaõnnestus juhuse tõttu aga kuni 22,5 protsenti katsetest

Vahe tuleb sisse põhimõttelises erinevuses. Kui Avatud Teaduse Keskuse projektiga liitunud teadlaste analüüsi järgi õnnestus katset edukalt korrata juhul, kui algne tulemus langes korduskatse tulemuse usalduspiiride vahele, siis Gilberti ja ta kaaslaste käsitluse järgi oleks pidanud paigutuma korduskatse tulemus algse tulemuse usalduspiiridesse. Statistiliselt suudetakse esimesel juhul korrata suurte valimite puhul tõeseid efekte vähem, teisel juhul lipsab läbi aga rohkem valepositiivseid tulemusi.

Ent Gilberti kriitika keskendub vaid ühele katse kordamise edukust näitavale mõõdikule. OCS kollektiiv kasutas tulemuste hindamiseks viit erinevat lahendust. ''Nad ignoreerivad täielikult keskmist efekti suurust, mis on kõige selgem näitaja, ja seda, kui mitmed korduskatsetes nähtavatest efektidest on algsest suuremad või väiksemad. Arvan, et nad teevad seda sihilikult,'' nentis van Assen.

Statistik toob välja, et teiste mõõdikute järgi kahanes näiteks korduskatses nähtava efekti suurus pea iga uurimuse puhul. ''See tähendab, et algsetes uurimustes hinnatakse efekti suurust süstemaatiliselt üle,'' lisas van Assen.

Lõplik otsus
Kokkuvõtlikult leidis Nosek, Hartshorne ja van Assen koos oma teiste OCS kaaslastega, et Gilberti töörühma toodud argumendid pole põhjendatud. ''Nende kommentaarist leiab arvukalt matemaatilisi vigu. Kui sa need parandad, kukub nende arutluskäik kokku. Kuid sellegipoolest on see ilmselt üks kõige suurema kõlapinnaga ja detailsemaid kriitikaid, mida meie töö suhtes avaldatud. See tõstab minu silmis kindlust, et meie algsed tulemused peavad paika,'' märkis Hartshorne.

Enamik eelnevalt saadud tagasisidest on olnud OCS-teadlaste sõnul positiivne ja katsete korratavusele on hakatud rohkem tähelepanu pöörlema paljudes ülikoolides. ''Samas leidub ikka mõningaid prominentseid vanemteadureid sh Gilbert, kes on olnud väga kriitilised. Ent vähemalt minu kogemuse järgi on nad selges vähemuses,'' lisas professor.

Võib öelda, et teema on emotsionaalselt laetud. Oma roll on selles mängida ka ülikoolide pressiosakondadel kui ka meediaväljaannetel. Näiteks Gilberti ja ta kaaslaste kriitikat edasi andev pressiteade kannab pealkirja ''Teadlased pööravad pea peale psühholoogiateaduse korratavust (käsitlenud) põhjapaneva uuringu''. ''See tekitab paljudele inimestele mulje, et kõik on kõige paremas korras, isegi kui teema ja andmetega rohkem kursis olevad inimesed meiega nõustuvad. See pole teadusele hea,'' nentis van Assen.

Avatud Teaduse Keskuse projekti on üritanud süstemaatiliselt hinnata ka teised. Näiteks eelmisel nädalal ajakirjas PLOS ONE ilmunud töös järeldati teistsuguseid analüüsi meetodeid kasutades, et ligikaudu kolmandiku eksperimentide puhul ei saa kindlalt öelda, kas algse katse kordamisel suudeti selle tulemust kinnitada või ümber lükata.