Kümmekond aastat tagasi tekkis psühholoogia valdkonnas arutelu, kas ja miks pole võimalik paljude uuringute tulemusi korrata. Nüüd osutab uus mahukas analüüs, et teadusharu tulemuste vettpidavuses võib näha edusamme. Duke'i Ülikooli psühholoog Paul Bogdan vaatas läbi üle 240 000 psühholoogia vallas ilmunud teadusartikli. Ta täheldas, et viimase 20 aastaga kirjeldavad need üha harvem n-ö hapraid või kahtlaseid uurimistulemusi, vahendab Science News.

Juhus või mitte?

Veidi üle kümne aasta tagasi osutasid kriitikud, et suur osa psühholoogia vallas ilmunud teaduskirjandust pole usaldusväärne. Kritiseeriti nii kehva statistiliste meetodite valikut, väikeseid valimeid kui ka kalduvust avaldada üksnes sensatsioonilisemaid tulemusi. Kriitikud pakkusid teadusharule toona välja rea reforme. Näiteks soovitati teadusliku ranguse huvides enne uuringu algust uurimisplaan põhjalikult ära kirjeldada ning teha avalikuks andmed ja analüüs.

Paul Bogdani huvitas, kas olukord on vahepeal paranenud. Selleks vaatas ta aastatel 2004–2024 ilmunud kümnete tuhandete psühholoogiaartiklite p väärtusi. Näitaja kirjeldab uuringuleidude statistilist olulisust. Teisisõnu käitub see juhuse mõõdikuna ning aitab otsustada, kas mingi uurimuse tulemus on päriselt oluline või võis see tekkida lihtsalt juhuslikult.

Näiteks võib 20 korda kulli ja kirja visates saada tulemuseks 15 korda kulli ja viis korda kirja. Selle juhtumise tõenäosuse välja arvutades võib jõuda tulemuseni, et nii äärmusliku tulemuse saamise võimalus on vaid kaks protsenti ehk münt on tõenäoliselt kaalutud, et korraldada pettusi. Psühholoogia vallas piisab reeglina katsetulemuste avaldamiseks, kui selle võimalus viis protsenti ehk p=0,05.

Kui valdkonnas ilmub ebatavaliselt palju uuringuid, mille p väärtus jääb napilt selle piiri alla, võib see viidata kahtlaste uurimispraktikate kasutamisele. Teisisõnu võivad teadlased sel juhul andmete avaldamiskõlbulikuks muutmiseks ranguses järeleandmisi teha. Näiteks võisid nad analüüsida andmeid mitmel moel, kuni saavutasid lõpuks soovitud tulemuse, või siis kasuta analüüsisandmeid valikuliselt ehk häkkida p-d endale sobivas suunas.

Bogdan kirjutas arvutikoodi, mis aitaks tal läbi kammida 240 355 artiklit erinevatest psühholoogia allharudest. Lisaks tõi kood kõigist uuringutest välja nende p väärtuse. Bogdan kontrollis seejärel, kui suurel osal uuritud artiklitest jäi p väärtus 0,01 ja 0,05 vahele ehk nii-öelda haprasse vahemikku.

Ootuspärane oli, et puhtjuhuslikult jääks sellesse vahemikku umbes 26 protsenti tegelikult statistiliselt olulistest tulemustest. Kui see protsent osutuks suuremaks, viitaks see kahtlaste võtete kasutamisele.

Selgus, et 2004. aastal jäi haprasse vahemikku 32 protsenti leidude p väärtustest. See viitab, et toona avaldati tulemusi tõepoolest valikuliselt või muul moel moonutatuna. Aastaks 2024 oli selliste tulemuste hulk vaid õige pisut suurem, kui juhusele viitav 26 protsenti. Siit nähtub Bogdani sõnul, et psühholoogid on hakanud oma uuringuid kvaliteetsemalt tegema.

Siiski oli pilt muutunud psühholoogias alamvaldkonniti erineval määral. Näiteks ilmus kliinilises ja arengupsühooloogias endiselt hapra p väärtusega tulemusi rohkem kui näiteks kognitiivse ja sotsiaalpsühholoogia vallas.

Valimid on nüüd suuremad

Kahtlase tulemuse võib anda ka uuringu liiga väike valim. Paul Bogdani analüüs näitas, et valimid on ajapikku suurenenud. Keskmiselt hõlmasid enamikes psühholoogia harudes uuringud 2004. aastal sadat inimest vähem kui mullu. Mõnes valdkonnas on valimid nüüdseks isegi 250 inimese võrra suuremad. 

Eriti märkimisväärselt olid vahepeal paisunud sotsiaalpsühholoogia uuringute valimid, kus katseisikuid värvatakse veebi teel. Teisalt ei muutunud valimid ajas kuigivõrd suuremaks näiteks kliinilises psühholoogias, kus uuritavaid värvatakse endiselt silmast silma.

Bogdani hinnangul on olukord paranenud tänu psühholoogiavalla teaduskultuurile. Ta märkas, et väiksema p-väärtusega artiklit ilmusid tõenäolisemalt mainekamates ajakirjades ja neid tisteeriti rohkem. See viitab, et psühholoogid märkavad ja tunnustavad isekeskis vettpidavalt tehtud tööd. Varem hinnati Bogdani sõnul rohkem sensatsioonilisi leide ehk olukord on oluliselt paranenud.

Uuringuga mitte seotud teadlased ei tõtta aga Bogdani uuringu tulemusi kogu psühholoogiale üle kandma. Näiteks pole selge, ega veebiuuringutes ei registreeru osalema botid või lihtsalt inimesed, kes uuringut tegelikult täita ei kavatse

Uurimus ilmus ajakirjas Advances in Methods and Practices in Psychological Science.