Analüüs: katsete kordamisel pole kontekstist pääsu ({{commentsTotal}})

Autor/allikas: Domiriel/Creative Commons

Kuigi katsete korratavust peetakse teaduse üheks põhialuseks, on reaalses maailmas sama tulemuseni jõudmine üllatavalt keeruline, eriti psühholoogias ja sotsiaalteadustes. Põhjuste jälgi ajanud töörühm järeldab, et vähemalt osaliselt saab ebaõnnestumises süüdistada kontekstist sõltuvaid tegureid nagu täpne kellaaeg, kultuur ja rassilised erisused.

Teadusmaailmas juba aastaid tuha all hõõgunud probleemi tõi laiema avalikkuse ette möödunud augustis ilmunud suuruuring, milles korrati sada psühholoogia-alast katset . Algse tööga samale järeldusele jõuti vähem kui kahel juhul viiest. ''Kuid me ei peaks seetõttu kohe käsi üles tõstma ja sellest järeldama, et psühholoogia on tervikuna kreenis. Selle asemel oleks vaja põhjalikult uurida, miks meil katseid korrata ei õnnestu ja tegema siis omad järeldused,'' sõnas Diego Reinero, New Yorgi ülikooli sotsiaalteaduste doktorant ja uue uurimuse kaasautor ERR Novaatorile.

Võimalusi on mitmeid. Näiteks võisid algseid eksperimente teinud teadlased kasutada tulemuste olulisemana näitamiseks ja uurimuse üle avaldamiskünnise upitamiseks erinevaid statistilisi võtteid, katse kordajad ei järginud piisavalt hoolikalt autorite antud juhiseid või taandus läbikukkumine või algse efekti nägemine juhusele. Kuid oma mõju võivad avaldada ka näiteks kultuurilised ja ajaloolised tegurid ning keskkond.

Kõik sõltub kontekstist?
'''Kui üritada korrata Kanadas tehtud uuringut USA-s ja kasutada stiimulina kanada kuulsusi, võib juba enne uuringut ennustada, et ameerika tudengitega võrdväärset efekti ei näe. On loomulik asendada nad kohalike prominentidega. Kuigi alati võib siis muidugi vaielda, kas see oli ikka algse katse tõetruu kordamine,'' tõi Reinero päriselust pärineva näite. Samas nappis varem ja napib ka praegu uuringuid, mis oleks lahanud, kui suur mõju katsete korratavusele taolistel teguritel tegelikult on. Laiaulatuslikumate analüüside tulemused on olnud seni vasturääkivad.

Hiljuti Ameerika Ühendriikide teadusakadeemia toimetistes ilmunud töös võttis Reinero koos New Yorgi psühholoogia professori Jay Van Baveli ja teiste kolleegidega aluseks sama sada teadustööd, mille järelduste paikapidavust lahkasid sajad Avatud Teaduse Keskuse egiidi all tegutsenud teadlased.

Kontekstitundlikkuse määramiseks paluti töid hinnata kolmel magistriastme lõpetanud tudengil, kellel polnud aimu, kuidas katsed täpselt välja nägid ja kas saadud tulemusi õnnestus korrata. Muu hulgas võtsid nad arvesse aja, kultuuri, koha ja populatsiooni mõju. Näiteks on võimalik, et efekt avaldub vaid lõuna paiku individualistlike hoiakutega valge nahavärviga linnas elavate inimeste seas.

Selge mõju
Mõju oli selgelt olemas. ''Me oletasime, et algse tööga samade järeldusteni jõudmise tõenäosus sõltub sellest, kui kontekstitundlikud katsed on, kuid ei osanud oodata, et selle mõju ületab isegi tulemuste uudsust ja algse efekti suurust,'' laiendas Reinero. Samas rõhutas ta, et nende uurimuse näol on tegu vaid ühe andmepunktiga. Teisisõnu pole võimalik hetkel ennustada, kas samadele tulemustele jõutakse ka teistes analüüsides.

Doktorant nentis, et kogukond on küsimuses lõhestunud. Näiteks arvavad mõned küünilisema mõttelaadiga sotsiaalteadlased, et kontekstitundlikkust võidakse kasutada patuoinana, mille kaela ajada enda vajakajäämised.

Kuigi Van Baveli, Reinero ja ta kolleegide analüüsi tervitas ka Avatud Teaduse Projekti eestvedanud Brian Noseki, viitas ta ka mõningatele puudustele. ''Kuna kontekstitundlikkuse hinnang põhineb arvustajate arvamusel, pole võimalik täie kindlusega öelda, et nad teevad seda tõepoolest kontekstitundlikkuse, mitte millegi muu alusel. Sellisel kujul on tegu korrelatsiooniga ning põhjuslik tegur võib olla hoopis teine,'' nentis Nosek.

Reinero tõi välja, et seda püüti vältida nii mitmete hindajate kasutamise kui ka antud hinnangute integreerimisega. ''Kuid on mõistuspärane mõelda, et kontekstitundlikkuse asemel püüame me selle asemel pildile näiteks hoopis kognitiivse ja sotsiaalpsühholoogia vahelise lõhe. Ent tasub märkida, et enamik uurimusi ei liigitu puhtalt ei ühe ega teise alla – hea näide on kasvõi moraalitaju uurimine,'' leidis doktorant.

Mees lisas, et omad piirangud seavad ka aluseks võetud Avatud Teaduse Projekti raames proovile pandud tööd ja nende replikatsioonid ise. Samuti tuleb teha ilmtingimata katseid, milles uuritakse katsete kontekstitundlikkust eksperimentaalselt.

Helgema tuleviku suunas
Tuleviku ja katsete korratavuse parandamise kontekstis märkis Reinaro, et üheks võtmesõnaks on algsete uurimuste autorite ja katseid kordavate teadlaste vaheline tihedam koostöö. ''Seda ei tohiks võtta vaenulikkust ja kahtlustusi äratava protsessina, vaid teaduse loomuliku osana. Kogu vastutust ei tohiks delegeerida vaid katsete kordajatele, vaid oma panuse peaksid andma ka inimesed, kelle katset korratakse. See on nende enda huvides,'' selgitas doktorant.

Muutusi oleks vaja ka avaldamiskultuuris. Näiteks võiksid laborid vaid ühe uuringu tulemuste avaldamise asemel korrata katset ka n-ö majasiseselt. ''See võib viia mitme erineva tulemini – näiteks selgitatakse välja piirtingimused, mille raamides nähtust või efekti näha võib. Samas võid teist korda ise samale tulemusele jõudes ehk efekti olemasolu kontrollides olla ise kindel, et nähtus on tõesti olemas,'' sõnas Reinaro. Kuid kiusatustele ei tohiks järgi anda teisteski küsimustes.

''On väga ahvatlev leida mõni ilus efekt ja üldistada seda suurematele inimrühmadele või maailma teistele aspektidele, kui tegelikult sünnis on. Selle taga on mitmed erinevad tegurid, sh avaldada rohkem kõlapinda leidvaid töid,'' lisas mees.

Tõde väikese tähega

Mida peaksid tegema aga tavainimesed seni, kuni teadlased või meedia piirtingimusi, mille vahel efekti tõepoolest näha saab, selgemalt välja ei too?

''Teaduses pole tõde suure tähega ehk uued tõendid võivad kallutada arusaama teises suunas. Nii võib avalikkus tahta midagi, mida teadus tegelikult pakkuda ei suuda ehk selget ja ühest vastust, mis peab alati paika'' märkis Reinero.

Seega on tema sõnul äärmiselt raske anda ka ühest tunnust, mille alusel avalikkus hinnata saaks, millal lisada üks või teine uurimistulemus oma maailmapilti.

Kui mõnel juhul võib piisata katsetulemuse paaril korral kordamisest, siis teisel juhul on tegu oluliselt vaevalisema protsessiga. ''Kasu võib olla vaheanalüüsidest, kuigi nähtava efekti suurust võidakse eeskätt positiivsete tulemuste avaldamise tõttu ülehinnata. Ent see oleks üks võimalus,'' leidis doktorant.

Samal ajal ei tasuks Reinero hinnangul praegust aadri laskmisele sarnanevat olukorda peljata. ''See võib tunduda ühe väga sassis kapi avamisega, kuid kui seda ei tee, pole võimalik leida ka viise selle korrastamiseks. Aja jooksul võib avalikkus sellega harjuda,'' mõtiskles teadlane. Alati on kasu ka elutervest kriitikameelest.

Avatud meel
Tulemuste kehv korratavus ei kimbuta Reinero sõnul sugugi mitte vaid psühholoogiat, vaid sotsiaal- ja loodusteadusi. ''Eelmisel suvel avaldatud tulemuste põhjal on lihtne väita ja arvata, et psühholoogia on üdini mäda, kuid see on kohatu. Täpne kontekst võib mängida vägagi suurt rolli. Seejuures isegi tegurid, mille peale ise mõelda ei oskaks. Neid näiteid on palju,'' tõdes doktorant.

Üheks näiteks võib pidada närilistega tehtud katseid. Ikka ja jälle selgub, et ühes laboris tehtud katsetulemuste erisused ja rakendatud teraapia edukus sõltuvad väikestest asjadest nagu puuri valgustatusest või joogiveest. Füüsikas ei õnnestunud sadu aastaid korrata ka näiteks kuulsa hollandi teadlase Christiaan Huygensi katset, kes näitas, et sama kinnitusmehhanismi külge kinnitatud pendlid hakkavad käima sünkroonis. Alles hiljuti selgus, et tegelikult peab olema selleks pendli ja massi suhe väga kindel.

''Tahan sellega öelda, et kui katset kohe korrata ei õnnestu, ei pruugi see kohe tähendada, et nähtust pole olemas. Tõepoolest, mõnikord seda ei leitagi, ent teisel juhul võib see osutada see millelegi täiesti uuele ja olulisele,'' märkis Reinero



ERR kasutab oma veebilehtedel http küpsiseid. Kasutame küpsiseid, et meelde jätta kasutajate eelistused meie sisu lehitsemisel ning kohandada ERRi veebilehti kasutaja huvidele vastavaks. Kolmandad osapooled, nagu sotsiaalmeedia veebilehed, võivad samuti lisada küpsiseid kasutaja brauserisse, kui meie lehtedele on manustatud sisu otse sotsiaalmeediast. Kui jätkate ilma oma lehitsemise seadeid muutmata, tähendab see, et nõustute kõikide ERRi internetilehekülgede küpsiste seadetega.
Hea lugeja, näeme et kasutate vanemat brauseri versiooni või vähelevinud brauserit.

Parema ja terviklikuma kasutajakogemuse tagamiseks soovitame alla laadida uusim versioon mõnest meie toetatud brauserist: