Hiljuti tekkinud debatis Eesti teaduse rahastuse üle kirjeldab Sihtasutuse Eesti Teadusagentuur (ETAg) hindamisnõukogu¹ (HN), kuidas jagatakse Eestis uurimistoetuste raha. Artiklis antakse väga hea ja täpne ülevaade kehtivatest seadusaktidest ja põhimõtetest, kuidas teadusprojektide taotlusi peaks hindama ja otsuseid langetama. Kahjuks tekib aga igal aastal mitmetel teadlastel arvamus, et reaalses elus toimuvad hindamisprotsessid pisut teistmoodi.

Kuna taotluste ja retsensioonide andmebaas on ETAg-is tavateadlastele kättesaamatu, siis on kahjuks võimatu teha ülevaadet kõigi taotluste hindamisest. Kuna autoril on siiski olemas täielik ülevaade ühe konkreetse taotluse hiljutise hindamise menetlemisprotsessist, on meil võimalik heita põgus pilk ühele reaalsele menetlusele.

Loomulikult mingeid üldistusi me ühe taotluse põhjal teha ei saa, kuid ühtegi konkreetset näidet ei saa ega tohi me ka ignoreerida, sest ETAg-i hindamisprotseduur peaks olema ühetaoline kõigi taotluste puhul.

Taotlus PRG744

ETAG-ile esitati 2019. a taotlusvoorus personaalse rühmagrandi taotlus, mis vastas igati formaalsetele nõuetele ja registreeriti ETAg-is koodiga PRG744. Taotlus läks hindamisele ja vastavalt reglemendile organiseeris HN ja selle moodustatud ekspertkomisjon taotlusele kolm retsensiooni, mille alusel koostati koondhinnang. Kogu materjal edastati taotlejale 2019. a. detsembri alguses enne lõppotsuse vastuvõtmist.

Vastavalt reglemendile peab hindamine põhinema asjatundlikkusel. Hinnangud peavad olema teaduslikult hästi põhjendatud ja loomulikult peab hindamisel jälgima ka menetlusreegleid, nagu hindamisjuhend ette näeb.

Retsensent 1

Alustame hinnangute lugemist ja arutelu retsensioonidest, sest need on aluseks HN poolt antavale koondhinnangule. Asudes retsensioone lugema, võis tõdeda, et Retsensent 1 hindas taotlust kõigis hinnatavates punktides äärmiselt positiivselt, kiites innovatsioonilisi ideid ja uudset metoodilist lähenemist ning pidas taotluse ambitsioonikate eesmärkide saavutamist Taotleja varasemaid saavutusi arvestades täiesti realistlikuks.

Taotleja CV-d pidas Retsensent 1 muljetavaldavaks (impressive) ja leidmata ühtegi vasturääkivust või eksimust andis Retsensent 1 taotlusele kõigis hinnatavates punktides maksimaalsed hinded "5".

Retsensent 2

Asudes lootusrikkalt lugema Retsensent 2 retsensiooni, kohtas Taotleja oluliselt erinevat arvamust. Vastavalt ETAG-i hindamisjuhendile peab Retsensent andma hinnangu taotluses planeeritavate uurimismetoodikate asjakohasuse ja potentsiaalsete probleemide kohta. Retsensent 2 on taotluse metoodika hindamisel väga kriitiline ja heidab oma hinnangus korduvalt ette ESI MS kui tema arvates mittekvantitatiivse ja ebakohase metoodika valikut taotluses ja alandab selles punktis vastavalt hinnet taotlusele tasemele "3".

ESI MS ehk elektropihustusionisatsiooni (ESI) mass-spektromeetria (MS) on valkude ja teiste biopolümeeride uurimise kaasaegne uurimismetoodika, millel on väga palju rakendusvõimalusi. Uuenduslikke ESI MS rakendusi on varasemalt loonud ka Taotleja. Saadud tulemused on publitseeritud kõrgetasemelistes teadusajakirjades.

Taotleja loeb retsensiooni mitmeid kordi üle ja igaks juhuks loeb taotluse üle, et leida seal võimalikke kirjavigu, kuid kõik on korrektne. Loomulikult teab ta, et ESI MS metoodikat taotluses kasutada ei planeeritud. Taotluses pakuti välja hoopis täiesti uudne metoodiline lähenemine, mille põhimetoodika lühendiks on ICP MS.

Siingi on tegu mass-spektromeetrilise uurimismetoodikaga, kuid sellega sarnasus ESI MS-ga piirdub. Tegu on induktiivselt sidestatud plasma (ICP) ionisatsioonil põhineva mitte valkude, vaid peamiselt metalliliste elementide kvantitatiivse uurimismetoodikaga, mis kombineerituna vedelikkromatograafiaga (LC) annab taotleja arvates innovatiivse lähenemise metalloproteoomika valdkonnas. Seega kritiseeris Retsensent 2 oma retsensioonis mingil põhjusel tehnoloogiat, mida taotluses üldse kasutada ei planeeritud.

Loomulikult tõstatab selline retsensioon mitmeid küsimusi. Esiteks, kas Retsensent on teadlik, et ESI MS ja ICP MS on erinevad metoodikad? Kui ta ei tea, siis on põhjust arvata, et ta on kaasaegse analüütilise keemia vallas täiesti ebapädev ja asjatundmatu. ESI MS ja ICP MS erisuse mõistmiseks piisab tänapäeval kõrgharidusest keemia valdkonnas. Seega ta ei sobi konkreetse taotluse Retsensendiks.

Kui vastus on jaatav, siis jääb täiesti arusaamatuks, miks hindas Retsensent taotluses mitteplaneeritud ESI MS metoodikat, kuid jättis sealjuures täielikult hindamata taotluses planeeritud ICP MS metoodika, mida nõuab hindamisjuhend.

Taolise hinnangu andmise põhjuseks võib olla muidugi lihtsalt asjaolu, et Retsensent pole taotlust piisavalt lugenud või selle sisust aru saanud. Igal juhul tundub Retsensent 2 poolt taotluse metoodikale antud hinnang olevat täiesti asjatundmatu, mis pole Taotleja arvates hindamisjuhendiga kooskõlas.

Pisut pettunult loeme Retsensent 2 retsensiooni edasi. Hindamisjuhendi kohaselt peab Retsensent hindama taotleja teaduslikku pädevust, asjatundlikkust ning potentsiaali viimase 10-aastase perioodi vältel. Retsensent 2 alandab selleski punktis hinnet ja oma lühikeses kommentaaris hinde alandamisele mainib, et viimase viie aasta jooksul on Taotleja avaldanud ~10 artiklit keskmise ja hea tasemega teadusväljaannetes. 10-aastase hindamisperioodi esimest poolt pole hinnangus üldse käsitletud, mis on arusaamatu jasellisele hindamisperioodi valikule pole antud mingit selgitust.

Probleem poleks nii tõsine, kui Taotleja ei oleks viimase 10-aastase perioodi esimeses pooles saavutanud rahvuslikul ja rahvusvahelisel tasemel märkimisväärseid teaduslikke saavutusi, mis olid ära toodud nii taotluses kui ka sellele lisatud Taotleja CV-s. Nende saavutuste hulka kuulub eelkõige artikli avaldamine teaduse absoluutses tippajakirjas Nature, milles Taotleja on viimane ehk juhtiv ja korrespondeeriv autor.

Mainime, et tegu oli Eesti taasiseseisvumise perioodil esimese Eestis töötanud teadlase poolt loodusteaduste valdkonna viimase autori artikliga ühes teaduse absoluutsetes tippajakirjades, millise saavutuseni on praeguseks jõudnud vaid käputäis Eesti teadlasi. Sellele artiklile sekundeerisid artiklid tippajakirjades PNAS ja JACS ning teised.

Taotleja CV-s, mis on samuti taotluse osa, võib lugeda, et samas perioodis on taotlejat kõrgelt tunnustatud rahvusvahelisel tasemel. Nimelt valiti Taotleja 2011. aastal vabade ja objektiivsete teadussaavutustel põhinevate valimiste teel rahvusvahelise eluteaduste tippteadlasi ühendava organisatsiooni EMBO liikmeks. EMBO liikmelisus on eluaegne ja annab tunnistust teadlase tippsaavutustest, ekspertiisist ja potentsiaalist oma teadusvaldkonnas.

Mainime, et Taotleja on senini ainuke Eestis töötav EMBO liige. EMBO liikmeks on valitud ka kaks Leedu teadlast, Läti teadlasi EMBO liikmeks veel valitud pole. Näeme, et Retsensent 2 poolt Taotlejale antud hinnang on poolik, kuna pole arvestatud Taotleja olulisi teadussaavutusi ettenähtud 10-aastase hindamisperioodi esimeses pooles.

Taoline hinnang tõstatab lisaks küsimuse, kas siin pole tegu Taotleja ebavõrdse kohtlemisega võrreldes teiste teadusrahastust taotlevate teadlastega, kellel hinnatakse vastavalt hindamisjuhendile ilmselt kogu 10-aastast perioodi.

Veel suuremas pettumuses jätkame retsensiooni lugemist. Vastavalt hindamisjuhendile peab Retsensent andma muu hulgas hinnangu projektis planeeritavale teaduslikule koostööle. Retsensent 2 poolt heidetakse taotlusele ette asjaolu, et projekti meeskond on rahvuslik ja Retsensent 2 ei näe rahvusvahelisi partnereid projekti läbiviimisel: "Team of the project is national and I do not see international collaborators involved".

Esitatud väide on kummastav, sest Taotleja on oma taotluses selgelt loetlenud, milliste välisteadlaste, välisülikoolide ja firmadega – neid on kokku viis – hakkab toimuma koostöö taotluse raames, kusjuures enamiku planeeritud partneritega on Taotlejal ette näidata ka ühispublikatsioonid. Lisaks on Taotleja lisanud taotlusele kinnituskirja Johns Hopkinsi Ülikoolist, mis kinnitab koostöö kokkulepet².

Seega saab väita, et Retsensent 2 väide "I do not see international collaborators involved" ei tugine taotluses esitatud teabele ja dokumentidele ning tundub olevat täiesti asjatundmatu. Kokkuvõttes annab taoline Retsensent 2 esitatud väide jällegi tunnistust kas ebapiisavast tutvumisest taotlusega või osade taotluses sisalduvate dokumentide eiramisest, mida pole Taotleja arvates hindamisprotseduuris aga ette nähtud.

Jätame lugejale tutvustamata mitmeid taotleja poolt tuvastatud faktivigu Retsensent 2 retsensioonis, mis paikapidavuse puhul annaksid täiendavat tunnistust Retsensendi asjatundmatusest taotluse teadusvaldkonnas ning hakkame lugema Retsensent 3 retsensiooni.

Retsensent 3

Retsensent 3 retsensioon on samuti väga kriitiline. Taotleja läbiviidud täpsem teaduslik analüüs näitab, et kriitika baseerub mitmete taotluses esinevate väidete väärtõlgendamisele ja publitseeritud teaduslike faktide eiramisele ehk faktivigadele, millega pole mõtet lugejat koormata.

Taoline kriitika on aluseks Retsensent 3 poolt taotlusele antud oluliselt alandatud hinnetele, mis metoodika osas küündivad isegi hindeni "2,5". Üks oluliselt alandatud hinne "3" on sealjuures täielikult põhjendamata.

Koondhinnang

Lõpetame siinkohal retsensioonide lugemise ja läheme nüüd HN poolt koostatud koondhinnangu vaatlemise juurde, millel on nii sõnaline kui ka hindeline osa. Sõnalises osas on HN hoolikalt valinud sõnu ja lauseid, kuid siiski sisse jätnud mõningad retsensioonides tuvastatud faktivead.

Sõnaline osa polegi niivõrd oluline, kuna selle alusel ei moodustata taotluste pingerida, mis koostatakse Retsensentide poolt antud hinnete alusel arvutatud koondhinnete alusel. Lihtne matemaatiline analüüs näitab, et kahes Retsensentide poolt hinnatavas osas (2. Taotluse teostatavus ning metoodika ja 3. Taotleja pädevus) on koondhinne arvutatud Retsensentide hinnete täpse aritmeetilise keskmise arvutamise teel.

Viimane tähendab, et nendes punktides on kõik Retsensentide 2 ja 3 poolt ülaltoodud väidetavalt asjatundmatute arvamuste alusel antud hinded, kaasa arvatud Retsensent 3 poolt metoodikale antud ülimadal hinne "2.5"³, koondhinnangusse täielikult arvesse võetud.

Peale koondhinnangu ja Retsensentide arvamustega tutvumist on Taotlejal õigus koos oma institutsiooniga esitada ETAg-i HN-le oma arvamus ja vastuväited hinnangule. Juhul kui vastulauses on viidatud menetlusreeglite rikkumisele või faktivigade esinemisele retsensioonides, peaks HN vastavalt hindamisjuhendile need argumendid hoolikalt läbi analüüsima ning põhjendatud juhtudel korrigeerima koondhinnangut ja ka hindeid, mis muudaksid taotluse asendit pingereas.

Punane joon

Kõik ülalkirjeldatud Taotleja poolt tuvastatud oletatavalt asjatundmatud hinnangud ja faktivead, kuid ka oletatavad menetlusreeglite rikkumised pandi kirja arvamuse ja vastuväidetena ning saadeti taotleja institutsiooni poolt ETAg-ile ettenähtud tähtajaks.

ETAg menetles vastulauset ja vastas mõningase aja pärast Taotlejale, et ETAg on läbi lugenud kõik Taotleja arvamuses toodud kommentaarid ning kinnitab, et HN on teinud oma otsuse kolme retsensendi hästi põhjendatud arvamuste põhjal, viitamata ühelegi arvamuses väljatoodud oletatavale eksimusele. Taotlusele PRG744 antud esialgne hinne ja asend taotluste pingereas jäeti muutmata.

Nagu mainisime, hindamisjuhendi kohaselt on HN-l õigus esialgseid hinnanguid muuta ja paljudele teadlastele teadaoleva informatsiooni põhjal loodusteaduste HN mõningate taotluste algset hinnangut 2019. aasta konkursil ka muutis, mis viis mõned taotlused isegi üle nn "punase joone".

Meile juba teadaolevalt ei puudutanud need korrektsioonid taotlust PRG744, vaid selliste õnnelike hulka kuulus näiteks taotlus PRG684. Loomulikult peab HN põhjendama pingereas tehtud korrektsioone. Kusagil peaksid need põhjendused olema protokollitud, kuid kahjuks jääb tavateadlastel üle vaid uurida ETIS-est ja Web of Science-st võrdlevalt taotlejate teaduslikke saavutusi ning muud avalikku taustinformatsiooni ja spekuleerida, millised võiksid need korrigeerimise põhjused olla.

Ka siin võib muidugi väita, et selles teises ringis õnnestumise puhul on tegu suurel määral loteriiga, sest konkurents on väga kõrge ja väga häid projekte on väga palju. Ent loomulikult, kuniks me HN muutmisotsuste põhjendusi ei tea, siis midagi kindlat siinkohal loomulikult väita ei saa.

Seega ärgem olgem hetkel kadedad ja pigem õnnitlegem õnnelikke taotlejaid edu puhul ning soovigem õnne ja edu ka eduka teadusgrupi juhile, kes nimetatud taotluse PRG684 puhul pidas ja peab veel HN loodusteaduste ekspertkomisjoni juhi vastutusrikast ametit. Õnnesoovi võimendab veelgi fakt, et sellest teadusgrupist tuli eelmisel aastal teinegi edukas taotlus PRG749.

Edasi vormistati taotlusele PRG744 ETA-g-i poolt lõppotsus, mis oli "mitterahuldatud", sest taotluse koondhinne asus pingereas allpool nn "punast joont". Samas oli ETAG-i juhatuse lõppotsuse käskkirja lõpus mainitud, et teadlasel on võimalik otsust 30 päeva jooksul vaidlustada esitades vaide Sihtasutusele ETAg või kaebuse Tartu Halduskohtusse.

Milline valik teha? – see on küsimus. Kas leppida otsusega ja ühineda üldlevitatava arvamusega, et tänapäeval on uurimistoetuse saamine ETAg-ilt suures osas loterii ja proovida järgmisel aastal uuesti "õnne" või ETAg-i otsus vaidlustada? Arusaadavalt on tegemist väga tõsise küsimusega, kus valiku peab tegema iga teadlane ise lähtudes oma tõekspidamistest ja paljudest muudest asjaoludest.

1 - Täpsustame, et kirjutises käsitletakse ainult ETAG-i hindamisnõukogu poolt ühe loodusteaduste valdkonna taotluse hindamismenetlust, mida teostas peamiselt loodusteaduste ekspertkomisjon, kuid ka hindamisnõukogu ning kuna hindamisnõukogu on ühtne, siis iseloomustab selle ühe osa tegevus mingil määral ka kogu terviku toimimist.

2 - Käesolevaks ajaks on Taotleja koostöö Johns Hopkinsi Ülikooliga ka realiseerinud doktorandi välisõppe vormis, mis on finantseeritud SA Archimedes poolt.

3 - Loomulikult ei saa Retsensentide kriitikat taotluse esitamise ajal lõplikult ümber lükata isegi siis, kui see on väga madal, kuna taotluses planeeritud eksperimente pole jõutud veel teostada. Täna saame aga tõdeda, et taotluses PRG744 välja pakutud innovaatiline metoodika koos saadud eksperimentaalsete tulemustega on publitseeritud ajakirja Nature tütarväljaandes Scientific Reports.