Viited on teaduse vundament, millele toetudes teadlased oma väiteid tõestavad. Erinevalt paljudest teistest tekstiliikidest on teaduslik viide kas päriselt olemas või mitte. Seetõttu sobib teaduskirjandus uue uuringu autorite hinnangul suurepäraselt tehisaru hallutsinatsioonide leviku uurimiseks.

Selleks analüüsisid nad 111 miljonit viidet aastatel 2020–2025 ilmunud 2,5 miljonis teadusartiklis. Töörühm kogus alusandmeid neljast suurest teadusartiklite andmebaasist: arXiv, bioRxiv, SSRN ja PubMed Central. Seal esitatud viiteid võrdlesid teadlased suurte akadeemiliste otsingumootorite andmetega. Vigaste viidete osakaal püsis pikalt samasugusena.

Alates 2024. aasta keskpaigast hakkas aga väljamõeldud allikate osakaal järsult kasvama. Kasv langes kokku ajaga, mil tehisarumudelitest said teadustöös igapäevased abilised. Uurijad leidsid keelemudelite populaarsuse ja valeviidete arvu vahel tugeva seose. Nad osutavad, et teaduskirjandus on piltlikult öeldes väärviidetega saastunud. Samuti on uute keelemudelitega teadustekste luua lihtsam kui varem.

Juhtub ka parimates ajakirjades

Töörühm oletas algselt, et libaviited pärinevad valdavalt väikesest hulgast täielikult tehisaru kirjutatud artiklitest. Analüüs aga näitas, et tegelikult sisaldavad mõnda üksikut hallutsineeritud viidet väga paljud teadustööd. Suur osa autoreid võtab tehisaru soovitusi kriitikavabalt üle ega kontrolli genereeritud teksti väidetavaid allikaid üle.

Eriti palju esineb hallutsinatsioone arvuti- ja sotsiaalteadustes. Just neis valdkondades hakati kirjatööde juures tehisaru kasutama juba varakult kõige laialdasemalt. Töörühma sõnul peegeldub tööriistade varajane omaksvõtt ka vigade kiires kasvus.

Ühtlasi selgus, et valeviited suudavad läbi murda praegustest teaduse kvaliteedikontrolli mehhanismidest. Näiteks lükkavad maailma suurima ja mõjukaima teadusartiklite hoidla arXivi moderaatorid küll tagasi suurema osa vigaste viidetega töödest, kuid 78,8 protsenti olematutest viidetest pääseb ikkagi platvormile. Esitatud tekstide hulk kasvab pidevalt ja moderaatorid ei jõua enamikku vigu tuvastada.

Olukorda ei paranda kuigi palju isegi artiklite põhjalikum järelkontroll. Töörühm jälgis, mis saab avaldamist ootavate bioloogiateadustele keskenduvasse teadustööde keskkonda bioRxiv laaditud vigaste viidetega artiklitest. Selgus, et algsetest vigadest jõudis koos artikliga ametlikult avaldatuna teadusajakirjadesse 85,3 protsenti. Uurijate sõnul ei piisa probleemi lahendamiseks praegustest toimetamispraktikatest.

Tehisaru vigade eest pole lõpuni kaitstud isegi mõjukamad teadusaajakirjad – libaviiteid leidub mingil määral igasuguse kvaliteediga väljaannetes. Erand on vaid ajakirjade absoluutne koorekiht, kus vigade hulk püsib märgatavalt väiksem. Keskpäraste väljaannete usaldusväärsus väheneb aga kiiresti.

Enamasti levitavad taolisi vigu nooremad ja vähemkogenud teadlased, kellel puudub oma valdkonna kirjandusest põhjalik ülevaade. Samal ajal muudavad suured keelemudelid artiklite kirjutamise varasemast märksa lihtsamaks. Nii toodavadki väikestes uurimisrühmades töötavad noorteadlased tehisaru toel kiiresti suures mahus tekste.

Lisaks tekitavad tehisaru hallutsinatsioonid teadusmaailmas ebaõiglust. Väljamõeldud viited pole alati anonüümsed, vaid tehisaru poogib neile sageli külge päris teadlaste nimed. Seejuures omistab tehisaru uusi väljamõeldud saavutusi enamasti neile uurijatele, kes on juba tuntud ja palju avaldanud. Samuti soosivad keelemudelid meessoost autoreid. Nii võimendavad tehisaru vead töörühma sõnul juba olemasolevat ebavõrdsust teadusliku tunnustuse jagamisel.

Ainult jäämäe tipp

Värske uuringu meetod võimaldas püüda vaid kõige kergemini märgatavaid vigu. Autorid otsisid üksnes viiteid, mille pealkirjad olid täielikult välja mõeldud. Seetõttu näitavad tulemused mure koguulatust arvestades pigem jäämäe tippu. Palju keerulisem on tuvastada olukordi, kus tehisaru soovitab päriselt olemas olevat artiklit, aga mõtleb andmeid välja.

Andmebaasidesse kuhjuv valeinfo ohustab töörühma sõnul teaduse tulevikku. Väljamõeldud allikad jõuavad akadeemilistesse otsingumootoritesse nagu Google Scholar. Teadlased ja uued automatiseeritud tööriistad kasutavad neid andmebaase omakorda tõese algmaterjalina. Alles arendatavad keelemudelid õpivad avalike andmebaaside põhjal: nii peavad tuleviku mudelid praeguseid hallutsinatsioone juba päris teadustulemusteks ja -töödeks, hoiatab töörühm.

Olukorra parandamiseks peavad teadusasutused uurijate sõnul kasutusele võtma uusi automatiseeritud kontrolltööriistu. Teadusvaldkonna korrastatud andmebaasid võimaldavad sellist tehnoloogiat edukalt kasutada. Valitsusasutustes ja meditsiinis sarnane range viitamissüsteem aga puudub. 

Uuringu esmaversioon on leitav võrguvaramust arXiv.