Uuring: Eesti tudengid suhtuvad tehisarusse eluterve kriitikameelega

Tehisaru kasutavad tudengid pole üldiselt oma kriitikameelt kaotanud, selgub Tartu Ülikoolis valminud uuringust. Magistrandid kalduvad tehisaru loodud tekstide suhtes olema kriitilisemad kui bakalaureuse taseme üliõpilased.
Uuringu esimene autor, Tartu Ülikooli eesti keele õppe professor Ilona Tragel selgitas, et küsitlusel põhineva uuringu eesmärgiks oli vaadelda üliõpilaste kirjutamispraktikaid üldiselt. "Uurisime, mida nad üldse ülikoolis kirjutavad ja mis on neile akadeemiliste tekstide kirjutamises pigem raske. Küsisime ka, milliseid ülesandeid neile ainetes kirjutada antakse," selgitas ta.
Üks osa 2023. aasta kevadel läbiviidud küsitlusest puudutas tehisintellekti kasutust. Küsitlus langes kokku ajaga, mil OpenAI rakenduse ChatGPT kasutus Eestis laiemalt kasvama hakkas. Teadlased kordasid sama küsitlust aasta hiljem 2024. aasta kevadel. Küsitletud üliõpilased polnud täpselt samad, kuid haarasid samu õppeastmeid ja erialasid.
"Meid huvitas just see, et millisteks erinevateks tegevusteks nad tehisintellekti kasutavad. ChatGPT kasutati kõige sagedamini, kõik teised rakendused olid esindatud täiesti marginaalselt. Eeldasime, et kasutus kasvab väga palju, sest ülikoolid hakkasid tehisaru kasutust tekstide toimetamisel pigem soosima. Kuid kasv polnudki väga suur: 2023. aastal 44 protsenti ja 2024. aastal 52 protsenti," selgitas keeleteadlane.
Ootuspäraselt näitasid numbrid suurimat kasvu loodusteadustes ja tehnikavaldkonnas ning kõige väiksemat humanitaaraladel. Kui 2023. aasta kevadel olid TId kasutanud lote-tudengitest umbes pooled, siis aasta hiljem juba 73 protsenti.
Miks loodusteaduste tudengid seda agaramalt teevad? Ühe võimaliku põhjusena võib kaaluda seda, et tehisaru tuleb toime koodi kirjutamisel või näiteks mingi tabeli kirjeldamisega. Samuti võib tehisaru aidata rutiinsete ülesannete, nagu teksti vormindamise juures, jättes tudengile rohkem aega töö sisulisele poolele keskendumiseks.
Trageli sõnul oli 2024. aasta kevad lisaks aeg, mil ülikool julgustas kasutama tehisaru näiteks teadusartiklite kokkuvõtete koostamisel. Autorite hinnangul saab kirjutada osa kasvust just selle arvele. "Me nägime, et see, mida ühiskond ja kõrgkoolid kommunikeerivad, seda üliõpilased ka katsetavad, kas siis otseselt õppejõu või ellegi teise soovitusel," märkis Tragel.
Vastuste põhjal otsisid tudengid tehisarult kõige sagedamini abi ideede genereerimiseks, kuid ka teksti toimetamisel. Tehisaru kasutati ka tagasiside küsimiseks. Artiklite või muude materjalide kokkuvõtteid ja ülevaateid koostas 2023. aastal 5 protsenti ja 2024. aastal 15 protsenti küsitlusele vastanud tudengitest.
Magistrandid suhtuvad tehisaru väljundisse kriitilisemalt
Küsitlusuuringu muud tulemused näitasid, et üliõpilastele valmistab lõputöö kirjutamisel raskusi kavandamine ja allikate sünteesimine oma tekstiga. "Seejuures küsitluses ei tulnud üldse välja, et üliõpilased kasutaks seal keelemudelite rakenduste abi. Ilmselt on nad teadlikud, et need rakendused ei saanud sellega hästi hakkama, vähemalt mitte 2024 kevade seisuga," sõnas professor.
Üldistatult öeldes saab Ilona Trageli sõnul järeldada, et mida teadlikumaks üliõpilased oma erialast saavad ja kõrgemad on nende keelestandardid, seda kriitilisemalt suhtuvad nad ka tehisaru väljundteksti. "Nad proovivad kasutada, kuid nende kogemus näitab, et saadud tekst ei vasta tegelikult ootustele. Mida kõrgemaks õppeaste läheb, seda kriitilisemaks nad väljundi suhtes muutuvad. Nad oskavad selles tekstis rohkem probleeme näha," märkis ta.
"Küsimus on selles, kes väljundit hindab. Olen kuulnud üldist seisukohta, et koodi kirjutamiseks on need mudelid päris head, aga eesti keele puhul on teksti kvaliteet ju hindamise küsimus. Võib-olla näiteks üliõpilane, kellel ei ole kõige parem kirjutamisoskus, ei oskagi sisuliselt niimoodi hinnata, et kas tegu on hea või halva tekstiga. Ta ongi rahul ja arvab, et kõik on hästi," võttis Tragel kokku.
Praegu koostab Ilona Tragel koos kolleegidega juba uut uuringut, mis valmib tuleva aasta kevadel. Küll saab professori sõnul juba läbi viidud intervjuude esmase analüüsi põhjal järeldada, et üliõpilaste hinnangul ei sobi tehisaru koostatud eestikeelne tekst sellisel kujul, et võetakse väljundkastist üks-ühele tekst.
"Seal esineb erinevat tüüpi vigu keelevigadest kuni faktivigadeni. Allikatest pärinev info ei pruugi olla üldse see, mis seal allikas kirjas on. Selliseid kriitilisi sõnavõtte üliõpilaste intervjuudes on," sõnas Tragel. Mõned intervjueeritud tudengid hoiduvad tehisaru kasutusest just neil põhjustel – nad ei ole rahul väljundi kvaliteediga ja on faktivigadega väljundis isiklikult kokku puutunud.
Samas leidub neidki, kelle arvates takistaks tehisaru kasutamine nende enda arengut ja iseseisvat mõtlemist. "Mu vanemad ei kasvatanud mind luuseriks," märkis üks küsitlusele vastanutest.
"Samas leidub ka selliseid, kes ütlevad, et nad kasutavad (tehisaru) pidevalt, eriti sellistes ülesannetes, millel pole nende arvates mõtet, kui neil on väga kiire või või nad ei saa ülesandest täpselt aru. Võib-olla peame siin vaatama ka õppejõududena endale otsa ja mõtlema, millised ülesanded on mõttekas anda," sõnas professor.