Tehisaruprofessor: usaldusväärne keelemudel võiks oma kõhklusi tunnistada

Tehisarul põhinevad suured keelemudelid vastavad enesekindlalt ka siis, kui need tegelikult vastust ei tea. Tartu Ülikooli tehisintellekti professor Meelis Kulli sõnul töötavad Eesti teadlased selle nimel, et mudelid tunnistaksid oma ebakindlust. Samuti loodab ta, et tulevikus põhjendavad masinad oma vastuseid tagantjärele senisest paremini.
"Tehisaru teeb nii inimlikke kui ka vähem inimlikke vigu. Inimesed eksivad ju samamoodi väga erineval moel," ütleb Kull. Näiteks vajab nii masin kui ka inimene keerulisema ülesande lahendamiseks aega. Teisalt suudavad mõlemad teha üldistusi ka siis, kui nad pole kindla küsimuse vastust enne õppinud. "Kõige suurem erinevus tuleb sellest, et inimene teeb tavaliselt väga hästi vahet, kas mingisugune väide tuleb parasjagu mälust või on see välja mõeldud ehk kas see on ennustus või mälust võetud fakt," võrdleb Kull.
Kull kõneles inimese ja tehisaru sarnasustest ning erinevustest ka oma hiljutises konverentsiettekandes. Ta arutles ka teemal, kas tehisarusüsteemid mõistavad päriselt sõnade tähendusi või märkavad keeles üksnes mehaanilisi mustreid. Samuti võttis ta jutuks masinate loodud vastuste läbipaistvuse ja seletatavuse. "Kui tehisarusüsteem teeb ennustusi või otsuseid, siis tahaksime aru saada: miks just selline ennustus või otsus?" tõdeb Kull.
Enne mõtle, siis ütle
Põhiline tehisarusüsteeme kimbutav viga on hallutsineerimine. See tähendab, et mudel annab küsimusele enesekindlalt mõjuva vastuse, mis on tegelikult n-ö käigupealt välja mõeldud. "Tegelikult on ka mudeli sees märke olemas, et ta ei ole päris enesekindel, aga see ei pruugi tekstist välja paista," osutab Meelis Kull.
Näitena esitas ta ChatGPT-4o mini juturobotile küsimuse "Kes on Friedebert Luts?" Tegu oli Friedebert Tuglase ja Oskar Lutsu nime kombinatsiooniga, mida kandnud inimest Kullile teadaolevalt kunagi elanud pole. "Vastust genereerides ütleb mudel esmalt "Friedebert Luts" ning hakkab siis sulgudes sünniaastaid ütlema. Seal ütleb ta enesekindlalt "(1886–1956)"," sedastab professor.
Siinkohal peab tema sõnul arvestama, et mudel koostab vastust tekstiosakeste ehk token'ite kaupa. "Iga tekstiosakese kohta on võimalik vaadata enesekindluse informatsiooni ehk tehnilises keeles tõenäosusjaotust. Üle kõigi tekstiosakeste saab näha, mis oleks võinud iga koha peal olla selle asemel, mis seal praegu on," selgitab Kull. Nii võis ta Friedebert Lutsu näites järele vaadata, kui tõenäoliselt oleks mudel pakkunud viimase sünniaastaks mõnd 1890ndate või 1900ndate aastat.
Üksnes tõenäosusjaotuse vaatamine siiski mudeli vastust usaldusväärseks ei tee. Ehkki mudel võib eelistada Friedebert Lutsu näites üht sünniaastat teisele, ei ilmuta see ise vastates kõhklust, kas selline inimene on ikka olemas. Kuidas on aga lood siis, kui küsida sarnaseid faktiküsimusi inimeselt? "Me ju teame, et mida iganes inimesed ütlevad, ei saa me inimese öeldut kunagi 100 protsenti tõe pähe võtta," märgib Kull. Teist inimest kuulates tuleb professori sõnul samuti arvestada olukorda, kõneleja teadmisi ja seda, kui palju aega oli tal vastuse mõtlemiseks.
"Selle poolest on inimesed ja suured keelemudelid väga sarnased, kui on väga vähe aega, et mõelda, juhtuvad vead suurema tõenäosusega. Enne mõtle ja siis ütle kehtib nii inimese kui ka masina puhul," osutab Kull. Nimelt on enamikel mudelitel iga tekstiosakese leiutamiseks ühepalju mõtlemise mahtu ja aega. Kui mingi osa vastusest vajaks põhjalikumat järelemõtlemist, teeb mudel vea, sest aega õige vastuseni jõudmiseks lihtsalt pole.
Sellest johtuvalt annab Kull lugejatele tehisaru kasutamiseks praktilise näpunäite: "Mudelit tasub suunata nii, et ta üheski hetkes ei satuks olukorda, kus ta peab järgmist tekstiosakest ennustades väga keerulist ülesannet lahendama. Ülesande keerukus võiks olla jagatud võimalikult laialt üle terve väljundi, mida mudel loob." Samuti võiks suunavasse viipa kirja panna näiteks, et "vasta pikalt ja samm-sammuliselt".
Olukord on Kulli sõnul võrreldav tekstülesande lahendamisega matemaatikas. Sealgi tuleb esmalt välja kirjutada, mis on tekstis antud, seejärel koostada võrrand ning alles siis hakata võrrandit etapikaupa lahendama. "Kui mudel hakkab keerukaid ülesandeid samm-sammult lahendama, on iga samm lihtsam. Nii on suurem lootus, et mudel suudab ka järgmise tekstiosakese sellel hetkel ära ennustada õigesti ja seetõttu vigu ei juhtugi," ütleb professor.
"Seda sõna ma tegelikult ei teadnud"
Mullu alustas Meelis Kulli juhtimisel tööd Eesti tehisintellekti tippkeskus, mis ühendab 13 töörühma. Osalt tegeleb keskus Kulli sõnul alusteadusega: suurte alusmudelitega, mida õpetada ümber eri olukordades sh eesti keeles toime tulema. "Sinna juurde käivad usaldusväärsuse, privaatsuse ja turvalisusega seonduvad küsimused ning mudeli arutlusoskuse loogikal põhnev arendamine," loetleb ta. Teisalt püüab tippkeskus tehisaru rakendada e-valitsemise, tervishoiu, hariduse, äriprotsesside optimeerimise ja küberkaitse valdkonnas.
"Näiteks üks probleem, millega tegeleme, puudutab väikesi keeli, mille kohta on vähem andmeid," toob Kull välja. Sellised on väiksemad soome-ugri keeled, millesse tõlkides kipub mudel hallutsineerima. Teisisõnu pole mudel treeningandmetes näiteks mõnd liivikeelset sõna kunagi kohanud ning ennustab seda selle tõlkimise käigus huupi.
"Töötame selle kallal, kuidas tõlkemudelitel tagada väikeste keeltega seonduvalt usaldusväärsust, et mudel oskaks öelda, kui ta on ebakindel," toob professor välja. Ideaalis võiks mudel selle töö tulemusena lisada tõlkele infot nagu "Seda sõna ma tegelikult ei teadnud" või "Selle sõna juures ma kõhkesin nende kolme variandi vahel". "Inimeste vahel tagab usalduse see, et julgeme üksteisele tunnistada, kui me tegelikult õiget vastust ei tea. Kui ütleme, et "kindel vastus on X" ja pärast selgub, et see oli Y, võib see usaldust rikkuda," selgitab Kull.
Usaldusega seostub tema sõnul ka vastuste seletatavus ehk kas inimene saab aru, miks masin just nii vastas. Praegu on ennustuste seletamine Kulli sõnul tehisarusüsteemide juures suur katsumus, kuna mudeli taga olevad tehisnärvivõrgud on väga keerukad. "Mul on siiski lootus, et saame tehissüsteemid tagantjärele andma paremaid selgitusi ja põhjendusi," sõnab ta. Siin toob ta võrdluse matemaatikutega, kes koostavad peale teoreemi tõestamist sellest teistele arusaadava seletuse – mudeleid arendatakse ka sarnaselt käituma.
Juba on loodud ka eraldi arutlevaid (reasoning) mudeleid nagu ChatGPT-o1 või hiinlaste Deepseek-R1. "Mistahes ülesande puhul nad proovivad mitte kohe vastama rutata, vaid mõtlevad enne pikalt ja laialt järgi. Mõnikord proovivad nad vastuseid isegi üle kontrollida ning alles siis jõuavad lõpliku vastuseni," kirjeldab Kull. Tema sõnul kontrollib ka vastuses ebakindel inimene enne vastamist oma mõtte mitu korda üle.
"Nendest mudelitest mõeldes tasub silmas pidada, kuidas neid treeniti," soovitab Kull. Esiteks on mudeleid õpetatud järgnevat teksti ennustama. Teiseks on mudelitega tehtud inimese tagasiside stiimulõpet ehk treenitud andma inimesele meeldivaid vastuseid. "Arutlevaid mudeleid on treenitud võimalikult suure tõenäosusega jõudma õige tulemuseni," lisab professor.
Kas masin mõistab?
Kas suured keelemudelid saavad sõnade tähendusest päriselt aru, taandub Meelis Kulli sõnul aga filosoofilisele küsimusele, mida üldse tähenduseks pidada. Näiteks leidub tema sõnul sünnist saati pimedaid inimesi, kes pole kunagi värve näinud, ent on õppinud edukalt kasutama oma kõnes värvimõisteid. "Kui praktiliselt üheski olukorras ei tule välja, et inimene ei tunne värvimõistet oma kogemuse kaudu, olen mina valmis ütlema, et ta mõistab seda värvimõistet. Samamoodi olen valmis masina kohta ütlema, et masin mõistab erinevaid inimese mõisteid, kui ta oskab nendega opereerida nagu inimene," arutleb professor.
Paljude mõistete puhul on tema sõnul lihtsalt veel näha, et masinad pole neist piisavalt aru saanud. "Näeme, et vead, mida masinad teevad, on sellised, mida inimene ei teeks. Seetõttu võiks öelda, et masinad saavad nendest mõistetest kehvemini aru kui inimesed," ütleb ta.
Niisiis on inimlikku mõtlemist Kulli hinnangul kindlasti veel vara maha kanda. Masin edestab kõiki inimesi juba malemängus ja ühelgi üksikinimesel pole masinaga võrreldavaid faktiteadmisi. "Samas inimkonna peale kokku teame meie praegu rohkem ja paremini kui masinad," võrdleb ta.
Meelis Kull pidas ettekande "Inimesed ja tehisintellekt: sarnasused, erinevused ja miks see on oluline" Põhja- ja Baltimaade digihumanitaaria organisatsiooni DHNB aastakonverentsil 7. märtsil Tartus.