Tartu Ülikooli arvutiteaduse instituudi keeletehnoloogia kaasprofessor Kairit Sirts rääkis "Terevisioonis", et keelemudeleid on mitmeid, eestlastele neist kõige tuntum on ilmselt ChatGPT. Praegused tekstirobotid töötavad aga kõige paremini inglise keeles. Sirtsu sõnul on keelemudelite eesti keele oskust ja teadmisi eesti kultuuri kohta väljaspoolt keeruline hinnata.

"Üks võimalus on panna nad võrdlusesse, lasta inimestel neid kasutada ja hinnata, milline on nende meelest parim. Sellisel viisil on võimalik saada hinnanguid väga erinevatele küsimustele, mille peale teadlased ise võib-olla ei tulekski," selgitas ta.

Kui keelemudelid vastust ei tea, siis nad hallutsineerivad, sest peavad üldjuhul alati midagi vastama. Seetõttu võibki saada kasutaja teatud küsimustele kummalisi vastuseid. "Kui me mõtleme, kuidas keelemudelid ja tehisaru töötavad, siis nemad lihtsalt genereerivad üht sõna teise järel vastavalt mingitele teadmistele, mistõttu võib kokku tulla midagi, mis ei vasta päris tõele," ütles Sirts.

Mudelid jäävad sageli hätta ka arvutusküsimustega. Näiteks kui küsida, kui palju on Pika Hermanni torn lühem Tallinna teletornist, võivad vastused olla üsna kummalised.

"Sellist arvutusprotsessi, nagu meie oma peas teeme – meil on kaks arvu, paneme need kõrvuti ja teeme nende vahel arvutustoimingu –, mudelid ei tee. Kui nad on aga piisavalt treenitud teatud arvutusoperatsioonidega, võib parimate mudelite puhul jääda mulje, justkui nad oskaksid arvutada," rääkis ta.

Kairit Sirtsu sõnul aitab baromeeter suurendada teadlikkust keelemudelite erinevast kvaliteedist ja julgustab kasutama tekstiroboteid emakeeles.

"Veebilehel saab sisestada viipa, millele vastavad kaks anonüümset keelemudelit. Kasutajal on võimalik valida parem vastus, misjärel kuvatakse ka mudelite nimed. Hinnangute põhjal kujuneb ühise töö tulemusena pidevalt uuenev edetabel," selgitas ta. Ta lisas, et võrdluses olevate keelemudelite valikut täiendatakse pidevalt, mis annab võimaluse jälgida, kuidas uued mudelid võrreldes vanematega eesti keeles hakkama saavad.

Tehisaru baromeetris saab teiste hulgas võrrelda GPT, Gemini, Claude'i, Llama ja Mistrali keelemudelite versioone. Baromeetrit võivad kasutada kõik, keda huvitab tehisaru areng ja eesti keele käekäik.