"Juturobot on tarkvara, kellele saad esitada küsimuse, rääkida esmalt taustajuttu ja siis midagi küsida, või lihtsalt öelda, et "vaata, siin on väike tekst, kuidas sa seda jätkaksid?". Robot püüab siis teha, mida sa palusid," selgitab Tallinna Tehnikaülikooli rakendusliku tehisintellekti täisprofessor tenuuris Tanel Tammet.

Keelemudeli-tüüpi juturobotid nagu ChatGPT on tema sõnul nii-öelda etteõpetatud ja jooksvalt uut infot hästi ei õpi. Need on läbi lugenud tohutu hulga tekste ja püüavad loetu põhjal ennustada, mida oleks õige järgmiseks öelda. "Näiteks kui ma ütleksin eesti keeles Jaan istus autosse ja hakkas..., siis võiks robot ennustada, et järgmine sõna on sõitma. Seejärel võiks ta ennustada, mis peale sõitma tuleb, ja nii edasi," toob Tammet näite.

Kohati on GPT-sugupuu robotite ja nende konkurentide loodav jutt juba nii hea, et tekstide kirjutamiseks sobib neid kasutada väga hästi. Matemaatikas ja males jääb näiteks GPT4 aga hätta. "Reeglitega ja variantidega range mõtlemisviis on neile olemuslikult võõras," tõdeb Tammet. Pigem nimetab ta GPT4 ülimaks humanitaariks. "Kuna ta on inimkeelsete tekstide pealt õppinud, ei olegi tal maailma kohta mingit kogemust. Ta on nagu pime Homeros, kes ei tea, mismoodi maailm on," võrdleb täisprofessor.

Voorused ja puudused

Praegu pole Tanel Tammeti sõnul ohtu, et GPT4 kellegi tööta jätaks. "Ta ei ole veel sellel tasemel. Niipea kui anda talle keerulisem reaalne ülesanne, mida inimesel on vaja lahendada, siis tüüpiliselt GPT mootor ei tea selle tausta. Tal pole ka tööriistu, et see välja uurida," selgitab täisprofessor.

Tekstiloome ülesannetega tulevad taolised keelemudelid aga toime märkimisväärselt hästi ja iga mudelipõlvkonnaga üha paremini. Samuti aitavad mudelid inimesel paremini küsimustele vastata. "Tavaliselt teeme Google'i otsinguid, aga Microsoft on teadupärast juba integreerinud GPT erinevad variandid oma Bingi otsingumootorisse," osutab Tammet.

Keelemudeli voorusi kasutavad juba erinevad õppetarkvaradki. "Näiteks Duolingo keeleõppe-tarkvara on selle integreerinud. Mudel suudab edukalt teha õppuriga keeleõpe-dialoogi, viidata õppuri vigadele ja anda talle õigeid harjutusi," kirjeldab täisprofessor. Khan Academy kasutab mudelit aga juba oma matemaatika ja füüsika treeningprogrammides.

Kogu valdkonna suurim väljakutse ongi nüüd Tammeti sõnul keelemudelite kasutatavust laiendada. "Me tahaks, et neid saaks nii-öelda õpetada erinevaid tööriistu kasutama," sõnab ta. Näiteks ei suuda GPT-tüüpi mudelid veel omapäi andmebaasidest päringuid teha. Samuti võiks keelemudelit kombineerida füüsikavalemite ning matemaatika ja inseneeria arvutustega – nii võiks need tulevikus aidata isesõitvatel autodel paindlikumalt sõita.

Tammeti sõnul pole seni ka täielikult maandatud ohtu, et keelemudelist saab psühhohuligaan. "Siiamaani on kõik GPT-tüüpi robotid rõõmsalt valmis rääkima kõike, mis nad tekstidest on lugenud," ütleb ta. Kui etteõpetamiseks kasutatud tekstis tuli ette sõimu, ropendamist, manipuleerimist või muud hävituslikku, jutustab robot selle edasi. 

"OpenAI tegijad loomulikult püüavad tagada, et juturoboti avalik kasutajaliides selliseid asju ei teeks," jätkab Tammet. Nii käis GPT4 läbi inimhindajate pilgu alt, kes pidid mudelis esile kutsuma ebatsensuurset käitumist ja sellised ilmingud ära märgendama. Paraku ei saagi selline töö olla täisprofessori sõnul kunagi ammendav. "Jah, GPT4 on läinud palju paremaks, aga olen juba lugenud raporteid, kus inimesed on katsetes tema kaitsekihist läbi murdnud," sedastab ta.

Puuduliku kriitikameele kõrval on GPT-tüüpi mudelid kimpus ka hallutsinatsioonidega: nad leiutavad ise väljamõeldud fakte, väiteid ja arvamusi. "Seda juttu räägivad nad väga autoriteetse, usaldusväärse, ilusas stiilis tekstina, mis jätab mulje, et see on õige," kirjeldab Tammet. Samuti on mudelid hädas keerulisemate järelduskäikudega. "Nad on natuke nagu vanakreeka bard, kes räägib inimestele lugulaulusid, kus osa sisu tuleb ajaloost ja osa sisu mõtleb ta ise välja," võrdleb täisprofessor.

Keelemudelite kuldaeg

Keelemudelite valdkonnas on Tanel Tammeti sõnul viimase viie aastaga kätte jõudnud piltlikult öeldes kuldaeg. "Sellest, et GPT läheb paremaks, on võib-olla olulisemgi, et hästi paljud suured ettevõtted teevad paralleelselt sedasama asja, aga natuke erineval viisil," osutab ta. Oma mudelite sugupuid arendavad OpenAI kõrval nii Google, Facebooki emafirma Meta, Nvidia kui ka erinevad Hiina ettevõtted. 

"Kõige edukam ja enim tuntust kogunud on neist OpenAI tehtud GPT sugupuu. Nemad on umbes iga kahe aasta tagant välja lasknud uue põlvkonna," sõnab Tammet. Kui OpenAI eelmist mudelit GPT3 oli laiemal avalikkusel keerulisem kasutada ja seda reklaamiti vähe, siis vägagi kasutajasõbralik ChatGPT liigitub vahepealsesse põlvkonda: GPT3.5.

Uusim mudel GPT4 erineb eelmistest selle poolest, et on multimodaalne. See tähendab, et robot suudab töödelda korraga teksti ja pilti. "Sa võid talle pilti näidata ja tema sulle pilti joonistada," seletab Tammet. Praegu saavad uut mudelit selle täies võimsuses proovida siiski alles mõned üksikud suurettevõtted eesotsas Microsoftiga. Ülejäänutel tuleb end kirja panna ootenimekirja.

Mittetulundusühinguna alustanud OpenAI kriitikute sõnul enam kuidagi teistest tehnohiidudest avatum pole. "See on paradoksaalne. Nad üldse ei puuduta oma sisemist töökorraldust. Facebook näiteks räägib oma sisemisest elust oluliselt rohkem," kõrvutab Tammet. Erilist probleemi ta OpenAI salatsemises siiski ei näe. "Kui OpenAI praegu kinni panna, siis mitte midagi halba ei juhtuks, sest teised firmad teevad oma analoogilist tööd sama hoogsalt edasi," tõdeb ta.

Islandi keele eeskuju

Eesti keele instituudi (EKI) keeletehnoloogi Tiiu Üksiku sõnul on ta koos kolleegidega juba esimesi katsetusi GPT4-ga teinud. Tema esmamulje põhjal on uue mudeli eesti keel võrreldes ChatGPT aluseks oleva GPT3.5-ga parem. "Grammatikavigu näeb seal vähem. Hiljuti küsisin ta käest prooviks, kuidas on hüljes omastavas käändes. Alguses ta vastas küll valesti, aga kui ma ütlesin talle, et see on vale, siis ta pakkus mulle õige vormi," kirjeldab keeletehnoloog.

Eesti keeletehnoloogid on tema sõnul valmis OpenAI-ga koostöövõimalusi otsima. "Mõtleme, kuidas saaksime eestikeelset väljundit suurtel keelemudelitel parandada. Mitte ainult ChatGPT puhul, vaid ka teistel mudelitel," sõnab Üksik. Kui avaliku lähtekoodiga mudelitega on keeletehnoloogide töö lihtsam, siis OpenAI suletud koodi poliitika eeldab koostöölepet.

EKI jaoks on eeskuju olemas Islandi näol, mille valitsus on OpenAI esimeste koostööpartnerite seas. GPT4 on seal juba treenitud kõnelema paremat ja Islandi kultuurikonteksti arvestavat keelt. "Näiteks kannab Piilupart Donald Islandi kultuuriruumis nime Andrés Önd. Kui keegi GPT4-lt islandi keeles küsib, mis on Donaldi nimi islandi keeles, siis robot ei tõlgi otse, vaid ütleb õige islandikeelse vaste," toob Üksik näite. 

Mida rohkem toob keeletehnoloogia areng turule taolisi mudeleid, seda hõlpsam on Üksiku sõnul luua head tõlkemootorit. "Kui meil on võimalik ingliskeelne uudis või muu veebisisu tõlkida kvaliteetselt eesti keelde, mitte üksnes suurkeeltesse, siis see kõik soodustab, et me hakkamegi rohkem veebis eesti keelt valima," selgitab ta. See omakorda tähendab, et Eesti inimesed viibivad rohkem eestikeelses keskkonnas ja tunnevad harvem, et eesti keeles end väljendada oleks keeruline.