USA Cornelli Ülikooli teadlaste uurimistööst selgub, et ChatGPT-d arendava ettevõtte OpenAI loodud audio transkriptsiooni töörist Whisper võib kuuldut kirja pannes välja mõelda ka täiesti uusi sõnu ja lauseid. Sealjuures kipuvad väljamõeldud osad sisaldama tihti häirivat, vägivaldset või seksuaalset sisu, vahendab Science.

Uurijad andsid möödunud aasta aprillis ja mais läbi viidud katsete käigus robotile ümberkirjutamiseks 20 tunni jagu helisalvestisi. Peamiselt sisaldasid need kahekõnesid argiteemadel, aga ka näiteks muinasjuttude ümberjutustusi. Mõnedel kõnelejatel esines afaasia ehk kõnehalvatus, mistõttu räägib inimene aeglaselt ja pikkade pausidega.

Väljamõeldisi esines 1,7 protsendil afaasiaga inimeste salvestistest ning 1,2 protsendil tavalise kõnega inimeste salvestistest. Ligikaudu pool väljamõeldud sisust oli mingit moodi häiriv. Näiteks salvestis, milles vesteldi tuletõrjujate poolt päästetud kassidest, sisaldas pärast ümberkirjutamist ka selliseid täiendusi nagu "verest läbi imbunud lapsevanker" ja "käperdamine."

Teise näitena sisaldas süütu vestlus vihmavarjudest pärast ümberkirjutamist täiendusi nugadest ja inimeste tapmisest. Mitte-häirivad hallutsineeritud täiendused sisaldasid näiteks väljamõeldud nimesid ning viiteid inimeste vahelistele suhetele ja tervislike seisunditele. Samuti tekitas tehisaru viiteid olematutele veebilehtedele või lõpetas transkriptsioone YouTube'ile iseloomulike fraasidega nagu "aitäh vaatamast!"

Teadusartikli autorid arvavad, et väljamõeldisi võivad põhjustada pikemad pausid kõnes, kuhu vahele jäävad häälitsused nagu "umm, hmm, aaah" jne. Mudel ei tõlgenda neid vaikusena, vaid üritab häälitsustest sõnu ja isegi terveid lauseid moodustada. Samas võib luulusid põhjustada ka transkriptsioonitööriista taga olev keelemudel ise.

Ettevõtte Vectara koostatud pingerida toob välja, et luulude esinemise osakaal kipub keelemudelite seas üsna kõrge olema, küündides kohati kuni 16,2 protsendini. Kõige vähem ajab jahu OpenAI GPT-4 Turbo, mille hallutsinatsioonide osakaal on 2,5 protsenti.

Pärast esialgseid katseid täiustas OpenAI Whisperi mudelit, mis pani seda pikki pause sõnade vahel eirama. Samuti otsib mudel nüüd võimalikke hallutsinatsioone ja püüab need üle kirjutada. Teadlased viisid mullu detsembris läbi korduskatsed. Nad avastasid, et ettevõttel oli õnnestunud enamikust varasemalt dokumenteeritud luuludest vabaneda.

Seega võib edaspidi tehisaru hallutsinatsioonide vähendamisel olulist rolli mängida regulaarne enesekontrollide tegemine. Kontrollidest saadud andmeid saab aga kasutada mudelite täiustamiseks. Praegu soovitavad aga teadlased kindlasti transkriptsioonitööriistade teksti alati hoolikalt üle kontrollida.

Kõige selle taustal jääb uuringu autoreid kummitama ka küsimus, miks kipub tehisaru luuletades sageli eelistama just häirivat sisu.