Eesti ettevõte Soundfree pakub kuulmislangusega inimestele mudelit, mis tunneks ära olulisi koduseid helisid. "Mudel tuvastas seitset helide klassi: suitsuandurit, tuletõrjealarmi, lapse nuttu, uksekella, koputamist, taustamüra ja muid helisid," loetleb Tartu Ülikooli üliõpilane Johanna Kaare. Samas tuli ettevõtte kliendisuhtluses välja kasutajate soov, et mudel tunneks ära veel paljusid teisi signaale, näiteks mikrolaineahju või pesumasina piiksumist.

Soovi täitmiseks arendab Soundfree nüüd lahendust, mis võimaldaks igal kasutajal lisada mudelisse enda koduseid helinäidiseid. Nii õpiks mudel ära tundma igaühe isiklikku ahju või uksekella. Vaegkuuljatel on aga seda võimalust keeruline kasutada, sest kodus üleslaetavad heliklipid peaksid sisaldama üksnes signaali, mitte taustamüra. "Kuna nad ise ei saa enda salvestatud heliklippi üle kuulata ja sealt just signaali sisaldavat osa välja lõigata, oli minu bakalaureusetöö esimene eesmärk luua algoritm, mis teeks seda nende eest. Ehk algoritm, mis eraldaks heliklipist signaali," kirjeldab Kaare.

Teise eesmärgina tegi ta kindlaks väikseima treeningklippide arvu, mille kasutaja mudelile kindla heli õpetamiseks kodus salvestama peaks. "See on oluline, et tagada mudeli usaldusväärsust ja täpsust. Kui mõne klassi treeningandmete hulk on liiga väike, ei suuda mudel signaali piisavalt üldistada ja see põhjustab ebatäpseid ennustusi," seletab Kaare.

Vaikne ahi või vali suitsuandur?

Soundfree loodud masinõppepõhine helituvastustööriist vajab toimimiseks mikrofoni ja nutiseadet. Kasutaja paigaldab endale koju mikrofoni, mis salvestab pidevalt tema kodus kõlavaid helisid. "Kui mudel tuvastab mõne soovitud klassi heli, saab kasutaja sellest teada. Talle tuleb kas mobiiltelefonile või nutikella teavitus," sõnab Johanna Kaare.

Kuna iga inimese seadmed teevad erinevat häält, vajab mudel nende helide tundmaõppimiseks treeningandmeid. Kodus ise oma seadmete piiksumist salvestades saadud helikvaliteet pole aga alati mudeli õpetamiseks sobiv. "Kui heliklippides on lisaks signaalile alguses ja lõpus taustamüra, ajab mudel need helid ja taustamüra segamini. See põhjustab valepositiivseid ennustusi," kirjeldab Kaare. Tema arendas oma bakalaureusetöös algoritmi, mis tuvastab kodusest salvestisest just olulise signaali ja kärbib selle treeningmaterjali loomiseks välja.

Esmalt tuli Kaare sõnul arvutile selgeks teha, mis üldse on signaal. "Kui me inimesena kuulame heliklippi üle, on meie jaoks selge, et kuuleme natuke taustamüra, siis midagi piiksub ja siis tuleb veel taustamüra. Meie jaoks ongi piiksumine signaal, aga arvuti niimoodi ei mõtle," arutleb ta.

Niisiis õpetas ta esimese võimalusena arvutit signaali otsima selle valjususe järgi. Sel moel valmisid tal kolm helilaine amplituudidel põhinevat algoritmi. Kaare sõnul töötavad need eeldustel, et signaalheli amplituud on taustamüra omast märgatavalt suurem ehk helilaineid vaadates on näha piiki. "Alati see lähenemine ei tööta. Näiteks kui on väga vaikne signaal või taustamüra ise on hästi vali, ei pruugi amplituudilt signaal välja tulla," möönab ta.

Sellisteks puhkudeks lõi Kaare veel kolm algoritmi, mis põhinevad heliklippides esinevatel sagedustelt. Sageduspõhistes algoritmides leidis ta teisenduste abil heliklipi sagedusvektorid ehk vaatas, milline on klipi jooksul helide sageduspilt. Edasi pani ta algoritmi vektoreid võrdlema ja otsima ajahetke, kus vektorid üksteisest erinema hakkavad. "Ma otsin alati mingit muutust: amplituudipõhistes otsin muutust amplituudides ja sageduspõhistes muutust sageduspildis," märgib ta.

Kõiki signaale polnud taustamürast eraldada ühtviisi kerge. Näiteks oli algoritmil Kaare sõnul väga lihtne amplituudi põhjal välja lõigata suitsuanduri alarmi heli, sest see oli lihtsalt niivõrd vali. "Samas on mul väga vaikne ahi, mis piiksub kindla temperatuurini soojenedes hästi vaikselt. Siis oli keerulisem ja pidingi sageduspõhiselt lähenema," meenutab ta.

Piisab kümnest klipist

Bakalaureusetöö teise põhiküsimusena huvitas Johanna Kaaret, kui palju heliklippe peaks inimene kodus salvestama, et Soundfree mudel õpiks tema soovitud heli tuvastama. Alusmudeli treenimiseks kasutatakse tudengi sõnul ühe heliklassi õpetamiseks üle 200 klipi, mis kujutaks keskmisele kodusele kasutajale liiga suurt töömahtu. 

"Toreda üllatusena selgus minu analüüsist, et nii palju andmeid polegi vaja. Kümnest klipist piisab täiesti ja lihtsamate signaalide puhul isegi viiest, et mudel annaks juba paikapidavaid tulemusi," toob Kaare välja. Siingi sõltus tulemus helist enesest – viiest klipist piisas näiteks väga valjult piiksuvale kuumaõhufritüürile. Leiu valguses on olemasoleva mudeli personaalsemaks muutmine Kaare sõnul niisiis lihtne ja täiesti tehtav ülesanne.

"Minu jaoks oli huvitav, et mudeli tuvastusvõime on üsna sarnane inimese tuvastusvõimega," märgib ta. Näiteks tunnevad nii inimene kui ka mudel hõlpsasti ära uksekella või suitsuanduri heli, sest need on väga iseomase kõlaga. Seevastu koputamist on mõlemal tabada keerulisem. "Endal on ka vahepeal raske aru saada, kas keegi koputas või hoopis näiteks naaber kõndis üleval," muigab Kaare.

Praegu jätkab ta koostööd Tarkvara Tehnoloogia Arenduskeskuse ehk STACC-iga, et Soundfree lahendust edasi arendada. "Nüüdseks olen loonud heliklipist signaali eraldamiseks kombineeritud lahenduse, kus üldiselt kasutatakse amplituudipõhist lähenemist ja mürasemate helifailide puhul sageduspõhist," kirjeldab ta. Edasi käibki tema sõnul töö nende lahenduste Soundfree süsteemi sisseehitamisega.

Kaare näeb enda ja laiemalt Soundfree töö väärtust selles, et vaegkuuljatel võimaldatakse tajuda helisid, mida nad muidu ei kuuleks. Piltlikult öeldes ei lähe neil toit kõrbema, pesu saab masinast õigel ajal välja võetud ja suitsuanduri teavitus saabub õigel ajal. "Suitsuandur on väga oluline heli, mida kuulda ja kõik vaegkuuljad seda lihtsalt ei kuule. Niisiis arvan, et lahendus parandab oluliselt nende turvalisust ja elukvaliteeti," ütleb ta.

Johanna Kaare kaitses bakalaureusetöö "Heliklipist signaali eraldamine ja minimaalse treeningandmestiku suuruse tuvastamine olmehelide klassifitseerimiseks" informaatika erialal Tartu Ülikoolis. Tööd juhendasid STACCi andmeteaduse tiimi juht Tiit Sepp ja TÜ lektor Tauno Palts.