Pildilt saab välja lugeda ka heli
Tõdemust, et raadio pilti ei näita, võib pidada sama vaieldamatuks väiteks kui ükskõik millist muud põlist rahvatarkust. Küll aga tundub, et vastupidine ütlus – pilt raadiot ei mängi – on uuemate tehnikasaavutuste valgel sattunud kahtluse alla.
Tuleb välja, et kui foto ülesvõtmise hetkel kõlab võttepaigas mingi heli – kas mängib raadio, räägib inimene või näub kass, siis võib seegi pildile salvestuda.
Ameerika Ühendriikides Bostonis asuva Northwesterni Ülikooli arvutitehnika ja -teaduse professor Kevin Fu on koos kolleegidega loonud masinõppele tugineva tarkvara, mis oskab foto pealt välja lugeda, kes pildistamise aegu milliseid sõnu lausus.
Süsteem nimega Side Eye kasutab nutikalt ära tänapäeva mobiiltelefonikaamerates laialt kasutusel olevat pildistabiliseerimistehnikat.
Et pildistaja värisev käsi pilti ei ähmastaks, on kaamerasse sisse ehitatud väikesed vedrud, mis hoiavad läätse vedelikus hõljumas. Väikesed andurid ja elektromagnetid tekitavad iga värinanõksu peale võrdse ja vastassuunalise kompensatsiooninõksu.
Kuid selgub, et kui kaamera läheduses kõlab õhus mõni heli, siis paneb ka see vedrukesed hästi natuke värisema. Stabiliseerimismehhanism püüab kompenseerida sedagi värinat, kuid ei suuda seda päris täielikult teha. Nii muutub helivõngete toimel õige märkamatult kaamera vaatenurk.
Kui pilditegu oleks hetkeline, siis mingit lisainfot sellest pildi sisse ei talletuks. Aga tänapäeva kaamerad ei registreeri mitte kõiki pildipiksleid korraga, vaid rida rea haaval. Just see asjaolu võimaldabki peenelt analüüsida, kuidas on kaamera vaatenurk pildistamise ajal õhu võnkumiste taktis värelenud. Ja saamegi pildistushetkel kõlanud heli taastada!
Heli kvaliteet on muidugi kaugel suurepärasusest, inimhääl kostab summutatult, nagu vatiteki alt. Aga sõnadest aitab aru saada masinõppemoodul, mida võib õpetada sõnu aimama, näiteks selgelt vahet tegema sõnadel "jah" ja "ei". Süsteem oskab ka mingil määral ära tunda, milline talle eelnevalt tutvustatud isik pilthelisalvestisel kõneleb.
Küberturvalisuse mõttes kujutab pildilt heli lugemine küllap uut ohuallikat, aga annab samas ka uue meetodi kohtulikke asitõendeid saada. Seda enam, et ka video salvestamise ajal kõlanud helid jäävad videopildi peale, isegi kui mikrofon on välja lülitatud.
Professor Fu juhtimisel loodud süsteemist Side Eye annab teada Northwesterni Ülikool.
