Nii nagu inimesed ja loomad, vajavad ka isesõitvad autod liikumisel ettetulevate takistuste arvestamiseks infot ümbrusest. Elusolendid saavad üldjuhul passiivseid signaale nägemise ja kuulmise abil. Nahkhiired kiirgavad ka ise aktiivselt ultraheli signaale, mille peegeldumise järgi otsustatakse objektide kauguse, suuruse, asukoha üle.

Sarnaselt on ka isesõitvatel autodel erinevad ümbruse tunnetamise vahendid. Väike robotauto võib otsustada vaid pinnaheleduse muutuse järgi, kas on õigel teel. Ultrahelisignaalide kiirgamise ja vastuvõtmisega saab tuvastada ümbritsevate objektide kaugust.

Isesõitvatel autodel ainult heleduse muutuste jälgimisest ja ultraheli kasutamisest ei piisaks. Isesõitva auto kontekstis tähendab see seda, et teatud ettetulevad olukorrad ja nendele reageerimine on autole selgeks tehtud. Õigel teel sõitmiseks on vaja ühelt poolt kasutada GPS-i. GPS jälgib auto üldist asukohta, aga pole piisavalt täpne sõiduradade jälgimiseks.

Üheks objektide tuvastamise vahendiks on nn kompuuternägemine, mis peaks tuvastama tuntud objekte, nt liiklusmärke, foore ja jalakäijaid. Lisaks sellele on ümbruse efektiivsemaks tajumiseks autodel vaja saata ise aktiivselt signaale – elektromagnetilisi, mitte enam ultrahelisignaale. Radari signaalide kiirgamise ja peegeldunud signaalide vastuvõtmisega saab otsustada ümbritsevate objektide – autode, inimeste, loomade ja muu – kauguse ja kiiruse üle.

Täiendav laserskaneerimine LIDAR-i abil võimaldab ümbrusest paremat kolmemõõtmelist pilti saada. Selline erinevate vahendite poolt saadud signaalide kombineerimine peaks võimaldama autol ümbrust piisavalt täpselt ja kiiresti tajuda, et sõites vajalikke liikumist muutvaid otsuseid teha.

Tulevikus toob isesõitvate autode ilmumine kaasa liiklusohutuse, kuna inimlikke eksimusi on palju vähem. Lisanduvad tarkvaralised eksimused, kuid need on kiiremini parandatavad kui inimloomus.

Teatud kriitilise infohulga ületamisel peab auto olema ise võimeline otsuseid vastu võtma ning ettetulevad olukorrad ei tohi väga palju erineda sellest, mis autole eelnevalt selgeks tehtud on. Päris ootamatuste eest pole ilmselt kaitstud ka isesõitvad autod.