Fuzija podatkov nevronske mreže za samovozeče avtomobile

Nov 04, 2022

Pustite sporočilo

kanala, omrežja vrnejo svoje izračunano zaupanje o sposobnosti NN, da natančno zazna objekte na določeni sliki. Na primer, če je slika zelo temna, bo omrežje RGB vrnilo nizko oceno zaupanja. 2 DNN-ja (globoke nevronske mreže) delujeta nenadzorovano na združenem naboru podatkov in iščeta slike, kjer ima eden od DNN-jev nizko stopnjo zaupanja, drugi pa visoko oceno. Kanali slike z visokimi ocenami zaupanja se nato uporabijo za učenje NN za kanale z nižjimi ocenami zaupanja. Ta proces bistveno izboljša delovanje obeh DNN-jev, tako da jih usposablja pod najzahtevnejšimi pogoji. Eden od rezultatov je, da RGB DNN kažejo velike izboljšave v temnih prizorih in neposrednem bleščanju.


C. Omrežje Fusion Image (R, G, B, IR).


Uporabite 4D slike (R, G, B, IR), da dosežete najboljšo zmogljivost za sisteme, ki vključujejo RGB in IR kamere. Rezultat zaznavanja tega DNN je rezultat zaznavanja kombinacije dveh DNN-jev, omenjenih v razdelku B zgoraj, ob uporabi le polovice računalniških virov. Ta kombinacija/fuzija bo zagotovila najboljše rezultate za en sistem.


Vendar je treba pri izbiri pristopa fuzijskega omrežja upoštevati nekatere dejavnike. Z uporabo 2 različnih DNN (kot je prikazano v razdelku B) sistem pridobi faktor redundance, potreben za varnost avtonomnih vozil (preprečevanje okvare v primeru okluzije, umazanije leč, okvare enega od senzorjev itd.). Prav tako je mogoče izboljšano omrežje RGB plus IR še nekoliko prilagoditi, tako da odstranitev ene od kamer (RGB ali IR) ne bo vplivala na DNN preostalih kanalov.

~K$MD%]1~I(A5I2V0CLV5VJ


A) RGB DNN trenira IR DNN. B) RGB DNN in IR DNN se medsebojno usposabljata. C) DNN 4D slike

v zaključku

Kamere RGB bodo verjetno ostale primarni senzorji v samovozečih avtomobilih. V nekaterih primerih RGB kamere postanejo nezanesljive in zahtevajo uporabo dodatnih senzorjev. Pri izbiri spremljevalnega senzorja je treba upoštevati naslednje točke:


Delovanje senzorja v okoljskih pogojih (osvetlitev, vreme itd.), ki vplivajo na delovanje kamere RGB

cena senzorja

Algoritmi umetne inteligence, ki jih je enostavno učiti, in popolna zmogljivost združevanja podatkov

Kamere LWIR popolnoma izpolnjujejo vse zgoraj navedene pomisleke. Sistem QuadSight vision izkorišča najsodobnejše zmožnosti umetne inteligence za hitro in zanesljivo doseganje popolne fuzije podatkov, da postanejo popolnoma avtonomna vozila resničnost.

QZMYORKV~QBIF0$F7$(]2SK

Slika v vidni svetlobi RGB (levo), slika LWIR (na sredini) in zlita slika RGB-IR (desno)