Sir Airffic GoVeliko tega prihaja iz znanstvenih člankov, a besede ostajajo preproste. Ostani z mano.
Štiri stopnje razumevanja
- Zaznavanje: na sliki najti ljudi, avtomobile in daljnovode ter okoli njih narisati okvirje.
- Sledenje: slediti, kam se najdeni predmet premakne naprej.
- Določanje lastnega položaja: iz gibanja slike in IMU ugotoviti, kako daleč in kam si se premaknil (VIO: vizualno-inercialna odometrija).
- Razumevanje in navodila: razumeti »preveri za hišo z rdečo streho« in besede povezati s tem, kar vidiš (VLM: UI, ki hkrati obdeluje slike in jezik).
Leteti in hkrati risati zemljevid: SLAM in VIO
Konec 2000-ih so univerzitetni laboratoriji začeli ocenjevati položaj majhnega drona z eno kamero in IMU. Tam se je vse začelo.
Objavljene so bile metode, kot so SVO, VINS-Mono in ORB-SLAM, in postale so skupni temelji. Odprte raziskave so se spremenile v sestavne dele izdelkov.
Današnji komercialni droni lahko letijo pod mostovi in v zaprtih prostorih prav zaradi tega nabranega dela.
Od zgoraj so stvari videti majhne in popačene
UI, naučena na fotografijah s tal, se težko znajde s pogledom od zgoraj: ljudje postanejo pike, avtomobili spremenijo obliko.
Zato sta nastali zbirki posnetkov iz zraka, kot sta VisDrone in DOTA, da bi lahko učili UI posebej za nebo.
Kdor ima podatke, določa, kako pametna postane UI. To se v dobi temeljnih modelov ni spremenilo.
Sir Airffic GoRazlike med UI pogosto bolj kot algoritmi določa to, koliko posnetkov iz zraka imaš. Zapomni si to za poglavje o strategiji.
Dan, ko je UI premagala človeške prvake
Leta 2023 je dron z UI, imenovan Swift, ki so ga razvili na Univerzi v Zürichu, premagal človeške svetovne prvake v dirkah z droni. Delo je bilo objavljeno v reviji Nature.
Swift je svoj položaj ocenjeval samo s kamero in IMU, leteti pa se je naučil s spodbujevalnim učenjem – z velikim številom vaj v simulaciji.
To je bilo na fiksni progi. Doseči tako spretnost na pravem nebu, s spremenljivim vremenom in ovirami, ostaja odprt izziv.
Dirkanje z droni na ravni prvakov z globokim spodbujevalnim učenjem (UZH)
Dokazi: [N124]
Naslednji val: videti, sklepati in ukrepati po besedah
Približno od leta 2023 so veliki modeli UI, ki hkrati obdelujejo slike in jezik (temeljni modeli), začeli služiti kot možgani robotov.
Raste število raziskav o dronih, ki sledijo izgovorjenim navodilom in hkrati razumejo prizor (navigacija z vidom in jezikom iz zraka).
Veliki modeli so težki in hitro izvajanje na krovu je še vedno zahtevno. Zato je treba hkrati brati naslednje poglavje o čipih.
Dokazi: [N133]
Pogosta vprašanja
Pri katerih delih se uporablja računalniški vid za drone?
Pogosta raba je iskanje razpok na mostovih in daljnovodih, preverjanje zdravja posevkov, iskanje ljudi pri reševanju, varovanje in nadzor prometa ter preverjanje mest dostave.
Kaj je vizualno-inercialna odometrija (VIO)?
Metoda, ki združi gibanje slike z meritvami pospeška in vrtenja iz IMU, da izračuna, koliko se je dron premaknil. To je osnovna tehnologija za letenje brez GPS.