Sir Airffic GoMnogo toga dolazi iz naučnih radova, ali riječi su jednostavne. Ostani sa mnom.
Četiri faze razumijevanja
- Detekcija: na slici pronaći ljude, automobile i dalekovode i nacrtati okvir oko njih.
- Praćenje: pratiti kuda se pronađeni objekat dalje kreće.
- Određivanje vlastitog položaja: iz kretanja na slici i podataka IMU-a izračunati koliko si se i kuda pomjerio (VIO: vizuelno-inercijalna odometrija).
- Razumijevanje i uputstva: shvatiti „provjeri iza kuće s crvenim krovom“ i povezati riječi s onim što vidiš (VLM: AI koji zajedno obrađuje sliku i jezik).
Letjeti i usput praviti mapu: SLAM i VIO
Krajem 2000-ih univerzitetske laboratorije počele su procjenjivati položaj malog drona pomoću jedne kamere i IMU-a. Odatle je sve počelo.
Objavljene su metode poput SVO, VINS-Mono i ORB-SLAM i postale zajednički temelji. Otvorena istraživanja pretvorila su se u dijelove proizvoda.
Današnji komercijalni dronovi mogu letjeti ispod mostova i u zatvorenom upravo zbog tog nagomilanog rada.
Odozgo stvari izgledaju sitno i iskrivljeno
AI istreniran na fotografijama sa zemlje teško se snalazi s pogledom odozgo: ljudi postaju tačkice, a automobili mijenjaju oblik.
Zato su napravljeni skupovi snimaka iz zraka poput VisDrone i DOTA, da bi se mogao trenirati AI baš za nebo.
Ko posjeduje podatke, određuje koliko će AI biti pametan. To se nije promijenilo ni u eri temeljnih modela.
Sir Airffic GoRazlike u AI-ju često zavise više od toga koliko podataka iz zraka imaš nego od algoritama. Zapamti ovo za poglavlje o strategiji.
Dan kad je AI pobijedio ljudske prvake
Godine 2023. AI dron Swift, napravljen na Univerzitetu u Zürichu, pobijedio je ljudske svjetske prvake u utrkama dronova. Rad je objavljen u časopisu Nature.
Swift je svoj položaj procjenjivao samo kamerom i IMU-om, a letjeti je naučio pojačanim učenjem (reinforcement learning) — vježbajući mnogo puta u simulaciji.
To je bilo na unaprijed poznatoj stazi. Postići takvu vještinu na stvarnom nebu, s promjenjivim vremenom i preprekama, i dalje je otvoren izazov.
Utrke dronova na nivou prvaka uz duboko pojačano učenje (UZH)
Dokazi: [N124]
Sljedeći talas: vidjeti, rasuđivati i djelovati po riječima
Otprilike od 2023. veliki AI modeli koji zajedno obrađuju sliku i jezik (temeljni modeli) počeli su služiti kao mozak robota.
Raste broj istraživanja o dronovima koji slijede izgovorena uputstva dok razumiju prizor (navigacija iz zraka uz sliku i jezik).
Veliki modeli su teški, pa ih je i dalje teško brzo pokretati u letjelici. Zato sljedeće poglavlje, o čipovima, treba čitati uz ovo.
Dokazi: [N133]
Često postavljana pitanja
Za koje poslove se koristi računarski vid na dronovima?
Česte primjene su otkrivanje pukotina na mostovima i dalekovodima, provjera stanja usjeva, pronalaženje ljudi u potrazi i spašavanju, nadzor sigurnosti i saobraćaja te provjera mjesta dostave.
Šta je vizuelno-inercijalna odometrija (VIO)?
Metoda koja kombinuje kretanje na slici s mjerenjima ubrzanja i okretanja iz IMU-a da bi izračunala koliko se dron pomjerio. To je osnovna tehnologija za let bez GPS-a.