Sir Airffic GoMnogo toga dolazi iz znanstvenih radova, ali riječi su jednostavne. Ostani sa mnom.
Četiri faze razumijevanja
- Detekcija: pronaći ljude, automobile i dalekovode na slici i nacrtati okvire oko njih.
- Praćenje: pratiti kamo se pronađeni predmet dalje kreće.
- Određivanje vlastitog položaja: iz kretanja slike i podataka IMU-a izračunati koliko se i kamo dron pomaknuo (VIO: vizualno-inercijalna odometrija).
- Razumijevanje i upute: shvatiti uputu "provjeri iza kuće s crvenim krovom" i povezati riječi s onim što se vidi (VLM: AI koji istodobno obrađuje sliku i jezik).
Letjeti uz izradu karte: SLAM i VIO
Krajem 2000-ih sveučilišni laboratoriji počeli su određivati položaj malog drona pomoću jedne kamere i IMU-a. Odatle je sve počelo.
Objavljene su metode poput SVO, VINS-Mono i ORB-SLAM koje su postale zajednički temelji. Otvorena istraživanja pretvorila su se u dijelove proizvoda.
Današnji komercijalni dronovi mogu letjeti ispod mostova i u zatvorenom upravo zbog tog nakupljenog rada.
Odozgo stvari izgledaju sitno i iskrivljeno
AI istreniran na fotografijama snimljenima sa zemlje teško se snalazi s pogledom odozgo: ljudi postaju točkice, a automobili mijenjaju oblik.
Skupovi snimaka iz zraka poput VisDrone i DOTA nastali su kako bi se mogao trenirati AI posebno za nebo.
Tko posjeduje podatke, oblikuje koliko će AI biti pametan. To se nije promijenilo ni u doba temeljnih modela.
Sir Airffic GoRazlike u AI-ju često ovise više o tome koliko podataka iz zraka posjeduješ nego o algoritmima. Zapamti to za poglavlje o strategiji.
Dan kad je AI pobijedio ljudske prvake
Godine 2023. AI dron nazvan Swift, razvijen na Sveučilištu u Zürichu, pobijedio je ljudske svjetske prvake u utrkama dronova. Rad je objavljen u časopisu Nature.
Swift je svoj položaj određivao samo pomoću kamere i IMU-a, a letjeti je naučio podržanim učenjem — vježbajući mnogo puta u simulaciji.
To je bilo na unaprijed poznatoj stazi. Dosegnuti tu vještinu na stvarnom nebu, uz promjenjivo vrijeme i prepreke, još je otvoren izazov.
Utrke dronova na razini prvaka uz duboko podržano učenje (UZH)
Dokazi: [N124]
Sljedeći val: vidjeti, zaključivati i djelovati prema riječima
Otprilike od 2023. veliki AI modeli koji istodobno obrađuju sliku i jezik (temeljni modeli) počeli su služiti kao mozak robota.
Raste broj istraživanja o dronovima koji slijede izgovorene upute i pritom razumiju prizor (navigacija vidom i jezikom iz zraka).
Veliki modeli su teški i još ih je teško brzo pokretati na letjelici. Zato uz ovo treba čitati i sljedeće poglavlje, o čipovima.
Dokazi: [N133]
Česta pitanja
Za koje se poslove koristi računalni vid za dronove?
Česte su primjene otkrivanje pukotina na mostovima i dalekovodima, provjera zdravlja usjeva, pronalaženje ljudi pri potrazi i spašavanju, nadzor sigurnosti i prometa te provjera mjesta dostave.
Što je vizualno-inercijalna odometrija (VIO)?
Metoda koja kombinira kretanje slike s mjerenjima ubrzanja i okretanja iz IMU-a kako bi izračunala koliko se dron pomaknuo. To je osnovna tehnologija za let bez GPS-a.