Sir Airffic GoGaling sa mga papel-pananaliksik ang marami rito, pero pinasimple namin ang mga salita. Sumabay ka lang sa akin.
Apat na yugto ng pag-unawa
- Detection: hanapin ang tao, kotse at kable ng kuryente sa larawan at lagyan sila ng kahon.
- Tracking: sundan kung saan pupunta ang nahanap na bagay.
- Pag-alam ng sariling puwesto: kalkulahin kung gaano kalayo at saan ka gumalaw mula sa galaw ng larawan at sa IMU (VIO: visual-inertial odometry).
- Pag-unawa at pagsunod sa utos: intindihin ang "tingnan ang likod ng bahay na pula ang bubong" at iugnay ang mga salita sa nakikita (VLM: AI na sabay na humahawak ng larawan at wika).
Lumilipad habang gumagawa ng mapa: SLAM at VIO
Noong huling bahagi ng 2000s, sinimulan ng mga lab sa unibersidad na tantiyahin ang puwesto ng maliit na drone gamit ang isang camera at IMU. Doon nagsimula ang lahat.
Nailathala ang mga paraan gaya ng SVO, VINS-Mono at ORB-SLAM at naging pundasyong pinagsasaluhan ng lahat. Ang bukas na pananaliksik ay naging piyesa ng produkto.
Dahil sa naipong trabahong ito, kaya na ng mga commercial na drone ngayon na lumipad sa ilalim ng tulay at sa loob ng gusali.
Mula sa itaas, maliit at baluktot ang itsura ng mga bagay
Nahihirapan ang AI na tinuruan gamit ang mga litratong kuha sa lupa kapag tanaw mula sa itaas: nagiging tuldok ang tao at nag-iiba ang hugis ng kotse.
Ginawa ang mga aerial dataset gaya ng VisDrone at DOTA para maturuan ang AI na espesyal para sa himpapawid.
Kung sino ang may hawak ng data, siya ang humuhubog kung gaano tatalino ang AI. Hindi iyan nagbago kahit sa panahon ng foundation model.
Sir Airffic GoKadalasan, ang agwat ng AI ay nasa dami ng hawak mong aerial data, higit pa sa algorithm. Tandaan ito para sa kabanata ng diskarte.
Ang araw na tinalo ng AI ang mga kampeong tao
Noong 2023, tinalo ng AI drone na Swift, gawa ng University of Zurich, ang mga world champion na tao sa drone racing. Nailathala ang pag-aaral sa Nature.
Tinantiya ng Swift ang puwesto nito gamit lang ang camera at IMU, at natutong lumipad sa pamamagitan ng reinforcement learning — paulit-ulit na pagsasanay sa simulation.
Nasa isang nakapirming kurso ito. Ang pagtapat sa galing na iyon sa totoong himpapawid, kung saan nagbabago ang panahon at mga harang, ay hamon pa rin hanggang ngayon.
Drone racing na pang-kampeon gamit ang deep reinforcement learning (UZH)
Ebidensya: [N124]
Ang susunod na alon: nakakakita, nangangatwiran at kumikilos ayon sa salita
Mula bandang 2023, nagsimulang magsilbing utak ng robot ang malalaking AI model na sabay na humahawak ng larawan at wika (foundation model).
Lumalago ang pananaliksik sa drone na sumusunod sa binigkas na utos habang naiintindihan ang paligid (aerial vision-language navigation).
Mabigat ang malalaking model, at mahirap pa ring patakbuhin ang mga ito nang mabilis sa loob ng drone. Kaya kailangang basahin kasabay nito ang susunod na kabanata tungkol sa chip.
Ebidensya: [N133]
Mga madalas itanong
Anong mga trabaho ang gumagamit ng drone computer vision?
Karaniwang gamit ang paghanap ng bitak sa tulay at kable ng kuryente, pag-check ng kalusugan ng pananim, paghanap ng tao sa search and rescue, pagbabantay sa seguridad at trapiko, at pag-check ng lugar ng delivery.
Ano ang visual-inertial odometry (VIO)?
Paraan na pinagsasama ang galaw ng larawan at ang sukat ng IMU sa bilis ng pagbabago ng galaw at pag-ikot para kalkulahin kung gaano kalayo ang nilipad ng drone. Pangunahing teknolohiya ito para makalipad nang walang GPS.