Sir Airffic GoEnnek nagy része kutatási cikkekből jön, de a szavakat egyszerűnek tartom. Tarts velem!
Az értés négy lépcsője
- Detektálás: embereket, autókat és villanyvezetékeket talál a képen, és keretet rajzol köréjük.
- Követés: nyomon követi, merre mozdul tovább a megtalált tárgy.
- Önlokalizáció: a kép mozgásából és az IMU adataiból kiszámolja, mennyit és merre mozdult (VIO: vizuális-inerciális odometria).
- Értés és utasítás: megérti, hogy „nézd meg a piros tetős ház mögötti részt”, és összeköti a szavakat azzal, amit lát (VLM: képet és nyelvet együtt kezelő MI).
Repülés térképezés közben: SLAM és VIO
A 2000-es évek végén egyetemi laborok elkezdték egyetlen kamerával és egy IMU-val becsülni egy kis drón helyzetét. Innen indult minden.
Megjelentek az olyan módszerek, mint az SVO, a VINS-Mono és az ORB-SLAM, és közös alapokká váltak. A nyílt kutatásból termékalkatrész lett.
A mai kereskedelmi drónok ennek a felhalmozott munkának köszönhetően tudnak hidak alatt és épületen belül repülni.
Felülről minden kicsi és torz
A földről készült fotókon tanított MI nehezen boldogul a felülnézettel: az emberek pöttyökké válnak, az autók alakja megváltozik.
Olyan légifotós adathalmazokat hoztak létre, mint a VisDrone és a DOTA, hogy az égre szabott MI-t lehessen tanítani.
Akié az adat, az alakítja, milyen okos lesz az MI. Ez az alapmodellek korában sem változott.
Sir Airffic GoAz MI-k közötti különbség gyakran inkább azon múlik, mennyi légi adatod van, mint az algoritmusokon. Ezt jegyezd meg a stratégiai fejezethez.
A nap, amikor az MI legyőzte az emberi bajnokokat
2023-ban a Zürichi Egyetemen épített Swift nevű MI-drón legyőzte a drónversenyzés emberi világbajnokait. A munka a Nature folyóiratban jelent meg.
A Swift csak egy kamerával és egy IMU-val becsülte a helyzetét, és megerősítéses tanulással (sokszori gyakorlással szimulációban) tanult meg repülni.
Ez egy rögzített pályán történt. Ugyanezt a tudást a valódi égen, változó időjárás és akadályok mellett elérni még nyitott kihívás.
Bajnoki szintű drónverseny mély megerősítéses tanulással (UZH)
Bizonyítékok: [N124]
A következő hullám: lát, gondolkodik, és szóra cselekszik
2023 körül a képet és nyelvet együtt kezelő nagy MI-modellek (alapmodellek) elkezdtek robotok agyaként működni.
Egyre több drónos kutatás foglalkozik azzal, hogy a gép a jelenetet megértve kövesse a kimondott utasításokat (légi vizuális-nyelvi navigáció).
A nagy modellek nehezek, és a fedélzeten gyorsan futtatni őket még mindig nehéz. Ezért kell a chipekről szóló következő fejezetet is mellé olvasni.
Bizonyítékok: [N133]
Gyakori kérdések
Milyen munkákban használják a drónos gépi látást?
Gyakori a repedések keresése hidakon és villanyvezetékeken, a növények állapotának ellenőrzése, eltűnt emberek felkutatása mentéskor, a biztonsági és forgalomfigyelés, valamint a kiszállítási helyszínek ellenőrzése.
Mi az a vizuális-inerciális odometria (VIO)?
Olyan módszer, amely a kép mozgását az IMU gyorsulás- és elfordulásméréseivel kombinálja, hogy kiszámolja, mennyit mozdult a drón. Ez a GPS nélküli repülés egyik alaptechnológiája.