Sir Airffic GoVeľa z toho pochádza z vedeckých prác, ale slová držím jednoduché. Vydrž so mnou.
Štyri fázy porozumenia
- Detekcia: nájsť na obrázku ľudí, autá a elektrické vedenia a orámovať ich.
- Sledovanie: sledovať, kam sa nájdený objekt pohne ďalej.
- Určenie vlastnej polohy: z pohybu v obraze a údajov z IMU vypočítať, ako ďaleko a kam si sa posunul (VIO: vizuálno-inerciálna odometria).
- Porozumenie a pokyny: pochopiť „skontroluj zadnú stranu domu s červenou strechou“ a spojiť slová s tým, čo vidíš (VLM: AI, ktorá pracuje s obrazom a jazykom naraz).
Lietať a pritom mapovať: SLAM a VIO
Koncom prvej dekády 21. storočia začali univerzitné laboratóriá odhadovať polohu malého dronu pomocou jednej kamery a IMU. Tam sa všetko začalo.
Zverejnili sa metódy ako SVO, VINS-Mono a ORB-SLAM a stali sa spoločným základom. Otvorený výskum sa zmenil na súčiastky produktov.
Dnešné komerčné drony dokážu lietať pod mostami a vo vnútri budov práve vďaka tejto nahromadenej práci.
Zhora vyzerajú veci malé a skreslené
AI natrénovaná na fotkách zo zeme má problém s pohľadom zhora: ľudia sú bodky a autá menia tvar.
Preto vznikli letecké dátové sady ako VisDrone a DOTA, aby sa dala trénovať AI určená pre oblohu.
Kto vlastní dáta, ten určuje, aká múdra bude AI. To sa nezmenilo ani v ére základných modelov.
Sir Airffic GoRozdiely v AI často nezávisia od algoritmov, ale od toho, koľko leteckých dát vlastníš. Zapamätaj si to pre kapitolu o stratégii.
Deň, keď AI porazila ľudských šampiónov
V roku 2023 AI dron Swift z Univerzity v Zürichu porazil ľudských majstrov sveta v pretekoch dronov. Práca vyšla v časopise Nature.
Swift odhadoval svoju polohu iba pomocou kamery a IMU a lietať sa naučil posilňovaným učením (reinforcement learning) – mnohonásobným trénovaním v simulácii.
Išlo o pevnú trať. Dosiahnuť túto zručnosť na skutočnej oblohe, kde sa mení počasie a prekážky, je stále otvorená výzva.
Preteky dronov na úrovni šampiónov vďaka hlbokému posilňovanému učeniu (UZH)
Dôkazy: [N124]
Ďalšia vlna: vidieť, uvažovať a konať podľa slov
Približne od roku 2023 začali veľké AI modely, ktoré pracujú s obrazom aj jazykom (základné modely), slúžiť ako mozgy robotov.
Pribúda výskum dronov, ktoré plnia hovorené pokyny a zároveň chápu scénu (letecká navigácia podľa obrazu a jazyka).
Veľké modely sú ťažké a spustiť ich rýchlo na palube je stále náročné. Preto treba čítať spolu s tým aj ďalšiu kapitolu – o čipoch.
Dôkazy: [N133]
Časté otázky
Pri akých prácach sa používa počítačové videnie dronov?
Bežne pri hľadaní trhlín na mostoch a elektrických vedeniach, kontrole zdravia plodín, hľadaní ľudí pri pátraní a záchrane, pri ochrane objektov a sledovaní dopravy a pri kontrole miest doručenia.
Čo je vizuálno-inerciálna odometria (VIO)?
Metóda, ktorá spája pohyb v obraze s meraním zrýchlenia a otáčania z IMU a vypočíta, ako ďaleko sa dron posunul. Je to základná technológia na lietanie bez GPS.