Sir Airffic GoHodně z toho pochází z vědeckých článků, ale slova jsou jednoduchá. Vydrž se mnou.
Čtyři fáze porozumění
- Detekce: najít v obraze lidi, auta a elektrické vedení a orámovat je.
- Sledování: hlídat, kam se nalezený objekt pohne dál.
- Určení vlastní polohy: z pohybu v obraze a z IMU spočítat, kam a jak daleko ses posunul (VIO: vizuálně-inerciální odometrie).
- Porozumění a pokyny: pochopit „zkontroluj to za domem s červenou střechou“ a propojit slova s tím, co vidíš (VLM: AI, která zpracovává obraz a jazyk zároveň).
Létání a mapování zároveň: SLAM a VIO
Koncem prvního desetiletí 21. století začaly univerzitní laboratoře odhadovat polohu malého dronu jednou kamerou a IMU. Tam všechno začalo.
Byly zveřejněny metody jako SVO, VINS-Mono a ORB-SLAM a staly se společnými základy. Otevřený výzkum se proměnil v součástky výrobků.
Dnešní komerční drony mohou létat pod mosty a uvnitř budov právě díky této nastřádané práci.
Shora vypadají věci malé a zkreslené
AI naučená na fotkách ze země má potíže s pohledem shora: z lidí se stanou tečky a auta změní tvar.
Proto vznikly letecké datové sady jako VisDrone a DOTA, aby se dala trénovat AI přímo pro nebe.
Kdo vlastní data, ten určuje, jak chytrá AI bude. To se nezměnilo ani v éře základních modelů.
Sir Airffic GoRozdíly mezi AI často závisí víc na tom, kolik leteckých dat vlastníš, než na algoritmech. Zapamatuj si to pro kapitolu o strategii.
Den, kdy AI porazila lidské šampiony
V roce 2023 porazil AI dron Swift z Curyšské univerzity lidské mistry světa v dronových závodech. Práce vyšla v časopise Nature.
Swift odhadoval svou polohu jen kamerou a IMU a létat se naučil posilovaným učením – mnohokrát trénoval v simulaci.
Šlo o pevnou trať. Stejnou dovednost ve skutečném nebi, kde se mění počasí a překážky, zatím nikdo nezvládl.
Závody dronů na úrovni šampionů díky hlubokému posilovanému učení (UZH)
Důkazy: [N124]
Další vlna: vidět, uvažovat a jednat podle slov
Zhruba od roku 2023 začaly velké AI modely, které zpracovávají obraz i jazyk zároveň (základní modely), sloužit jako mozky robotů.
Přibývá výzkumu dronů, které plní mluvené pokyny a přitom chápou scénu (letecká navigace podle obrazu a jazyka).
Velké modely jsou těžké a spustit je rychle na palubě je pořád obtížné. Proto je třeba číst zároveň další kapitolu o čipech.
Důkazy: [N133]
Časté otázky
Při jaké práci se používá počítačové vidění dronů?
Běžně při hledání prasklin na mostech a elektrickém vedení, kontrole zdraví plodin, hledání lidí při pátrání a záchraně, při ostraze a sledování dopravy a při kontrole míst doručení.
Co je vizuálně-inerciální odometrie (VIO)?
Metoda, která spojuje pohyb v obraze s měřením zrychlení a otáčení z IMU a počítá, jak daleko se dron posunul. Je to základní technologie pro let bez GPS.