Sir Airffic GoDużo z tego pochodzi z prac naukowych, ale słowa są proste. Zostań ze mną.
Cztery etapy rozumienia
- Detekcja: znaleźć na obrazie ludzi, samochody i linie energetyczne i zaznaczyć je ramkami.
- Śledzenie: podążać za tym, dokąd znaleziony obiekt rusza dalej.
- Samolokalizacja: ustalić, jak daleko i dokąd się przesunąłeś, z ruchu obrazu i danych z IMU (VIO: odometria wizyjno-inercyjna).
- Rozumienie i polecenia: zrozumieć „sprawdź teren za domem z czerwonym dachem” i połączyć słowa z tym, co widać (VLM: AI, która obsługuje naraz obraz i język).
Latanie z mapowaniem: SLAM i VIO
Pod koniec lat 2000. laboratoria uczelni zaczęły ustalać pozycję małego drona za pomocą jednej kamery i IMU. Od tego wszystko się zaczęło.
Opublikowano metody takie jak SVO, VINS-Mono i ORB-SLAM, które stały się wspólnym fundamentem. Otwarte badania zamieniły się w części produktów.
Dzisiejsze drony komercyjne mogą latać pod mostami i w budynkach właśnie dzięki tej nagromadzonej pracy.
Z góry wszystko wygląda na małe i zniekształcone
AI trenowana na zdjęciach z poziomu ziemi ma kłopot z widokiem z góry: ludzie stają się kropkami, a samochody zmieniają kształt.
Dlatego stworzono lotnicze zbiory danych, takie jak VisDrone i DOTA, by trenować AI przeznaczoną do nieba.
Kto ma dane, ten decyduje, jak mądra będzie AI. W erze modeli bazowych to się nie zmieniło.
Sir Airffic GoRóżnice w AI często wynikają bardziej z ilości posiadanych danych lotniczych niż z algorytmów. Zapamiętaj to na rozdział o strategii.
Dzień, w którym AI pokonała mistrzów
W 2023 roku dron z AI o nazwie Swift, zbudowany na Uniwersytecie w Zurychu, pokonał ludzkich mistrzów świata w wyścigach dronów. Wyniki opublikowano w Nature.
Swift ustalał swoją pozycję tylko kamerą i IMU, a latać nauczył się przez uczenie ze wzmocnieniem — ćwicząc wiele razy w symulacji.
To był stały tor. Osiągnięcie takiej umiejętności na prawdziwym niebie, ze zmienną pogodą i przeszkodami, wciąż jest otwartym wyzwaniem.
Wyścigi dronów na poziomie mistrzów dzięki głębokiemu uczeniu ze wzmocnieniem (UZH)
Dowody: [N124]
Następna fala: widzieć, rozumować i działać na słowa
Mniej więcej od 2023 roku duże modele AI, które obsługują naraz obraz i język (modele bazowe), zaczęły służyć jako mózgi robotów.
Rośnie liczba badań nad dronami, które wykonują polecenia mówione i jednocześnie rozumieją scenę (nawigacja wizyjno-językowa w powietrzu).
Duże modele są ciężkie, a szybkie uruchamianie ich na pokładzie wciąż jest trudne. Dlatego trzeba czytać je razem z chipami — następnym rozdziałem.
Dowody: [N133]
Najczęściej zadawane pytania
W jakich pracach używa się wizji komputerowej dronów?
Często przy wykrywaniu pęknięć na mostach i liniach energetycznych, sprawdzaniu zdrowia upraw, szukaniu ludzi w akcjach ratunkowych, ochronie i monitoringu ruchu oraz sprawdzaniu miejsc dostaw.
Co to jest odometria wizyjno-inercyjna (VIO)?
Metoda, która łączy ruch obrazu z pomiarami przyspieszenia i obrotu z IMU, żeby obliczyć, jak daleko dron się przesunął. To podstawowa technologia lotu bez GPS.