Sir Airffic GoMeget af det her kommer fra forskningsartikler, men ordene er holdt enkle. Bliv hængende.
Fire trin i at forstå
- Genkendelse: finde mennesker, biler og elledninger i et billede og tegne kasser om dem.
- Sporing: følge, hvor en fundet ting bevæger sig hen.
- Finde sig selv: regne ud, hvor langt og hvorhen man har flyttet sig, ud fra bevægelse i billedet plus IMU'en (VIO: visuel-inertiel odometri).
- Forståelse og instruktioner: fatte "tjek bag huset med det røde tag" og koble ordene til det, man ser (VLM: AI, der håndterer billeder og sprog sammen).
At flyve og tegne kort samtidig: SLAM og VIO
I slutningen af 2000'erne begyndte universitetslaboratorier at beregne en lille drones position med ét kamera og en IMU. Det var dér, det hele startede.
Metoder som SVO, VINS-Mono og ORB-SLAM blev offentliggjort og blev et fælles fundament. Åben forskning blev til dele i produkter.
Nutidens erhvervsdroner kan flyve under broer og indendørs på grund af alt det arbejde.
Oppefra ser tingene små og skæve ud
AI, der er trænet på billeder taget fra jorden, har svært ved udsigten oppefra: mennesker bliver til prikker, og biler skifter form.
Datasæt med luftbilleder som VisDrone og DOTA blev lavet, så man kunne træne AI specielt til luften.
Den, der ejer data, bestemmer, hvor klog AI'en bliver. Det har ikke ændret sig i grundmodellernes tid.
Sir Airffic GoForskelle i AI handler ofte mere om, hvor mange luftdata du ejer, end om algoritmer. Husk det til kapitlet om strategi.
Dagen, hvor AI slog de menneskelige mestre
I 2023 slog en AI-drone ved navn Swift, bygget på Zürich Universitet, menneskelige verdensmestre i droneræs. Arbejdet blev udgivet i Nature.
Swift beregnede sin position kun med et kamera og en IMU og lærte at flyve gennem forstærkningslæring – ved at øve sig mange gange i en simulator.
Det var på en fast bane. At gøre det samme i den rigtige luft, med skiftende vejr og forhindringer, er stadig en åben udfordring.
Droneræs på mesterniveau med dyb forstærkningslæring (UZH)
Beviser: [N124]
Næste bølge: se, tænke og handle på ord
Fra omkring 2023 begyndte store AI-modeller, der håndterer billeder og sprog sammen (grundmodeller, på engelsk foundation models), at fungere som hjerner i robotter.
Forskningen i droner, der følger talte instruktioner og samtidig forstår situationen (vision-language-navigation i luften), vokser.
Store modeller er tunge, og det er stadig svært at køre dem hurtigt om bord. Derfor skal chips – næste kapitel – læses ved siden af.
Beviser: [N133]
Ofte stillede spørgsmål
Hvilke opgaver bruger computersyn til droner?
Typiske eksempler er at finde revner i broer og elledninger, tjekke afgrøders sundhed, finde mennesker ved eftersøgning og redning, overvåge sikkerhed og trafik og tjekke steder til levering.
Hvad er visuel-inertiel odometri (VIO)?
En metode, der kombinerer bevægelse i billedet med IMU'ens målinger af acceleration og drejning for at regne ud, hvor langt dronen har flyttet sig. Det er en grundteknologi til at flyve uden GPS.