Sir Airffic GoMye av dette kommer fra forskningsartikler, men ordene holdes enkle. Heng med.
Fire trinn av forståelse
- Gjenkjenning: finne mennesker, biler og kraftledninger i et bilde og tegne bokser rundt dem.
- Sporing: følge med på hvor en ting som er funnet, beveger seg videre.
- Finne egen posisjon: regne ut hvor langt og hvorhen man har flyttet seg, ut fra bevegelsen i bildet pluss IMU (VIO: visuell-inertiell odometri).
- Forståelse og beskjeder: skjønne «sjekk bak huset med det røde taket» og koble ordene til det man ser (VLM: KI som håndterer bilder og språk sammen).
Å fly mens man lager kart: SLAM og VIO
På slutten av 2000-tallet begynte universitetslaber å beregne posisjonen til en liten drone med ett kamera og en IMU. Alt startet der.
Metoder som SVO, VINS-Mono og ORB-SLAM ble publisert og ble et felles grunnlag. Åpen forskning ble til deler i produkter.
Dagens kommersielle droner kan fly under bruer og innendørs takket være dette arbeidet.
Ovenfra ser ting små og skjeve ut
KI som er trent på bilder tatt fra bakken, sliter med utsikten ovenfra: mennesker blir prikker, og biler endrer form.
Datasett med flybilder, som VisDrone og DOTA, ble laget for å kunne trene KI som er spesiallaget for lufta.
Den som eier dataene, bestemmer hvor smart KI-en blir. Det har ikke endret seg i grunnmodellenes tid.
Sir Airffic GoForskjeller i KI handler ofte mer om hvor mye flydata du eier enn om algoritmer. Husk det til strategikapitlet.
Dagen da KI slo verdensmesterne
I 2023 slo en KI-drone kalt Swift, laget ved Universitetet i Zürich, verdensmestere i droneracing. Arbeidet ble publisert i Nature.
Swift beregnet posisjonen sin med bare et kamera og en IMU, og lærte å fly gjennom forsterkende læring – ved å øve mange ganger i en simulator.
Dette skjedde på en fast bane. Å klare det samme ute i den ekte lufta, med vær og hindringer som endrer seg, er fortsatt en uløst utfordring.
Droneracing på mesternivå med dyp forsterkende læring (UZH)
Kilder: [N124]
Neste bølge: se, resonnere og handle på ord
Fra rundt 2023 begynte store KI-modeller som håndterer bilder og språk sammen (grunnmodeller), å fungere som robothjerner.
Forskning på droner som følger muntlige beskjeder mens de forstår omgivelsene (navigasjon med syn og språk fra lufta), vokser.
Store modeller er tunge, og det er fortsatt vanskelig å kjøre dem raskt om bord. Derfor må brikkene – neste kapittel – leses sammen med dette.
Kilder: [N133]
Ofte stilte spørsmål
Hvilke jobber bruker datasyn for droner?
Vanlige eksempler er å finne sprekker i bruer og kraftledninger, sjekke hvordan avlinger har det, finne mennesker ved søk og redning, overvåke sikkerhet og trafikk og kontrollere leveringssteder.
Hva er visuell-inertiell odometri (VIO)?
En metode som kombinerer bevegelsen i bildet med IMU-ens målinger av akselerasjon og rotasjon for å regne ut hvor langt dronen har flyttet seg. Det er en grunnleggende teknologi for å fly uten GPS.