Sir Airffic GoMycket av det här kommer från forskning, men orden hålls enkla. Häng med.
Fyra steg av förståelse
- Detektering: hitta människor, bilar och kraftledningar i en bild och rita rutor runt dem.
- Spårning: följa vart ett hittat föremål rör sig härnäst.
- Egen positionering: räkna ut hur långt och vart man har rört sig utifrån rörelsen i bilden plus IMU:n (VIO: visuell-inertial odometri).
- Förståelse och instruktioner: begripa ”kolla bakom huset med det röda taket” och koppla orden till det man ser (VLM: AI som hanterar bild och språk tillsammans).
Flyga och kartlägga samtidigt: SLAM och VIO
I slutet av 2000-talet började universitetslabb räkna ut en liten drönares position med en kamera och en IMU. Allt började där.
Metoder som SVO, VINS-Mono och ORB-SLAM publicerades och blev en gemensam grund. Öppen forskning blev delar i produkter.
Dagens drönare för yrkesbruk kan flyga under broar och inomhus tack vare det här samlade arbetet.
Uppifrån ser saker små och sneda ut
AI som tränats på foton tagna från marken har svårt med vyer ovanifrån: människor blir prickar och bilar ändrar form.
Datamängder med flygbilder som VisDrone och DOTA byggdes för att man skulle kunna träna AI särskilt för luften.
Den som äger datan formar hur smart AI:n blir. Det har inte ändrats i grundmodellernas tid.
Sir Airffic GoSkillnader i AI handlar ofta mer om hur mycket flygdata man äger än om algoritmer. Kom ihåg det till strategikapitlet.
Dagen då AI slog de mänskliga mästarna
År 2023 slog en AI-drönare vid namn Swift, byggd vid Zürichs universitet, världsmästare i drönarracing. Arbetet publicerades i Nature.
Swift räknade ut sin position med bara en kamera och en IMU, och lärde sig flyga genom förstärkningsinlärning – genom att öva många gånger i en simulator.
Det var på en fast bana. Att klara samma sak i den riktiga luften, med väder och hinder som ändras, är fortfarande en olöst utmaning.
Drönarracing på mästarnivå med djup förstärkningsinlärning (UZH)
Belägg: [N124]
Nästa våg: se, resonera och agera på ord
Från omkring 2023 började stora AI-modeller som hanterar bild och språk tillsammans (grundmodeller) fungera som hjärnor i robotar.
Forskningen om drönare som följer talade instruktioner och samtidigt förstår omgivningen (navigering med bild och språk i luften) växer.
Stora modeller är tunga, och att köra dem snabbt ombord är fortfarande svårt. Därför behöver du läsa nästa kapitel, om chip, samtidigt.
Belägg: [N133]
Vanliga frågor
Vilka jobb använder datorseende för drönare?
Vanliga användningar är att hitta sprickor på broar och kraftledningar, kontrollera hur grödor mår, hitta människor vid sök och räddning, bevakning och trafikövervakning samt kontroll av leveransplatser.
Vad är visuell-inertial odometri (VIO)?
En metod som kombinerar rörelsen i bilden med IMU:ns mätningar av acceleration och rotation för att räkna ut hur långt drönaren har rört sig. Det är en grundteknik för att flyga utan GPS.