Sir Airffic GoVieles hier stammt aus Forschungsarbeiten, aber ich halte die Worte einfach. Bleib dran.
Vier Stufen des Verstehens
- Erkennung: Menschen, Autos und Stromleitungen in einem Bild finden und Kästchen um sie zeichnen.
- Verfolgung: beobachten, wohin sich ein gefundenes Objekt als Nächstes bewegt.
- Selbstortung: aus der Bewegung im Bild und der IMU berechnen, wie weit und wohin man sich bewegt hat (VIO: visuell-inertiale Odometrie).
- Verstehen und Anweisung: „Schau hinter dem Haus mit dem roten Dach nach“ begreifen und die Worte mit dem Gesehenen verbinden (VLM: KI, die Bilder und Sprache zusammen verarbeitet).
Fliegen und dabei kartieren: SLAM und VIO
Ende der 2000er-Jahre begannen Labore an Universitäten, die Position einer kleinen Drohne mit einer Kamera und einer IMU zu schätzen. Dort fing alles an.
Verfahren wie SVO, VINS-Mono und ORB-SLAM wurden veröffentlicht und zu einer gemeinsamen Grundlage. Offene Forschung wurde zu Bauteilen für Produkte.
Dass heutige gewerbliche Drohnen unter Brücken und in Gebäuden fliegen können, verdanken sie dieser gesammelten Arbeit.
Von oben sehen Dinge klein und verzerrt aus
KI, die mit Fotos vom Boden trainiert wurde, tut sich mit Blicken von oben schwer: Menschen werden zu Punkten, Autos sehen anders aus.
Datensätze mit Luftbildern wie VisDrone und DOTA wurden gebaut, damit man KI speziell für den Himmel trainieren kann.
Wer die Daten besitzt, bestimmt, wie schlau die KI wird. Daran hat sich auch im Zeitalter der Foundation Models nichts geändert.
Sir Airffic GoUnterschiede bei KI hängen oft mehr davon ab, wie viele Luftbild-Daten man besitzt, als von den Algorithmen. Merk dir das für das Strategie-Kapitel.
Der Tag, an dem KI die menschlichen Champions schlug
2023 schlug eine KI-Drohne namens Swift, gebaut an der Universität Zürich, menschliche Weltmeister im Drohnenrennen. Die Arbeit erschien in der Fachzeitschrift Nature.
Swift schätzte seine Position nur mit einer Kamera und einer IMU und lernte das Fliegen durch bestärkendes Lernen (Reinforcement Learning) – also durch sehr viel Üben in einer Simulation.
Das war auf einer festen Strecke. Dieses Können am echten Himmel zu zeigen, mit wechselndem Wetter und Hindernissen, ist noch eine offene Aufgabe.
Drohnenrennen auf Weltmeister-Niveau mit Deep Reinforcement Learning (UZH)
Belege: [N124]
Die nächste Welle: sehen, nachdenken und nach Worten handeln
Ab etwa 2023 begannen große KI-Modelle, die Bilder und Sprache zusammen verarbeiten (Foundation Models), als Gehirn von Robotern zu dienen.
Die Forschung an Drohnen, die gesprochenen Anweisungen folgen und dabei die Szene verstehen (Navigation mit Bild und Sprache in der Luft), wächst.
Große Modelle sind schwer, und sie schnell an Bord laufen zu lassen, ist noch schwierig. Darum solltest du das nächste Kapitel über Chips gleich mitlesen.
Belege: [N133]
Häufige Fragen
Für welche Arbeiten wird Bilderkennung bei Drohnen genutzt?
Häufig sind: Risse an Brücken und Stromleitungen finden, den Zustand von Feldern prüfen, Menschen bei Such- und Rettungseinsätzen finden, Sicherheits- und Verkehrsüberwachung und das Prüfen von Lieferorten.
Was ist visuell-inertiale Odometrie (VIO)?
Ein Verfahren, das die Bewegung im Bild mit den Messwerten der IMU zu Beschleunigung und Drehung verbindet, um zu berechnen, wie weit sich die Drohne bewegt hat. Es ist eine Grundtechnik für das Fliegen ohne GPS.