Sir Airffic GoVeel hiervan komt uit wetenschappelijke papers, maar de woorden blijven simpel. Blijf bij me.
Vier fasen van begrijpen
- Detectie: mensen, auto's en hoogspanningskabels in een beeld vinden en er een kader omheen tekenen.
- Tracking: volgen waar een gevonden object daarna naartoe beweegt.
- Zelflokalisatie: uit de beweging in het beeld plus de IMU uitrekenen hoe ver en waarheen je bent gegaan (VIO: visueel-inertiële odometrie).
- Begrijpen en opdrachten: snappen wat "kijk achter het huis met het rode dak" betekent en de woorden koppelen aan wat je ziet (VLM: AI die beeld en taal samen verwerkt).
Vliegen terwijl je een kaart maakt: SLAM en VIO
Eind jaren 2000 begonnen universiteitslabs de positie van een kleine drone te schatten met één camera en een IMU. Daar begon alles.
Methodes zoals SVO, VINS-Mono en ORB-SLAM werden gepubliceerd en werden een gedeelde basis. Open onderzoek werd zo onderdeel van producten.
Dankzij al dit werk kunnen zakelijke drones nu onder bruggen en binnen vliegen.
Van bovenaf zien dingen er klein en scheef uit
AI die is getraind op foto's vanaf de grond heeft moeite met beelden van bovenaf: mensen worden stipjes en auto's veranderen van vorm.
Datasets met luchtbeelden, zoals VisDrone en DOTA, werden gemaakt om AI speciaal voor de lucht te trainen.
Wie de data bezit, bepaalt hoe slim de AI wordt. Dat is in het tijdperk van foundation models niet veranderd.
Sir Airffic GoVerschillen in AI komen vaak meer neer op hoeveel luchtdata je hebt dan op de algoritmes. Onthoud dit voor het hoofdstuk over strategie.
De dag dat AI de menselijke kampioenen versloeg
In 2023 versloeg een AI-drone genaamd Swift, gebouwd aan de Universiteit van Zürich, menselijke wereldkampioenen droneracen. Het werk verscheen in Nature.
Swift schatte zijn positie met alleen een camera en een IMU, en leerde vliegen via reinforcement learning – heel vaak oefenen in een simulatie.
Dit was op een vast parcours. Dezelfde vaardigheid in de echte lucht, met wisselend weer en obstakels, is nog een open uitdaging.
Droneracen op kampioensniveau met deep reinforcement learning (UZH)
Bewijs: [N124]
De volgende golf: zien, nadenken en handelen op woorden
Vanaf ongeveer 2023 begonnen grote AI-modellen die beeld en taal samen verwerken (foundation models) te dienen als brein voor robots.
Onderzoek naar drones die gesproken opdrachten volgen en tegelijk de omgeving begrijpen (navigatie met beeld en taal in de lucht) groeit.
Grote modellen zijn zwaar, en ze snel aan boord laten draaien is nog lastig. Daarom moet je het volgende hoofdstuk over chips erbij lezen.
Bewijs: [N133]
Veelgestelde vragen
Voor welk werk wordt computervisie voor drones gebruikt?
Scheuren vinden in bruggen en hoogspanningskabels, de gezondheid van gewassen controleren, mensen vinden bij zoek- en reddingswerk, beveiliging en verkeerstoezicht, en bezorgplekken controleren zijn veelvoorkomende toepassingen.
Wat is visueel-inertiële odometrie (VIO)?
Een methode die de beweging in het beeld combineert met de metingen van de IMU (versnelling en draaiing) om te berekenen hoe ver de drone is gegaan. Het is een basistechniek om zonder GPS te vliegen.