Sir Airffic GoBeaucoup de choses ici viennent d’articles de recherche, mais les mots restent simples. Reste avec moi.
Quatre étapes de compréhension
- Détection : trouver des personnes, des voitures et des lignes électriques dans une image et les entourer d’un cadre.
- Suivi : suivre où un objet trouvé se déplace ensuite.
- Localisation de soi : calculer de combien et vers où on s’est déplacé, à partir du mouvement de l’image et de l’IMU (VIO : odométrie visuelle-inertielle).
- Compréhension et instructions : saisir « va voir derrière la maison au toit rouge » et relier les mots à ce qu’on voit (VLM : IA qui traite ensemble les images et le langage).
Voler en cartographiant : SLAM et VIO
À la fin des années 2000, des laboratoires universitaires ont commencé à estimer la position d’un petit drone avec une seule caméra et une IMU. Tout est parti de là.
Des méthodes comme SVO, VINS-Mono et ORB-SLAM ont été publiées et sont devenues des bases communes. La recherche ouverte s’est transformée en composants de produits.
Si les drones professionnels d’aujourd’hui peuvent voler sous les ponts et en intérieur, c’est grâce à ce travail accumulé.
Vu d’en haut, tout paraît petit et déformé
Une IA entraînée sur des photos prises au sol a du mal avec les vues d’en haut : les personnes deviennent des points et les voitures changent de forme.
Des jeux de données aériennes comme VisDrone et DOTA ont été créés pour entraîner une IA spécialisée dans le ciel.
Celui qui possède les données décide de l’intelligence de l’IA. Cela n’a pas changé à l’ère des modèles de fondation.
Sir Airffic GoLes écarts entre IA viennent souvent de la quantité de données aériennes qu’on possède, plus que des algorithmes. Retiens-le pour le chapitre stratégie.
Le jour où l’IA a battu les champions humains
En 2023, un drone piloté par une IA appelé Swift, créé à l’Université de Zurich, a battu des champions du monde humains de course de drones. Les travaux ont été publiés dans Nature.
Swift estimait sa position avec seulement une caméra et une IMU, et il a appris à voler par apprentissage par renforcement, en s’entraînant de très nombreuses fois en simulation.
C’était sur un parcours fixe. Atteindre ce niveau dans le vrai ciel, avec une météo et des obstacles qui changent, reste un défi ouvert.
Course de drones de niveau champion grâce à l’apprentissage par renforcement profond (UZH)
Sources: [N124]
La prochaine vague : voir, raisonner et agir sur des mots
À partir de 2023 environ, de grands modèles d’IA qui traitent ensemble images et langage (modèles de fondation) ont commencé à servir de cerveau aux robots.
La recherche sur des drones qui suivent des instructions orales tout en comprenant la scène (navigation aérienne vision-langage) se développe.
Les grands modèles sont lourds, et les faire tourner vite à bord reste difficile. C’est pourquoi il faut lire en parallèle le chapitre suivant, sur les puces.
Sources: [N133]
Questions fréquentes
Quels métiers utilisent la vision par ordinateur des drones ?
Détection de fissures sur les ponts et les lignes électriques, contrôle de la santé des cultures, recherche de personnes lors des secours, surveillance de sécurité et du trafic, vérification des lieux de livraison : ce sont des usages courants.
Qu’est-ce que l’odométrie visuelle-inertielle (VIO) ?
Une méthode qui combine le mouvement de l’image avec les mesures d’accélération et de rotation de l’IMU pour calculer de combien le drone s’est déplacé. C’est une technologie de base pour voler sans GPS.