Sir Airffic GoMoito disto vén de artigos científicos, pero as palabras son sinxelas. Ven comigo.
Catro etapas para entender
- Detección: atopar persoas, coches e cables eléctricos nunha imaxe e debuxar unha caixa arredor deles.
- Seguimento: seguir cara a onde se move despois o obxecto atopado.
- Autolocalización: calcular canto e cara a onde te moviches a partir do movemento da imaxe e da IMU (VIO: odometría visual-inercial).
- Entender ordes: comprender "revisa detrás da casa do tellado vermello" e unir as palabras co que ves (VLM: IA que traballa con imaxes e linguaxe á vez).
Voar mentres fas o mapa: SLAM e VIO
A finais dos anos 2000, laboratorios universitarios empezaron a calcular a posición dun dron pequeno cunha cámara e unha IMU. Todo comezou aí.
Publicáronse métodos como SVO, VINS-Mono e ORB-SLAM, que se converteron en bases compartidas. A investigación aberta transformouse en pezas de produtos.
Os drons comerciais de hoxe poden voar baixo as pontes e en interiores grazas a todo ese traballo acumulado.
Desde arriba, as cousas parecen pequenas e torcidas
Unha IA adestrada con fotos feitas a ras de chan ten problemas coas vistas desde arriba: as persoas vólvense puntos e os coches cambian de forma.
Creáronse conxuntos de datos aéreos como VisDrone e DOTA para poder adestrar IA específica para o ceo.
Quen ten os datos decide ata onde chega a intelixencia da IA. Iso non cambiou na época dos modelos fundacionais.
Sir Airffic GoAs diferenzas entre IA adoitan depender máis de cantos datos aéreos tes que dos algoritmos. Lémbrao para o capítulo de estratexia.
O día en que a IA gañou aos campións humanos
En 2023 un dron con IA chamado Swift, feito na Universidade de Zúric, gañou aos campións mundiais humanos de carreiras de drons. O traballo publicouse na revista Nature.
Swift calculaba a súa posición só cunha cámara e unha IMU, e aprendeu a voar por aprendizaxe por reforzo: practicando moitísimas veces nunha simulación.
Foi nun circuíto fixo. Acadar esa habilidade no ceo real, con tempo cambiante e obstáculos, aínda é un reto aberto.
Carreiras de drons a nivel de campión con aprendizaxe por reforzo profunda (UZH)
Probas: [N124]
A próxima onda: ver, razoar e actuar con palabras
Desde arredor de 2023, grandes modelos de IA que traballan con imaxes e linguaxe á vez (modelos fundacionais) empezaron a servir de cerebro para robots.
Medra a investigación sobre drons que seguen ordes faladas mentres entenden a escena (navegación aérea con visión e linguaxe).
Os modelos grandes son pesados, e facelos funcionar rápido a bordo aínda é difícil. Por iso hai que ler xunto a isto o capítulo seguinte, o dos chips.
Probas: [N133]
Preguntas frecuentes
En que traballos se usa a visión artificial dos drons?
Usos habituais son detectar fendas en pontes e liñas eléctricas, revisar a saúde dos cultivos, atopar persoas en busca e rescate, a vixilancia e o control do tráfico, e comprobar os lugares de entrega.
Que é a odometría visual-inercial (VIO)?
Un método que combina o movemento da imaxe coas medidas de aceleración e xiro da IMU para calcular canto se moveu o dron. É unha tecnoloxía básica para voar sen GPS.