Sir Airffic GoMolt d'això ve d'articles de recerca, però les paraules són senzilles. Queda't amb mi.
Quatre etapes d'entendre
- Detecció: trobar persones, cotxes i línies elèctriques en una imatge i dibuixar-hi una caixa al voltant.
- Seguiment: seguir cap a on es mou després un objecte trobat.
- Autolocalització: calcular quant i cap a on t'has mogut a partir del moviment de la imatge i l'IMU (VIO: odometria visual-inercial).
- Comprensió i instruccions: entendre «revisa la part de darrere de la casa del sostre vermell» i relacionar les paraules amb el que veus (VLM: IA que treballa alhora amb imatges i llenguatge).
Volar mentre fas el mapa: SLAM i VIO
Cap al final de la dècada del 2000, laboratoris universitaris van començar a calcular la posició d'un dron petit amb una càmera i un IMU. Tot va començar aquí.
Es van publicar mètodes com SVO, VINS-Mono i ORB-SLAM, que es van convertir en bases compartides. La recerca oberta es va transformar en peces de producte.
Avui els drons professionals poden volar sota els ponts i a dins dels edificis gràcies a tota aquesta feina acumulada.
Des de dalt, les coses es veuen petites i deformades
Una IA entrenada amb fotos fetes des de terra té problemes amb les vistes des de dalt: les persones es tornen punts i els cotxes canvien de forma.
Per entrenar una IA pensada per al cel es van crear conjunts de dades aèries com VisDrone i DOTA.
Qui té les dades decideix com d'intel·ligent es torna la IA. Això no ha canviat en l'era dels models fundacionals.
Sir Airffic GoSovint la diferència entre IA depèn més de quantes dades aèries tens que no pas dels algorismes. Recorda-ho per al capítol d'estratègia.
El dia que la IA va guanyar els campions humans
El 2023, un dron amb IA anomenat Swift, creat a la Universitat de Zuric, va guanyar campions del món humans de curses de drons. La recerca es va publicar a Nature.
Swift calculava la seva posició només amb una càmera i un IMU, i va aprendre a volar amb aprenentatge per reforç: practicant moltíssimes vegades en simulació.
Era en un circuit fix. Arribar a aquest nivell al cel real, amb el temps i els obstacles canviant, encara és un repte obert.
Curses de drons de nivell campió amb aprenentatge per reforç profund (UZH)
Proves: [N124]
La propera onada: veure, raonar i actuar amb paraules
Des del 2023, aproximadament, grans models d'IA que treballen alhora amb imatges i llenguatge (models fundacionals) han començat a fer de cervell dels robots.
Creix la recerca en drons que segueixen instruccions parlades mentre entenen l'escena (navegació aèria amb visió i llenguatge).
Els models grans pesen molt, i fer-los anar ràpid a bord encara és difícil. Per això cal llegir també el capítol següent, sobre els xips.
Proves: [N133]
Preguntes freqüents
En quines feines s'utilitza la visió artificial dels drons?
Usos habituals: detectar esquerdes en ponts i línies elèctriques, revisar la salut dels conreus, trobar persones en cerca i rescat, vigilar la seguretat i el trànsit i comprovar els llocs de lliurament.
Què és l'odometria visual-inercial (VIO)?
Un mètode que combina el moviment de la imatge amb les mesures d'acceleració i gir de l'IMU per calcular quant s'ha mogut el dron. És una tecnologia bàsica per volar sense GPS.