Sir Airffic GoMolto di questo viene da studi scientifici, ma le parole restano semplici. Resta con me.
Le quattro fasi del capire
- Rilevamento: trovare persone, auto e linee elettriche in un'immagine e disegnarci intorno dei riquadri.
- Tracciamento: seguire dove si sposta poi l'oggetto trovato.
- Localizzazione di sé: calcolare quanto e dove ti sei spostato usando il movimento nelle immagini più l'IMU (VIO: odometria visivo-inerziale).
- Comprensione e istruzioni: capire «controlla dietro la casa con il tetto rosso» e collegare le parole a quello che vedi (VLM: IA che lavora insieme su immagini e linguaggio).
Volare mentre si fa la mappa: SLAM e VIO
Alla fine degli anni 2000 i laboratori universitari iniziarono a stimare la posizione di un piccolo drone con una sola telecamera e un'IMU. Tutto è cominciato lì.
Metodi come SVO, VINS-Mono e ORB-SLAM furono pubblicati e diventarono basi comuni. La ricerca aperta si è trasformata in componenti di prodotti.
Se oggi i droni professionali riescono a volare sotto i ponti e al chiuso, è grazie a questo lavoro accumulato.
Dall'alto le cose sembrano piccole e storte
Un'IA addestrata con foto scattate da terra fa fatica con le viste dall'alto: le persone diventano puntini e le auto cambiano forma.
Per addestrare un'IA specifica per il cielo sono stati creati dataset aerei (raccolte di immagini) come VisDrone e DOTA.
Chi possiede i dati decide quanto diventa intelligente l'IA. Questo non è cambiato nemmeno nell'era dei modelli fondazionali.
Sir Airffic GoSpesso la differenza tra due IA dipende da quanti dati aerei possiedi, più che dagli algoritmi. Ricordatelo per il capitolo sulla strategia.
Il giorno in cui l'IA batté i campioni umani
Nel 2023 un drone con IA chiamato Swift, costruito all'Università di Zurigo, ha battuto i campioni del mondo umani delle corse di droni. Il lavoro è stato pubblicato su Nature.
Swift stimava la propria posizione solo con una telecamera e un'IMU, e ha imparato a volare con l'apprendimento per rinforzo, cioè allenandosi tantissime volte in simulazione.
Era però un percorso fisso. Avere la stessa abilità nel cielo vero, con meteo e ostacoli che cambiano, è ancora una sfida aperta.
Corse di droni a livello di campioni con l'apprendimento per rinforzo profondo (UZH)
Prove: [N124]
La prossima ondata: vedere, ragionare e agire a parole
Dal 2023 circa, grandi modelli di IA che lavorano insieme su immagini e linguaggio (modelli fondazionali) hanno iniziato a fare da cervello ai robot.
Cresce la ricerca su droni che seguono istruzioni a voce mentre capiscono la scena (navigazione aerea visione-linguaggio).
I modelli grandi sono pesanti, e farli girare veloci a bordo è ancora difficile. Per questo va letto insieme il prossimo capitolo, quello sui chip.
Prove: [N133]
Domande frequenti
In quali lavori si usa la visione artificiale dei droni?
Gli usi più comuni sono: trovare crepe su ponti e linee elettriche, controllare la salute delle colture, cercare persone nelle operazioni di soccorso, sorveglianza e monitoraggio del traffico, e verificare i luoghi di consegna.
Che cos'è l'odometria visivo-inerziale (VIO)?
Un metodo che combina il movimento nelle immagini con le misure di accelerazione e rotazione dell'IMU per calcolare quanto si è spostato il drone. È una tecnologia di base per volare senza GPS.