Sir Airffic GoMuito disso vem de artigos científicos, mas as palavras foram mantidas simples. Fica comigo.
Quatro etapas do entendimento
- Detecção: achar pessoas, carros e fios de energia numa imagem e desenhar caixas em volta deles.
- Rastreamento: acompanhar para onde um objeto encontrado vai depois.
- Autolocalização: calcular quanto e para onde você se moveu a partir do movimento da imagem mais a IMU (VIO: odometria visual-inercial).
- Entendimento e instrução: captar "verifique atrás da casa de telhado vermelho" e ligar as palavras ao que se vê (VLM: IA que lida com imagens e linguagem juntas).
Voar enquanto mapeia: SLAM e VIO
No fim dos anos 2000, laboratórios de universidades começaram a estimar a posição de um drone pequeno com uma câmera e uma IMU. Tudo começou aí.
Métodos como SVO, VINS-Mono e ORB-SLAM foram publicados e viraram bases compartilhadas. Pesquisa aberta virou peça de produto.
Os drones comerciais de hoje conseguem voar embaixo de pontes e dentro de prédios graças a esse trabalho acumulado.
Vistas de cima, as coisas parecem pequenas e tortas
Uma IA treinada com fotos tiradas do chão tem dificuldade com vistas de cima: pessoas viram pontinhos e carros mudam de forma.
Bancos de dados aéreos como VisDrone e DOTA foram criados para treinar uma IA própria para o céu.
Quem tem os dados define quão inteligente a IA fica. Isso não mudou na era dos modelos de base.
Sir Airffic GoA diferença entre IAs muitas vezes depende mais de quantos dados aéreos você tem do que dos algoritmos. Guarde isso para o capítulo de estratégia.
O dia em que a IA venceu os campeões humanos
Em 2023, um drone com IA chamado Swift, criado na Universidade de Zurique, venceu pilotos humanos campeões mundiais de corrida de drones. O trabalho foi publicado na revista Nature.
O Swift estimava sua posição só com uma câmera e uma IMU, e aprendeu a voar por aprendizado por reforço — treinando muitas e muitas vezes em simulação.
Isso foi numa pista fixa. Igualar essa habilidade no céu real, com tempo e obstáculos que mudam, ainda é um desafio em aberto.
Corrida de drones em nível de campeão com aprendizado por reforço profundo (UZH)
Evidências: [N124]
A próxima onda: ver, raciocinar e agir a partir de palavras
A partir de 2023, grandes modelos de IA que lidam com imagens e linguagem juntas (modelos de base) começaram a servir de cérebro para robôs.
Está crescendo a pesquisa com drones que seguem instruções faladas enquanto entendem a cena (navegação aérea por visão e linguagem).
Modelos grandes são pesados, e rodá-los rápido a bordo ainda é difícil. Por isso os chips — o próximo capítulo — precisam ser lidos junto.
Evidências: [N133]
Perguntas frequentes
Em que trabalhos se usa a visão computacional de drones?
Os usos comuns são detectar rachaduras em pontes e linhas de energia, checar a saúde das plantações, achar pessoas em busca e resgate, vigilância e monitoramento de trânsito, e verificar locais de entrega.
O que é odometria visual-inercial (VIO)?
Um método que combina o movimento da imagem com as medições de aceleração e rotação da IMU para calcular quanto o drone se moveu. É uma tecnologia básica para voar sem GPS.