Sir Airffic GoМногое здесь взято из научных статей, но слова простые. Держись рядом.
Четыре этапа понимания
- Детекция: найти на изображении людей, машины и провода и обвести их рамками.
- Трекинг: следить, куда найденный объект двигается дальше.
- Самолокализация: по движению картинки и данным IMU понять, куда и насколько ты сместился (VIO — визуально-инерциальная одометрия).
- Понимание и задания: понять фразу «проверь за домом с красной крышей» и связать слова с тем, что видишь (VLM — ИИ, который работает с картинками и языком одновременно).
Лететь и строить карту: SLAM и VIO
В конце 2000-х университетские лаборатории начали определять положение маленького дрона с помощью одной камеры и IMU. С этого всё и началось.
Были опубликованы методы вроде SVO, VINS-Mono и ORB-SLAM, и они стали общей основой. Открытые исследования превратились в детали продуктов.
Сегодня коммерческие дроны летают под мостами и в помещениях именно благодаря этой накопленной работе.
Сверху всё выглядит мелким и искажённым
ИИ, обученному на фото с земли, трудно с видом сверху: люди превращаются в точки, а машины меняют форму.
Поэтому создали наборы аэроснимков, например VisDrone и DOTA, — чтобы обучать ИИ, понимающий небо.
Кто владеет данными, тот определяет, насколько умным станет ИИ. В эпоху базовых моделей это не изменилось.
Sir Airffic GoРазрыв между ИИ часто зависит не столько от алгоритмов, сколько от того, сколько у тебя аэроданных. Запомни это для главы о стратегии.
День, когда ИИ обыграл чемпионов-людей
В 2023 году ИИ-дрон Swift, созданный в Цюрихском университете, победил чемпионов мира по дрон-рейсингу среди людей. Работа вышла в журнале Nature.
Swift определял своё положение только по камере и IMU, а летать научился с помощью обучения с подкреплением — тренируясь много раз в симуляции.
Это было на фиксированной трассе. Повторить такое мастерство в настоящем небе, где меняются погода и препятствия, — пока нерешённая задача.
Гонки дронов чемпионского уровня с глубоким обучением с подкреплением (UZH)
Доказательства: [N124]
Следующая волна: видеть, рассуждать и действовать по словам
Примерно с 2023 года большие модели ИИ, работающие с картинками и языком вместе (базовые модели), начали служить «мозгом» роботов.
Растёт число исследований, где дрон выполняет голосовые указания и при этом понимает сцену (навигация по зрению и языку в воздухе).
Большие модели тяжёлые, и быстро запускать их на борту пока трудно. Поэтому следующую главу — про чипы — стоит читать вместе с этой.
Доказательства: [N133]
Частые вопросы
В каких работах используют компьютерное зрение дронов?
Чаще всего — для поиска трещин на мостах и ЛЭП, проверки состояния посевов, поиска людей при спасательных операциях, охраны и наблюдения за дорожным движением, а также для проверки мест доставки.
Что такое визуально-инерциальная одометрия (VIO)?
Это метод, который объединяет движение картинки с измерениями ускорения и вращения от IMU, чтобы вычислить, насколько сместился дрон. Это базовая технология для полётов без GPS.