Sir Airffic GoБагато що тут узято з наукових статей, але слова прості. Тримайся мене.
Чотири етапи розуміння
- Виявлення: знайти на зображенні людей, авто й лінії електропередач і обвести їх рамками.
- Стеження (трекінг): стежити, куди далі рухається знайдений об’єкт.
- Самолокалізація: з’ясувати, куди і як далеко ти перемістився, за рухом зображення та даними IMU (VIO: візуально-інерціальна одометрія).
- Розуміння й інструкції: зрозуміти «перевір, що за будинком із червоним дахом» і зв’язати слова з побаченим (VLM: ШІ, що працює із зображеннями й мовою водночас).
Летіти й водночас будувати карту: SLAM і VIO
Наприкінці 2000-х університетські лабораторії почали визначати положення маленького дрона за допомогою однієї камери та IMU. З цього все й почалося.
Були опубліковані методи на кшталт SVO, VINS-Mono та ORB-SLAM, і вони стали спільною основою. Відкриті дослідження перетворилися на складники продуктів.
Сучасні комерційні дрони можуть літати під мостами й у приміщеннях саме завдяки цій накопиченій роботі.
Згори все здається маленьким і перекошеним
ШІ, навчений на фото, знятих із землі, погано справляється з видом згори: люди стають крапками, а машини змінюють форму.
Набори аерознімків, як-от VisDrone і DOTA, створили, щоб навчати ШІ саме для неба.
Хто володіє даними, той визначає, наскільки розумним стане ШІ. В епоху базових моделей це не змінилося.
Sir Airffic GoРізниця між ШІ часто зводиться не до алгоритмів, а до того, скільки аероданих у тебе є. Запам’ятай це для розділу про стратегію.
День, коли ШІ переміг чемпіонів-людей
У 2023 році ШІ-дрон Swift, створений в Університеті Цюриха, переміг людей — чемпіонів світу з дрон-перегонів. Роботу опублікували в журналі Nature.
Swift визначав своє положення лише за камерою та IMU, а літати навчився за допомогою навчання з підкріпленням — багато разів тренуючись у симуляції.
Це було на фіксованій трасі. Повторити таку майстерність у справжньому небі, де змінюються погода й перешкоди, — досі відкрите завдання.
Дрон-перегони на рівні чемпіонів завдяки глибокому навчанню з підкріпленням (UZH)
Докази: [N124]
Наступна хвиля: бачити, міркувати й діяти за словами
Приблизно з 2023 року великі моделі ШІ, що працюють із зображеннями й мовою водночас (базові моделі), почали служити мозком роботів.
Зростає кількість досліджень дронів, які виконують усні інструкції й водночас розуміють сцену (повітряна навігація «зір + мова»).
Великі моделі важкі, і швидко запускати їх на борту досі складно. Тому разом із цим варто читати наступний розділ — про чипи.
Докази: [N133]
Часті запитання
У яких роботах використовують комп’ютерний зір дронів?
Пошук тріщин на мостах і лініях електропередач, перевірка стану посівів, пошук людей під час рятувальних операцій, охорона й моніторинг руху, перевірка місць доставки — найпоширеніші застосування.
Що таке візуально-інерціальна одометрія (VIO)?
Метод, що поєднує рух зображення з вимірами прискорення й обертання від IMU, щоб обчислити, наскільки перемістився дрон. Це базова технологія для польотів без GPS.