Sir Airffic GoГоляма част от това идва от научни статии, но думите са прости. Остани с мен.
Четири етапа на разбирането
- Разпознаване: намира хора, коли и електропроводи в образа и ги огражда с рамки.
- Проследяване: следи накъде се движи намереният обект.
- Самолокализация: изчислява колко и накъде се е преместил дронът от движението в образа плюс IMU (VIO: визуално-инерциална одометрия).
- Разбиране и указания: схваща „провери зад къщата с червения покрив“ и свързва думите с видяното (VLM: ИИ, който обработва образи и език заедно).
Полет с правене на карта: SLAM и VIO
В края на 2000-те университетски лаборатории започнаха да определят позицията на малък дрон само с една камера и IMU. Оттам започна всичко.
Бяха публикувани методи като SVO, VINS-Mono и ORB-SLAM и те станаха обща основа. Отворените изследвания се превърнаха в части на продукти.
Днешните професионални дронове могат да летят под мостове и на закрито благодарение на тази натрупана работа.
Отгоре нещата изглеждат малки и изкривени
ИИ, обучен на снимки от земята, се затруднява с изглед отгоре: хората стават точки, а колите променят формата си.
Затова бяха създадени въздушни набори от данни като VisDrone и DOTA — за да се обучава ИИ, специално за небето.
Който притежава данните, определя колко умен ще стане ИИ. Това не се промени и в ерата на базовите модели.
Sir Airffic GoРазликите между ИИ системите често зависят повече от това колко въздушни данни имаш, отколкото от алгоритмите. Запомни това за главата за стратегията.
Денят, в който ИИ победи световните шампиони
През 2023 г. ИИ дрон на име Swift, създаден в Цюрихския университет, победи световни шампиони по дрон състезания. Работата беше публикувана в Nature.
Swift определяше позицията си само с камера и IMU и се научи да лети чрез обучение с подкрепление — като тренираше много пъти в симулация.
Това беше на фиксирана писта. Да се постигне същото умение в истинското небе, с променливо време и препятствия, още е открито предизвикателство.
Дрон състезания на ниво шампион с дълбоко обучение с подкрепление (UZH)
Доказателства: [N124]
Следващата вълна: вижда, разсъждава и действа по думи
Около 2023 г. големи ИИ модели, които обработват образи и език заедно (базови модели), започнаха да служат за мозък на роботи.
Расте броят на изследванията за дронове, които следват устни указания и същевременно разбират сцената (въздушна навигация с образ и език).
Големите модели са тежки и бързото им пускане на борда още е трудно. Затова трябва да се чете и следващата глава — за чиповете.
Доказателства: [N133]
Често задавани въпроси
В кои дейности се използва компютърно зрение за дронове?
Откриване на пукнатини по мостове и електропроводи, проверка на състоянието на посевите, намиране на хора при издирване и спасяване, охрана и наблюдение на трафика, както и проверка на мястото за доставка.
Какво е визуално-инерциална одометрия (VIO)?
Метод, който съчетава движението в образа с измерванията на IMU за ускорение и въртене, за да изчисли колко се е преместил дронът. Основна технология за полет без GPS.