Sir Airffic GoГолем дел од ова доаѓа од научни трудови, но зборовите се едноставни. Остани со мене.
Четири фази на разбирање
- Детекција: најди луѓе, автомобили и далноводи на сликата и нацртај рамки околу нив.
- Следење: следи каде ќе се движи пронајдениот објект понатаму.
- Самолоцирање: пресметај колку и каде си се поместил, од движењето на сликата и од IMU (VIO: визуелно-инерцијална одометрија).
- Разбирање и упатства: сфати „провери зад куќата со црвениот покрив“ и поврзи ги зборовите со она што го гледаш (VLM: ВИ што работи со слика и јазик заедно).
Летање додека правиш мапа: SLAM и VIO
Кон крајот на 2000-тите, универзитетски лаборатории почнаа да ја проценуваат положбата на мал дрон со една камера и IMU. Сè започна таму.
Беа објавени методи како SVO, VINS-Mono и ORB-SLAM и станаа заеднички темели. Отвореното истражување се претвори во делови за производи.
Денешните професионални дронови можат да летаат под мостови и во затворени простори благодарение на оваа натрупана работа.
Одозгора, нештата изгледаат мали и искривени
ВИ обучена на фотографии од земја тешко се снаоѓа со поглед одозгора: луѓето стануваат точки, а автомобилите го менуваат обликот.
Збирките податоци од воздух, како VisDrone и DOTA, беа направени за да може да се обучи ВИ специјално за небото.
Кој ги поседува податоците, тој одредува колку паметна ќе стане ВИ. Тоа не се смени ниту во ерата на фундаменталните модели.
Sir Airffic GoРазликите меѓу ВИ-системите често зависат повеќе од тоа колку податоци од воздух поседуваш отколку од алгоритмите. Запомни го ова за поглавјето за стратегија.
Денот кога ВИ ги победи човечките шампиони
Во 2023 година ВИ-дрон наречен Swift, направен на Универзитетот во Цирих, ги победи светските шампиони во трки со дронови. Работата беше објавена во списанието Nature.
Swift ја проценуваше својата положба само со камера и IMU, а летањето го научи со учење со поттикнување (reinforcement learning) — вежбајќи многу пати во симулација.
Ова беше на фиксна патека. Таа вештина да се постигне на вистинското небо, со променливо време и пречки, сè уште е отворен предизвик.
Трки со дронови на шампионско ниво со длабоко учење со поттикнување (UZH)
Докази: [N124]
Следниот бран: гледа, расудува и дејствува според зборови
Од околу 2023 година, големите ВИ-модели што работат со слика и јазик заедно (фундаментални модели) почнаа да служат како мозок на роботите.
Расте истражувањето за дронови што следат изговорени упатства додека ја разбираат сцената (воздушна навигација со слика и јазик).
Големите модели се тешки, а нивното брзо извршување на самото летало е сè уште тешко. Затоа чиповите — следното поглавје — мора да се читаат заедно со ова.
Докази: [N133]
Често поставувани прашања
За кои работи се користи компјутерската визија кај дроновите?
Вообичаени примени се откривање пукнатини на мостови и далноводи, проверка на здравјето на посевите, наоѓање луѓе при пребарување и спасување, обезбедување и следење на сообраќајот, и проверка на местата за достава.
Што е визуелно-инерцијална одометрија (VIO)?
Метод што го комбинира движењето на сликата со мерењата на IMU за забрзување и вртење, за да пресмета колку се поместил дронот. Тоа е основна технологија за летање без GPS.