Sir Airffic GoМного тога потиче из научних радова, али речи су једноставне. Остани са мном.
Четири фазе разумевања
- Детекција: пронађи људе, аутомобиле и далеководе на слици и уоквири их.
- Праћење: прати куда се пронађени објекат даље креће.
- Самолокализација: из кретања слике и података IMU-а израчунај колико си се и куда померио (VIO: визуелно-инерцијална одометрија).
- Разумевање и упутства: схвати „провери иза куће са црвеним кровом“ и повежи речи са оним што видиш (VLM: ВИ која истовремено обрађује слике и језик).
Летење уз прављење мапе: SLAM и VIO
Крајем 2000-их универзитетске лабораторије почеле су да процењују положај малог дрона помоћу једне камере и IMU-а. Све је почело ту.
Објављене су методе као што су SVO, VINS-Mono и ORB-SLAM и постале заједнички темељи. Отворена истраживања претворила су се у делове производа.
Данашњи комерцијални дронови могу да лете испод мостова и у затвореном захваљујући том нагомиланом раду.
Одозго ствари изгледају мале и искривљене
ВИ обучена на фотографијама снимљеним са земље тешко се сналази са погледом одозго: људи постају тачкице, а аутомобили мењају облик.
Скупови података из ваздуха, као што су VisDrone и DOTA, направљени су да би се обучавала ВИ прилагођена небу.
Ко поседује податке, тај обликује колико ће ВИ бити паметна. То се није променило ни у ери базних модела.
Sir Airffic GoРазлике у ВИ често више зависе од тога колико података из ваздуха поседујеш него од алгоритама. Запамти ово за поглавље о стратегији.
Дан када је ВИ победила светске шампионе
Године 2023. ВИ дрон по имену Swift, направљен на Универзитету у Цириху, победио је светске шампионе у тркама дронова. Рад је објављен у часопису Nature.
Swift је процењивао свој положај само помоћу камере и IMU-а, а летење је научио учењем поткрепљивањем — вежбајући много пута у симулацији.
То је било на унапред познатој стази. Достићи такву вештину на правом небу, уз промењиво време и препреке, и даље је отворен изазов.
Тркање дронова на нивоу шампиона уз дубоко учење поткрепљивањем (UZH)
Докази: [N124]
Следећи талас: види, расуђуј и делуј по речима
Од око 2023. велики ВИ модели који истовремено обрађују слике и језик (базни модели) почели су да служе као мозак робота.
Расту истраживања у којима дронови прате изговорена упутства и разумеју призор (навигација уз вид и језик из ваздуха).
Велики модели су тешки и још је тешко брзо их покретати на летелици. Зато чипове — следеће поглавље — треба читати упоредо.
Докази: [N133]
Често постављана питања
За које послове се користи рачунарски вид дронова?
Уобичајене примене су откривање пукотина на мостовима и далеководима, провера стања усева, проналажење људи у потрази и спасавању, обезбеђење и праћење саобраћаја, као и провера места доставе.
Шта је визуелно-инерцијална одометрија (VIO)?
Метод који комбинује кретање слике са мерењима убрзања и окретања из IMU-а да би израчунао колико се дрон померио. То је основна технологија за летење без GPS-а.