Sir Airffic GoБұның көбі ғылыми мақалалардан алынған, бірақ сөздер қарапайым. Менімен бірге бол.
Түсінудің төрт кезеңі
- Детекция: суреттен адамдарды, көліктерді және электр сымдарын тауып, айналасына қорап сызу.
- Трекинг: табылған заттың әрі қарай қайда қозғалатынын қадағалау.
- Өз орнын анықтау: суреттегі қозғалыс пен IMU арқылы қанша және қай жаққа жылжығаныңды есептеу (VIO: визуалды-инерциялық одометрия).
- Түсіну және нұсқау: «қызыл шатырлы үйдің артын тексер» деген сөзді түсініп, оны көріп тұрғанмен байланыстыру (VLM: суретті де, тілді де бірге өңдейтін ЖИ).
Карта жасап жатып ұшу: SLAM және VIO
2000-жылдардың соңында университет зертханалары бір камера мен IMU арқылы шағын дронның орнын бағалай бастады. Бәрі содан басталды.
SVO, VINS-Mono және ORB-SLAM сияқты әдістер жарияланып, ортақ негізге айналды. Ашық зерттеулер өнім бөлшектеріне айналды.
Бүгінгі коммерциялық дрондардың көпір астында және ғимарат ішінде ұша алатыны — осы жинақталған еңбектің арқасы.
Жоғарыдан заттар кішкентай әрі қисық көрінеді
Жерден түсірілген фотолармен оқытылған ЖИ жоғарыдан көрінетін көріністерде қиналады: адамдар нүктеге айналады, көліктердің пішіні өзгереді.
VisDrone және DOTA сияқты әуеден түсірілген деректер жиындары аспанға арналған ЖИ-ді оқыту үшін жасалды.
Деректерге кім иелік етсе, ЖИ-дің қаншалықты ақылды болатынын сол анықтайды. Базалық модельдер дәуірінде де бұл өзгерген жоқ.
Sir Airffic GoЖИ арасындағы айырма көбіне алгоритмнен гөрі қанша әуе дерегіне иелік ететініңе байланысты. Мұны стратегия тарауы үшін есіңе сақта.
ЖИ адам чемпиондарын жеңген күн
2023 жылы Цюрих университетінде жасалған Swift атты ЖИ-дрон дрон жарысының адам әлем чемпиондарын жеңді. Бұл жұмыс Nature журналында жарияланды.
Swift өз орнын тек камера мен IMU арқылы бағалады және ұшуды күшейтпелі оқыту арқылы үйренді — яғни симуляцияда көп рет жаттықты.
Бұл тұрақты трассада болды. Ауа райы мен кедергілер өзгеріп тұратын нақты аспанда осындай шеберлікке жету — әлі шешілмеген міндет.
Терең күшейтпелі оқыту арқылы чемпион деңгейіндегі дрон жарысы (UZH)
Дәлелдер: [N124]
Келесі толқын: көру, ойлау және сөз бойынша әрекет ету
Шамамен 2023 жылдан бастап суретті де, тілді де бірге өңдейтін ірі ЖИ модельдері (базалық модельдер) роботтардың миы ретінде қолданыла бастады.
Көріністі түсініп отырып, ауызша нұсқауды орындайтын дрондар туралы зерттеулер (әуедегі көру-тіл навигациясы) көбейіп келеді.
Ірі модельдер ауыр, оларды бортта жылдам іске қосу әлі де қиын. Сондықтан келесі тарау — чиптер — қатар оқылуы керек.
Дәлелдер: [N133]
Жиі қойылатын сұрақтар
Дрондардың компьютерлік көруі қандай жұмыстарда қолданылады?
Көпірлер мен электр желілеріндегі жарықтарды табу, егістің жағдайын тексеру, іздеу-құтқару кезінде адамдарды табу, күзет пен көлік қозғалысын бақылау және жеткізу орындарын тексеру — жиі кездесетін қолданыстар.
Визуалды-инерциялық одометрия (VIO) деген не?
Суреттегі қозғалысты IMU өлшейтін үдеу мен айналумен біріктіріп, дронның қанша жылжығанын есептейтін әдіс. Бұл GPS-сіз ұшудың негізгі технологиясы.