Airffic InstituteAERIAL PHYSICAL AI

Havodagi fizik SI instituti

Vision AI: dron koʻrganini qanday tushunadi

Uchish uchun koʻrishning oʻzi yetmaydi. Miya koʻrganini tushunishi kerak.

Qisqa javob: Dronlardagi Vision AI toʻrt bosqichda rivojlandi: ① narsalarni topish (aniqlash), ② ularni kuzatib borish (kuzatish), ③ oʻz joylashuvini bilish (SLAM, VIO), ④ soʻz bilan berilgan buyruqni tushunish (bazaviy modellar). Biz hozir ④-bosqich ostonasidamiz.

Yangilangan: · 3 daqiqada oʻqiladiQanday tadqiq qildik →

Sir Airffic GoBularning koʻpi ilmiy maqolalardan olingan, lekin soʻzlar sodda saqlangan. Men bilan qoling.

Tushunishning toʻrt bosqichi

  1. Aniqlash: tasvirda odamlar, mashinalar va elektr simlarini topib, ularni ramkaga olish.
  2. Kuzatish: topilgan narsa keyin qayerga harakatlanishini kuzatib borish.
  3. Oʻz oʻrnini aniqlash: tasvirdagi harakat va IMU orqali qancha va qayerga siljiganini hisoblash (VIO: vizual-inersial odometriya).
  4. Tushunish va buyruq: "qizil tomli uyning orqasini tekshir" degan gapni anglab, soʻzlarni koʻrilgan narsaga bogʻlash (VLM: tasvir va tilni birga ishlaydigan SI).

Xarita tuzib uchish: SLAM va VIO

2000-yillarning oxirida universitet laboratoriyalari bitta kamera va IMU bilan kichik dronning joylashuvini baholashni boshladi. Hammasi shundan boshlandi.

SVO, VINS-Mono va ORB-SLAM kabi usullar eʼlon qilinib, umumiy poydevorga aylandi. Ochiq tadqiqotlar mahsulot qismlariga aylandi.

Bugungi tijorat dronlari koʻprik ostida va bino ichida ucha olishi aynan shu toʻplangan mehnat tufayli.

Yuqoridan narsalar kichik va qiyshiq koʻrinadi

Yerdan olingan suratlarda oʻqitilgan SI yuqoridan qarashda qiynaladi: odamlar nuqtaga aylanadi, mashinalar shaklini oʻzgartiradi.

Osmonga xos SIni oʻqitish uchun VisDrone va DOTA kabi havodan olingan maʼlumotlar toʻplamlari yaratildi.

Maʼlumotga kim egalik qilsa, SI qanchalik aqlli boʻlishini oʻsha belgilaydi. Bazaviy modellar davrida ham bu oʻzgarmadi.

Sir Airffic GoSIlar orasidagi farq koʻpincha algoritmdan koʻra qancha havo maʼlumotiga egaligingizga bogʻliq. Buni strategiya bobi uchun eslab qoling.

SI inson chempionlarini yenggan kun

2023-yilda Syurix universitetida yaratilgan Swift nomli SI droni dron poygasi boʻyicha inson jahon chempionlarini yengdi. Bu ish Nature jurnalida eʼlon qilindi.

Swift oʻz joylashuvini faqat kamera va IMU bilan baholadi va mustahkamlovchi oʻrganish (reinforcement learning – simulyatsiyada koʻp marta mashq qilish) orqali uchishni oʻrgandi.

Bu belgilangan trassada boʻlgan. Ob-havo va toʻsiqlar oʻzgarib turadigan haqiqiy osmonda xuddi shunday mahoratga erishish hali ham ochiq vazifa.

Chuqur mustahkamlovchi oʻrganish bilan chempion darajasidagi dron poygasi (UZH)

Syurix universiteti Robototexnika va idrok guruhi eʼlon qilgan Swift SI droni videosi. YouTube ↗ · Ijro tugmasini bosmaguningizcha YouTubeʼdan hech narsa yuklanmaydi

Keyingi toʻlqin: koʻrish, fikrlash va soʻz boʻyicha harakat

Taxminan 2023-yildan boshlab tasvir va tilni birga ishlaydigan katta SI modellari (bazaviy modellar) robotlar miyasi sifatida ishlatila boshladi.

Manzarani tushungan holda ogʻzaki buyruqlarga amal qilish boʻyicha dron tadqiqotlari (havodagi tasvir-til navigatsiyasi) koʻpaymoqda.

Katta modellar ogʻir va ularni bortda tez ishlatish hali ham qiyin. Shuning uchun keyingi bob – chiplar – bilan birga oʻqish kerak.

Koʻp soʻraladigan savollar

Dronlarda kompyuter koʻrishi qaysi ishlarda qoʻllanadi?

Koʻpriklar va elektr liniyalaridagi yoriqlarni topish, ekinlar holatini tekshirish, qidiruv-qutqaruvda odamlarni topish, xavfsizlik va yoʻl harakatini kuzatish hamda yetkazib berish joylarini tekshirish – keng tarqalgan misollar.

Vizual-inersial odometriya (VIO) nima?

Tasvirdagi harakatni IMU oʻlchagan tezlanish va aylanish bilan birlashtirib, dron qancha siljiganini hisoblash usuli. Bu GPSsiz uchishning asosiy texnologiyasi.