Airffic InstituteAERIAL PHYSICAL AI
Mutevhe ☰

Aerial Physical AI Institute

Vision AI: nḓila ine drone ya pfesesa zwine ya zwi vhona ngayo

U vhona a zwi lingani u fhufha. Vhuluvhi vhu fanela u pfesesa zwine ha zwi vhona.

Phindulo pfufhi: Vision AI ya drone yo aluwa nga zwiṱepe zwiṋa: ① u wana zwithu (detection), ② u zwi tevhela (tracking), ③ u ḓivha hune wa vha hone (SLAM, VIO), ④ u pfesesa ndaela dza maipfi (foundation models). Ri khou ima mukhoroni wa tshiṱepe ④.

Yo khwiniswa: · U vhala mimunithi ya 3Nḓila ye ra ṱoḓisisa ngayo →

Sir Airffic GoZwinzhi zwa hezwi zwi bva kha mapepa a ṱhoḓisiso, fhedzi maipfi o leluwa. Dzulani na nne.

Zwiṱepe zwiṋa zwa u pfesesa

  1. U wana (detection): u wana vhathu, dzigoloi na mitaladzi ya muḓagasi kha tshifanyiso na u zwi ṱalela bokisi.
  2. U tevhela (tracking): u tevhela uri tshithu tsho wanalaho tshi ya ngafhi nga murahu.
  3. U ḓiwana: u ṱhogomela uri wo tshimbila u ya ngafhi na vhulapfu hani u bva kha u tshimbila ha zwifanyiso na IMU (VIO: visual-inertial odometry).
  4. U pfesesa na ndaela: u pfesesa ndaela i ngaho "sedzani murahu ha nnḓu i re na ṱhanga tswuku" na u ṱumanya maipfi na zwine wa zwi vhona (VLM: AI ine ya shuma na zwifanyiso na luambo khathihi).

U fhufha u tshi khou ita mmapa: SLAM na VIO

Nga u fhela ha miṅwaha ya vho 2000, dzilaborathari dza yunivesithi dzo thoma u wana fhethu ha drone ṱhukhu nga khamera nthihi na IMU. Zwoṱhe zwo thoma henefho.

Nḓila dzi ngaho SVO, VINS-Mono na ORB-SLAM dzo gandiswa nahone dza vha mutheo une wa kovhekanywa. Ṱhoḓisiso dzo vuleaho dzo vha zwipiḓa zwa zwibveledzwa.

Ṋamusi dzi-drone dza bindu dzi a kona u fhufha fhasi ha buroho na nga ngomu ha nnḓu nga nṱhani ha mushumo uyu wo kuvhanganywaho.

U bva nṱha, zwithu zwi vhonala zwi zwiṱuku nahone zwo kombama

AI yo gudiswaho nga zwifanyiso zwa fhasi i a kundelwa u bva nṱha: vhathu vha vhonala sa zwithoni nahone dzigoloi dzi shandukisa zwivhumbeo.

Data ya zwifanyiso zwa u bva nṱha i ngaho VisDrone na DOTA yo itwa uri AI ya ṱaḓulu i kone u gudiswa.

Ane a vha na data ndi ene a vhumbaho uri AI i ṱalifha hani. Izwo a zwo ngo shanduka na kha tshifhinga tsha foundation models.

Sir Airffic GoPhambano dza AI kanzhi dzi bva kha vhunzhi ha data ya u bva nṱha ine na vha nayo, u fhira kha algorithm. Humbulani hezwi kha ndima ya tshiṱirathedzhi.

Ḓuvha ḽe AI ya kunda vhakundi vha vhathu

Nga 2023 drone ya AI i vhidzwaho Swift, yo itwaho kha University of Zurich, yo kunda vhakundi vha ḽifhasi vha vhathu kha u ṱavhanyisana ha dzi-drone. Mushumo uyo wo gandiswa kha Nature.

Swift yo wana fhethu hayo nga khamera na IMU fhedzi, nahone yo guda u fhufha nga reinforcement learning — i tshi ḓigudisa lunzhi kha simulation.

Hezwi zwo vha kha nḓila yo dzudzanywaho. U swikelela vhukoni uhu kha ṱaḓulu ḽa vhukuma, hune maimo a mutsho na zwithithisi zwa shanduka, hu kha ḓi vha khaedu.

U ṱavhanyisana ha dzi-drone kha vhuimo ha vhakundi nga deep reinforcement learning (UZH)

Vidio ya drone ya AI ya Swift yo gandiswaho nga Robotics and Perception Group ya University of Zurich. YouTube ↗ · A hu na tshithu tshine tsha bva YouTube u swika ni tshi tamba

Tshifhinga tshi tevhelaho: u vhona, u humbula na u ita nga maipfi

U bva nga 2023, modele khulwane dza AI dzine dza shuma na zwifanyiso na luambo khathihi (foundation models) dzo thoma u shuma sa vhuluvhi ha dziroboto.

Ṱhoḓisiso dza dzi-drone dzi tevhelaho ndaela dza u ambiwa dzi tshi khou pfesesa zwi re mupoto (aerial vision-language navigation) dzi khou aluwa.

Modele khulwane dzi a lemela, nahone u dzi shumisa nga u ṱavhanya kha drone hu kha ḓi konḓa. Ndi ngazwo chip — ndima i tevhelaho — dzi tshi fanela u vhalwa khathihi.

Mbudziso dzi vhudziswaho kanzhi

Ndi mishumo ifhio i shumisaho computer vision ya drone?

U wana zwo ṱukanaho kha buroho na mitaladzi ya muḓagasi, u ṱola mutakalo wa zwimela, u wana vhathu musi hu tshi ṱoḓwa na u tshidzwa, tsireledzo na u sedza vhutshimbileli ha dzigoloi, na u ṱola fhethu ha u isa thundu ndi mashumisele a ḓivheaho.

Visual-inertial odometry (VIO) ndi mini?

Ndi nḓila ine ya ṱanganya u tshimbila ha zwifanyiso na zwine IMU ya zwi kala nga ha u ṱavhanyisa na u monya, uri hu vhalelwe uri drone yo tshimbila vhulapfu hani. Ndi thekhinoloji ya mutheo ya u fhufha hu si na GPS.