Airffic InstituteAERIAL PHYSICAL AI
Diteng ☰

Aerial Physical AI Institute

Vision AI: kafa drone e tlhaloganyang se e se bonang ka teng

Go bona ga go a lekana go fofa. Boboko bo tlhoka go tlhaloganya se bo se bonang.

Karabo e khutshwane: Vision AI ya drone e godile ka dikgato di le nne: ① go bona dilo (detection), ② go di latela (tracking), ③ go itse lefelo la gago (SLAM, VIO), ④ go tlhaloganya ditaelo ka mafoko (foundation models). Re fa kgorong ya kgato ④.

E ntšhwafaditswe: · Metsotso e le 3 ya go balaKafa re dirileng patlisiso ka teng →

Sir Airffic GoBontsi jwa se bo tswa mo dipampiring tsa patlisiso, mme mafoko a nnile a le motlhofo. Nna le nna.

Dikgato di le nne tsa go tlhaloganya

  1. Go lemoga (detection): go bona batho, dikoloi le megala ya motlakase mo setshwantshong le go di thalela mabokose.
  2. Go latela (tracking): go latela gore selo se se bonweng se tsamaela kae morago.
  3. Go itse lefelo: go bala gore o tsamaile bokgakala bo kae le kwa kae go tswa mo motsamaong wa setshwantsho le IMU (VIO: visual-inertial odometry).
  4. Go tlhaloganya le ditaelo: go tlhaloganya "tlhola kwa morago ga ntlo e e marulelo a mahibidu" le go golaganya mafoko le se o se bonang (VLM: AI e e dirang ka ditshwantsho le puo mmogo).

Go fofa o ntse o aga mmapa: SLAM le VIO

Kwa bofelong jwa dingwaga tsa bo2000, dilabotori tsa diyunibesiti di ne tsa simolola go bala lefelo la drone e nnye ka khamera e le nngwe le IMU. Tsotlhe di simolotse foo.

Mekgwa e e jaaka SVO, VINS-Mono le ORB-SLAM e ne ya phasaladiwa mme ya nna metheo e e abelanwang. Patlisiso e e bulegileng e ne ya fetoga dikarolo tsa dikumo.

Gompieno di-drone tsa kgwebo di kgona go fofa ka fa tlase ga diborogo le mo teng ga matlo ka ntlha ya tiro e e kokoantsweng e.

Go tswa kwa godimo, dilo di lebega di le dinnye e bile di sokame

AI e e rutilweng ka ditshwantsho tse di tserweng mo lefatsheng e palelwa ke go bona go tswa kwa godimo: batho ba nna dintlhana mme dikoloi di fetola sebopego.

Dikokoano tsa data ya loapi jaaka VisDrone le DOTA di agilwe gore AI e e kgethegileng ya loapi e kgone go rutiwa.

Ope yo o nang le data o bopa gore AI e nna botlhale go le kae. Seo ga se a fetoga le mo motlheng wa foundation models.

Sir Airffic GoDikgaogano mo AI gantsi di bakwa ke gore o na le data ya loapi e kana kang, go feta mekgwa ya dipalo (algorithms). Gopola se fa o fitlha kwa kgaolong ya maano.

Letsatsi le AI e fentseng bomankge ba batho

Ka 2023 drone ya AI e bidiwang Swift, e e dirilweng kwa Yunibesiting ya Zurich, e ne ya fenya bomankge ba lefatshe ba batho mo lobelong lwa di-drone. Tiro e e ne ya phasaladiwa mo Nature.

Swift e ne e bala lefelo la yone ka khamera le IMU fela, mme ya ithuta go fofa ka reinforcement learning — e itlwaetsa makgetlo a mantsi mo simulation.

Se se ne se le mo tseleng e e sa fetogeng. Go nna le bokgoni joo mo loaping la mmatota, fa bosa le dikgoreletso di fetoga, e sa ntse e le kgwetlho e e bulegileng.

Lobelo lwa di-drone lwa maemo a bomankge ka deep reinforcement learning (UZH)

Bidio ya drone ya AI ya Swift e e phasaladitsweng ke Robotics and Perception Group ya Yunibesiti ya Zurich. YouTube ↗ · Ga go sepe se se tswang kwa YouTube go fitlha o tobetsa tshameka

Lekhubu le le latelang: bona, akanya, o dire ka mafoko

Go simolola ka 2023 kgotsa jalo, dimotlolo tse dikgolo tsa AI tse di dirang ka ditshwantsho le puo mmogo (foundation models) di ne tsa simolola go dira jaaka boboko jwa diroboto.

Patlisiso ya di-drone tse di latelang ditaelo tse di buiwang di ntse di tlhaloganya tikologo (aerial vision-language navigation) e a gola.

Dimotlolo tse dikgolo di bokete, mme go di dirisa ka bonako mo drone go sa ntse go le thata. Ke ka moo di-chip — kgaolo e e latelang — di tshwanetseng go balwa mmogo.

Dipotso tse di botswang gantsi

Ke ditiro dife tse di dirisang computer vision ya drone?

Go bona dipatlego mo diborogong le mo megaleng ya motlakase, go tlhola boitekanelo jwa dijalo, go batla batho mo tirong ya go batla le go namola, tshireletso le go tlhokomela sephethephethe, le go tlhola mafelo a go isa dithoto ke tiriso e e tlwaelegileng.

Visual-inertial odometry (VIO) ke eng?

Ke mokgwa o o kopanyang motsamao wa ditshwantsho le dipalo tsa IMU tsa go akofa le go dikologa go bala gore drone e tsamaile bokgakala bo kae. Ke thekenoloji ya motheo ya go fofa kwa ntle ga GPS.