Airffic InstituteAERIAL PHYSICAL AI

Howadaky fiziki emeli aň instituty

Vision AI: dron gören zadyna nähili düşünýär

Uçmak üçin görmek ýeterlik däl. Beýni gören zadyna düşünmeli.

Gysga jogap: Dronuň Vision AI-sy dört basgançakda ösdi: ① zatlary tapmak (tanamak), ② olary yzarlamak, ③ öz ýerleşişiňi bilmek (SLAM, VIO), ④ sözler bilen berlen tabşyryklara düşünmek (esasy modeller). Biz ④-nji basgançagyň bosagasynda.

Täzelendi: · 3 min okamakNähili derňedik →

Sir Airffic GoBularyň köpüsi ylmy makalalardan, ýöne sözleri ýönekeý sakladyk. Meniň bilen bol.

Düşünmegiň dört basgançagy

  1. Tanamak: suratda adamlary, awtoulaglary we elektrik liniýalaryny tapmak we olaryň daşyna gutujyk çyzmak.
  2. Yzarlamak: tapylan zadyň soňra nirä gidýändigini yzarlamak.
  3. Öz ýeriňi kesgitlemek: suratdaky hereketden we IMU-dan näçe we nirä süýşendigiňi hasaplamak (VIO: wizual-inersial odometriýa).
  4. Düşünmek we tabşyryk: “gyzyl üçekli jaýyň arkasyny barla” diýen sözlere düşünmek we olary görýän zadyň bilen baglanyşdyrmak (VLM: suraty we dili bilelikde işleýän emeli aň).

Karta gurup uçmak: SLAM we VIO

2000-nji ýyllaryň ahyrynda uniwersitet laboratoriýalary kiçi dronuň ýerleşişini bir kamera we IMU bilen kesgitläp başlady. Hemme zat şondan başlandy.

SVO, VINS-Mono we ORB-SLAM ýaly usullar çap edildi we umumy esasa öwrüldi. Açyk ylmy işler önümleriň böleklerine öwrüldi.

Häzirki täjirçilik dronlary şu toplanan iş sebäpli köpriniň aşagynda we jaýyň içinde uçup bilýär.

Ýokardan zatlar kiçi we gyşyk görünýär

Ýerden alnan suratlarda okadylan emeli aň ýokardan görnüşlerde kynçylyk çekýär: adamlar nokada öwrülýär, awtoulaglaryň şekili üýtgeýär.

Asmana mahsus emeli aňy okatmak üçin VisDrone we DOTA ýaly howadan alnan maglumat toplumlary döredildi.

Maglumata kim eýe bolsa, emeli aňyň näderejede akylly boljakdygyny şol kesgitleýär. Esasy modeller döwründe hem bu üýtgemedi.

Sir Airffic GoEmeli aňdaky tapawutlar köplenç algoritmlerden has köp, näçe howa maglumatyna eýedigiňe bagly. Muny strategiýa baby üçin ýatda sakla.

Emeli aň adam çempionlaryny ýeňen gün

2023-nji ýylda Sýurih uniwersitetinde döredilen Swift atly emeli aňly dron dron ýaryşynda adam dünýä çempionlaryny ýeňdi. Bu iş Nature žurnalynda çap edildi.

Swift öz ýerleşişini diňe kamera we IMU bilen kesgitledi we uçmagy güýçlendirilen öwrenme arkaly — simulýasiýada köp gezek türgenleşip — öwrendi.

Bu üýtgemeýän ýaryş ýolunda boldy. Howasy we päsgelçilikleri üýtgeýän hakyky asmanda şeýle ussatlyga ýetmek henizem çözülmedik mesele.

Çuň güýçlendirilen öwrenme bilen çempion derejesindäki dron ýaryşy (UZH)

Sýurih uniwersitetiniň Robotika we Duýuş toparynyň çap eden Swift emeli aňly dronunyň wideosy. YouTube ↗ · Goý düwmesine basýançaň YouTube-dan hiç zat ýüklenmeýär

Indiki tolkun: gör, pikir et we sözlere görä hereket et

Takmynan 2023-nji ýyldan suraty we dili bilelikde işleýän uly emeli aň modelleri (esasy modeller) robotlaryň beýnisi bolup başlady.

Dronuň töweregine düşünip, aýdylan tabşyryklara eýermegi baradaky ylmy işler (howada görüş-dil nawigasiýasy) köpelýär.

Uly modeller agyr, olary enjamyň içinde çalt işletmek henizem kyn. Şonuň üçin çipler — indiki bap — bilelikde okalmaly.

Ýygy berilýän soraglar

Dronuň kompýuter görüşi haýsy işlerde ulanylýar?

Köprülerde we elektrik liniýalarynda ýarylmalary tapmak, ekinleriň saglygyny barlamak, gözleg-halas edişde adamlary tapmak, howpsuzlyk we ýol hereketine gözegçilik, eltip beriş ýerlerini barlamak giňden ýaýran ulanylyşlar.

Wizual-inersial odometriýa (VIO) näme?

Dronuň näçe süýşendigini hasaplamak üçin suratdaky hereketi IMU-nyň tizlenme we aýlanma ölçegleri bilen birleşdirýän usul. Ol GPS-siz uçmagyň esasy tehnologiýasy.