Airffic InstituteAERIAL PHYSICAL AI

Instituti i IA-së fizike ajrore

Vision AI: si e kupton droni atë që sheh

Të shohësh nuk mjafton për të fluturuar. Truri duhet të kuptojë atë që sheh.

Përgjigje e shkurtër: Vision AI e dronëve është zhvilluar në katër faza: ① gjej objektet (zbulimi), ② ndiqi (ndjekja), ③ dije pozicionin tënd (SLAM, VIO), ④ kupto udhëzimet me fjalë (modelet themelore). Jemi te pragu i fazës ④.

Përditësuar: · 3 min leximSi e bëmë kërkimin →

Sir Airffic GoShumë nga këto vijnë nga punime kërkimore, por fjalët mbahen të thjeshta. Rri me mua.

Katër fazat e të kuptuarit

  1. Zbulimi: gjen njerëz, makina dhe linja elektrike në një imazh dhe vizaton kuti rreth tyre.
  2. Ndjekja: ndjek se ku lëviz më pas objekti i gjetur.
  3. Vetë-lokalizimi: llogarit sa dhe ku je zhvendosur nga lëvizja e imazhit plus IMU (VIO: odometria vizuale-inerciale).
  4. Të kuptuarit dhe udhëzimi: kupton «kontrollo pas shtëpisë me çati të kuqe» dhe i lidh fjalët me atë që sheh (VLM: IA që trajton imazhin dhe gjuhën bashkë).

Fluturim duke hartëzuar: SLAM dhe VIO

Në fund të viteve 2000, laboratorët universitarë filluan ta llogarisnin pozicionin e një droni të vogël me një kamerë dhe një IMU. Gjithçka nisi aty.

U publikuan metoda si SVO, VINS-Mono dhe ORB-SLAM, që u bënë themele të përbashkëta. Kërkimi i hapur u kthye në pjesë produktesh.

Dronët komercialë sot mund të fluturojnë nën ura dhe brenda ndërtesave falë kësaj pune të grumbulluar.

Nga lart, gjërat duken të vogla dhe të shtrembëruara

IA e trajnuar me foto nga toka e ka të vështirë me pamjet nga lart: njerëzit bëhen pika dhe makinat ndryshojnë formë.

U ndërtuan grupe të dhënash ajrore si VisDrone dhe DOTA, që të trajnohej IA e posaçme për qiellin.

Kush zotëron të dhënat përcakton sa e zgjuar bëhet IA. Kjo nuk ka ndryshuar as në epokën e modeleve themelore.

Sir Airffic GoDallimet në IA shpesh varen më shumë nga sa të dhëna ajrore zotëron, sesa nga algoritmet. Mbaje mend këtë për kapitullin e strategjisë.

Dita kur IA mundi kampionët njerëzorë

Në vitin 2023, një dron me IA i quajtur Swift, i ndërtuar në Universitetin e Cyrihut, mundi kampionët botërorë njerëzorë të garave me dronë. Puna u botua në revistën Nature.

Swift e llogariste pozicionin vetëm me një kamerë dhe një IMU, dhe mësoi të fluturonte me të mësuarit përforcues — duke u stërvitur shumë herë në simulim.

Kjo ndodhi në një pistë të fiksuar. Të arrish të njëjtën aftësi në qiellin real, me mot e pengesa që ndryshojnë, mbetet ende një sfidë e hapur.

Gara me dronë në nivel kampioni me të mësuar përforcues të thellë (UZH)

Video e dronit me IA Swift, publikuar nga Grupi i Robotikës dhe Perceptimit i Universitetit të Cyrihut. YouTube ↗ · Asgjë nuk ngarkohet nga YouTube derisa të shtypësh «luaj»

Vala tjetër: shiko, arsyeto dhe vepro sipas fjalëve

Rreth vitit 2023, modelet e mëdha të IA-së që trajtojnë imazhin dhe gjuhën bashkë (modelet themelore) filluan të shërbejnë si tru robotësh.

Po rritet kërkimi për dronë që ndjekin udhëzime me zë ndërsa kuptojnë skenën (navigimi ajror vizual-gjuhësor).

Modelet e mëdha janë të rënda dhe është ende e vështirë t'i xhirosh shpejt në bord. Prandaj çipat — kapitulli tjetër — duhen lexuar krah për krah.

Pyetje të shpeshta

Në cilat punë përdoret shikimi kompjuterik i dronëve?

Përdorime të zakonshme janë zbulimi i plasaritjeve në ura dhe linja elektrike, kontrolli i shëndetit të të mbjellave, gjetja e njerëzve në kërkim-shpëtim, siguria dhe monitorimi i trafikut, dhe kontrolli i vendeve të dorëzimit.

Çfarë është odometria vizuale-inerciale (VIO)?

Një metodë që kombinon lëvizjen e imazhit me matjet e IMU-së për përshpejtimin dhe rrotullimin, për të llogaritur sa është zhvendosur droni. Është teknologji bazë për të fluturuar pa GPS.