Airffic InstituteAERIAL PHYSICAL AI
Menua ☰

Aerial Physical AI Institutua

Vision AI: drone batek ikusten duena nola ulertzen duen

Ikustea ez da nahikoa hegan egiteko. Garun batek ikusten duena ulertu behar du.

Erantzun laburra: Droneen Vision AI lau etapatan garatu da: ① objektuak aurkitu (detekzioa), ② haiei jarraitu (jarraipena), ③ norberaren kokapena jakin (SLAM, VIO), ④ hitzezko aginduak ulertu (oinarri-ereduak). ④ etaparen atarian gaude.

Eguneratua: · 3 minutuko irakurketaNola ikertu dugun →

Sir Airffic GoHonen zati handi bat ikerketa-artikuluetatik dator, baina hitzak errazak dira. Jarraitu nirekin.

Ulermenaren lau etapak

  1. Detekzioa: irudi batean pertsonak, autoak eta linea elektrikoak aurkitu eta haien inguruan laukiak marraztu.
  2. Jarraipena: aurkitutako objektua nora mugitzen den jarraitu.
  3. Norberaren kokapena: irudiaren mugimendutik eta IMUtik zenbat eta nora mugitu zaren kalkulatu (VIO: ikusmen-inertzia bidezko odometria).
  4. Ulermena eta aginduak: «begiratu teilatu gorria duen etxearen atzealdea» ulertu eta hitzak ikusten denarekin lotu (VLM: irudiak eta hizkuntza batera lantzen dituen AA).

Mapa egin bitartean hegan: SLAM eta VIO

2000ko hamarkadaren amaieran, unibertsitateetako laborategiak drone txiki baten kokapena kamera bakar batekin eta IMU batekin kalkulatzen hasi ziren. Han hasi zen dena.

SVO, VINS-Mono eta ORB-SLAM bezalako metodoak argitaratu ziren eta oinarri partekatu bihurtu ziren. Ikerketa irekia produktuen osagai bihurtu zen.

Gaur egungo drone komertzialek zubien azpian eta barnealdeetan hegan egin dezakete metatutako lan horri esker.

Goitik, gauzak txiki eta okertuta ikusten dira

Lur mailako argazkiekin entrenatutako AAk lan handia du goitiko ikuspegiekin: pertsonak puntu bihurtzen dira eta autoek forma aldatzen dute.

VisDrone eta DOTA bezalako aireko datu-multzoak sortu ziren, zerurako berariazko AA entrenatu ahal izateko.

Datuen jabeak erabakitzen du AA zein adimentsua izango den. Hori ez da aldatu oinarri-ereduen aroan.

Sir Airffic GoAAren arteko aldeak, askotan, algoritmoak baino gehiago, zenbat aireko datu dituzun dira. Gogoratu hau estrategia-kapitulurako.

AAk giza txapeldunak garaitu zituen eguna

2023an, Zuricheko Unibertsitatean egindako Swift izeneko AA drone batek drone-lasterketetako munduko giza txapeldunak garaitu zituen. Lana Nature aldizkarian argitaratu zen.

Swiftek bere kokapena kamera eta IMU bakarrik erabiliz kalkulatzen zuen, eta hegan egiten indartze-ikaskuntzaren bidez ikasi zuen: simulazioan behin eta berriz praktikatuz.

Ibilbide finko batean izan zen. Eguraldia eta oztopoak aldatzen diren benetako zeruan trebetasun hori lortzea erronka irekia da oraindik.

Txapeldun mailako drone-lasterketak indartze-ikaskuntza sakonarekin (UZH)

Zuricheko Unibertsitateko Robotics and Perception Group taldeak argitaratutako Swift AA dronearen bideoa. YouTube ↗ · YouTubetik ez da ezer kargatzen play sakatu arte

Hurrengo olatua: ikusi, arrazoitu eta hitzei jarraitu

2023 inguruan, irudiak eta hizkuntza batera lantzen dituzten AA eredu handiak (oinarri-ereduak) roboten garun gisa erabiltzen hasi ziren.

Eszena ulertu bitartean ahozko aginduei jarraitzen dieten droneei buruzko ikerketa (aireko ikusmen-hizkuntza nabigazioa) hazten ari da.

Eredu handiak astunak dira, eta aireontzian bertan azkar exekutatzea zaila da oraindik. Horregatik irakurri behar da txipen kapitulua, hurrengoa, honekin batera.

Ohiko galderak

Zein lanetan erabiltzen da droneen ordenagailu bidezko ikusmena?

Ohiko erabilerak dira zubietan eta linea elektrikoetan pitzadurak detektatzea, laboreen osasuna egiaztatzea, bilaketa eta erreskatean pertsonak aurkitzea, segurtasuna eta trafikoa zaintzea, eta banaketa-guneak egiaztatzea.

Zer da ikusmen-inertzia bidezko odometria (VIO)?

Irudiaren mugimendua eta IMUak neurtzen dituen azelerazioa eta biraketa konbinatzen dituen metodoa, droneak zenbat mugitu den kalkulatzeko. GPSrik gabe hegan egiteko oinarrizko teknologia da.