Airffic InstituteAERIAL PHYSICAL AI

Aerial Physical AI Institute

Vision AI: näin drooni ymmärtää, mitä se näkee

Pelkkä näkeminen ei riitä lentämiseen. Aivon on myös ymmärrettävä, mitä se näkee.

Lyhyt vastaus: Droonien Vision AI on kehittynyt neljässä vaiheessa: ① löydä kohteet (tunnistus), ② seuraa niitä (seuranta), ③ tiedä oma sijaintisi (SLAM, VIO), ④ ymmärrä sanalliset ohjeet (perusmallit). Olemme nyt vaiheen ④ kynnyksellä.

Päivitetty: · 3 min lukuaikaNäin tutkimme →

Sir Airffic GoPaljon tästä tulee tutkimusartikkeleista, mutta sanat pidetään yksinkertaisina. Pysy mukana.

Ymmärtämisen neljä vaihetta

  1. Tunnistus: löydä kuvasta ihmiset, autot ja sähkölinjat ja piirrä niiden ympärille laatikot.
  2. Seuranta: seuraa, minne löydetty kohde liikkuu seuraavaksi.
  3. Oman sijainnin määritys: laske kuvan liikkeestä ja IMU:sta, kuinka paljon ja minne olet liikkunut (VIO: visuaalis-inertiaalinen odometria).
  4. Ymmärrys ja ohjeet: käsitä ohje ”tarkista punakattoisen talon takana” ja yhdistä sanat siihen, mitä näet (VLM: tekoäly, joka käsittelee kuvaa ja kieltä yhdessä).

Lentäminen samalla kun karttaa piirretään: SLAM ja VIO

2000-luvun lopulla yliopistojen laboratoriot alkoivat arvioida pienen droonin sijaintia yhdellä kameralla ja IMU:lla. Kaikki alkoi sieltä.

Menetelmiä kuten SVO, VINS-Mono ja ORB-SLAM julkaistiin, ja niistä tuli yhteinen perusta. Avoimesta tutkimuksesta tuli tuotteiden osia.

Nykyiset kaupalliset droonit pystyvät lentämään siltojen alla ja sisätiloissa tämän kertyneen työn ansiosta.

Ylhäältä katsottuna asiat näyttävät pieniltä ja vinoilta

Maan tasalta otetuilla kuvilla koulutettu tekoäly hämmentyy ylhäältä katsottuna: ihmisistä tulee pisteitä ja autot muuttavat muotoaan.

Ilmakuva-aineistoja kuten VisDrone ja DOTA rakennettiin, jotta taivaalle sopivaa tekoälyä voitaisiin kouluttaa.

Se, joka omistaa datan, määrää kuinka fiksuksi tekoäly tulee. Perusmallien aikakausi ei ole muuttanut tätä.

Sir Airffic GoTekoälyjen erot johtuvat usein enemmän siitä, kuinka paljon ilmakuvadataa omistat, kuin algoritmeista. Muista tämä strategialukua varten.

Päivä, jona tekoäly voitti ihmismestarit

Vuonna 2023 Zürichin yliopistossa rakennettu tekoälydrooni Swift voitti ihmisten maailmanmestarit drooniajoissa. Työ julkaistiin Nature-lehdessä.

Swift arvioi sijaintinsa pelkän kameran ja IMU:n avulla ja oppi lentämään vahvistusoppimisella – harjoittelemalla monta kertaa simulaatiossa.

Tämä tapahtui kiinteällä radalla. Saman taidon saavuttaminen oikealla taivaalla, jossa sää ja esteet vaihtuvat, on yhä ratkaisematon haaste.

Mestaritason drooniajot syvällä vahvistusoppimisella (UZH)

Zürichin yliopiston Robotics and Perception Group -ryhmän julkaisema video Swift-tekoälydroonista. YouTube ↗ · YouTubesta ei ladata mitään ennen kuin painat toistoa

Seuraava aalto: näe, päättele ja toimi sanojen mukaan

Noin vuodesta 2023 alkaen suuret tekoälymallit, jotka käsittelevät kuvaa ja kieltä yhdessä (perusmallit), alkoivat toimia robottien aivoina.

Droonitutkimus, jossa drooni noudattaa puhuttuja ohjeita ja ymmärtää samalla näkymän (ilmasta tapahtuva näkö- ja kielinavigointi), kasvaa.

Suuret mallit ovat raskaita, ja niiden ajaminen nopeasti droonissa on yhä vaikeaa. Siksi piirit – seuraava luku – kannattaa lukea rinnalla.

Usein kysytyt kysymykset

Missä töissä droonien konenäköä käytetään?

Tavallisia käyttökohteita ovat siltojen ja sähkölinjojen halkeamien etsintä, viljelysten kunnon tarkistus, ihmisten löytäminen etsintä- ja pelastustehtävissä, vartiointi ja liikenteen valvonta sekä toimituspaikkojen tarkistus.

Mitä on visuaalis-inertiaalinen odometria (VIO)?

Menetelmä, joka yhdistää kuvan liikkeen ja IMU:n mittaaman kiihtyvyyden ja kierron laskeakseen, kuinka pitkälle drooni liikkui. Se on perustekniikka lentämiseen ilman GPS:ää.