Airffic InstituteAERIAL PHYSICAL AI

Aerial Physical AI Institute

Vision AI: svona skilur dróni það sem hann sér

Það er ekki nóg að sjá til að fljúga. Heili þarf að skilja það sem hann sér.

Stutt svar: Vision AI í drónum hefur þróast í fjórum stigum: ① finna hluti (hlutgreining), ② fylgja þeim (eftirfylgni), ③ vita eigin staðsetningu (SLAM, VIO), ④ skilja fyrirmæli í orðum (grunnlíkön). Við stöndum í dyrum stigs ④.

Uppfært: · 3 mín. lesturSvona unnum við rannsóknina →

Sir Airffic GoMargt hér kemur úr rannsóknargreinum, en orðin eru höfð einföld. Vertu með mér.

Fjögur stig skilnings

  1. Hlutgreining: finna fólk, bíla og raflínur á mynd og draga kassa utan um þau.
  2. Eftirfylgni: fylgja því hvert hlutur sem fannst færir sig næst.
  3. Eigin staðsetning: reikna hversu langt og hvert þú hreyfðir þig út frá hreyfingu í mynd og IMU (VIO: visual-inertial odometry, sjón- og tregðumæling).
  4. Skilningur og fyrirmæli: skilja „athugaðu bak við húsið með rauða þakinu“ og tengja orðin við það sem sést (VLM: gervigreind sem vinnur með mynd og mál saman).

Að fljúga og kortleggja um leið: SLAM og VIO

Undir lok fyrsta áratugar aldarinnar byrjuðu rannsóknarstofur háskóla að áætla staðsetningu lítils dróna með einni myndavél og IMU. Allt byrjaði þar.

Aðferðir eins og SVO, VINS-Mono og ORB-SLAM voru birtar og urðu sameiginlegur grunnur. Opnar rannsóknir urðu að íhlutum í vörum.

Atvinnudrónar nútímans geta flogið undir brýr og innandyra vegna þessarar uppsöfnuðu vinnu.

Að ofan virðast hlutir litlir og skakkir

Gervigreind sem er þjálfuð á myndum teknum á jörðu niðri á erfitt með sjónarhorn að ofan: fólk verður að punktum og bílar breyta um lögun.

Gagnasöfn með loftmyndum, eins og VisDrone og DOTA, voru búin til svo hægt væri að þjálfa gervigreind sem hentar loftinu.

Sá sem á gögnin ræður hversu snjöll gervigreindin verður. Það hefur ekki breyst á tíma grunnlíkana.

Sir Airffic GoMunur á gervigreind snýst oft meira um hversu mikið af loftmyndagögnum þú átt en um reiknirit. Mundu þetta fyrir stefnukaflann.

Dagurinn sem gervigreind sigraði mannlega meistara

Árið 2023 sigraði gervigreindardróninn Swift, smíðaður við Háskólann í Zürich, heimsmeistara manna í drónakappflugi. Rannsóknin birtist í Nature.

Swift áætlaði staðsetningu sína aðeins með myndavél og IMU og lærði að fljúga með styrkingarnámi — með því að æfa sig ótal sinnum í hermi.

Þetta var á fastri braut. Að ná sömu færni í raunverulegu lofti, með breytilegu veðri og hindrunum, er enn óleyst áskorun.

Drónakappflug á meistarastigi með djúpu styrkingarnámi (UZH)

Myndband af gervigreindardrónanum Swift sem Robotics and Perception Group við Háskólann í Zürich birti. YouTube ↗ · Ekkert er sótt frá YouTube fyrr en þú ýtir á spila

Næsta bylgja: sjá, hugsa og bregðast við orðum

Frá um 2023 fóru stór gervigreindarlíkön sem vinna með mynd og mál saman (grunnlíkön) að þjóna sem heilar vélmenna.

Rannsóknir á drónum sem fylgja töluðum fyrirmælum og skilja umhverfið um leið (leiðsögn með sjón og máli í lofti) fara vaxandi.

Stór líkön eru þung og enn er erfitt að keyra þau hratt um borð. Þess vegna þarf að lesa um örflögur — næsta kafla — samhliða.

Algengar spurningar

Í hvaða störfum er tölvusjón dróna notuð?

Algeng notkun er að finna sprungur í brúm og raflínum, kanna heilbrigði gróðurs, finna fólk við leit og björgun, öryggis- og umferðareftirlit og að athuga afhendingarstaði.

Hvað er sjón- og tregðumæling (VIO)?

Aðferð sem sameinar hreyfingu í mynd og mælingar IMU á hröðun og snúningi til að reikna hversu langt dróninn hefur farið. Hún er grunntækni fyrir flug án GPS.