Airffic InstituteAERIAL PHYSICAL AI

Havada Fiziki Sİ İnstitutu

Vision AI: dron gördüyünü necə anlayır

Uçmaq üçün görmək kifayət deyil. Beyin gördüyünü anlamalıdır.

Qısa cavab: Dronlarda Vision AI dörd mərhələdə inkişaf edib: ① obyektləri tapmaq (aşkarlama), ② onları izləmək (izləmə), ③ öz yerini bilmək (SLAM, VIO), ④ sözlə verilən tapşırığı anlamaq (təməl modellər). Biz indi ④ mərhələsinin qapısındayıq.

Yeniləndi: · 3 dəq oxuNecə araşdırdıq →

Sir Airffic GoBunun çoxu elmi məqalələrdən gəlir, amma sözlər sadə saxlanılıb. Mənimlə qalın.

Anlamağın dörd mərhələsi

  1. Aşkarlama: təsvirdə insanları, maşınları və elektrik xətlərini tapıb onların ətrafına çərçivə çəkmək.
  2. İzləmə: tapılmış obyektin sonra hara getdiyini izləmək.
  3. Öz yerini təyin etmə: təsvirdəki hərəkət və IMU əsasında nə qədər və hara getdiyini hesablamaq (VIO: vizual-inersial odometriya).
  4. Anlama və tapşırıq: «qırmızı damlı evin arxasını yoxla» əmrini başa düşüb sözləri gördüyü şeylə əlaqələndirmək (VLM: təsviri və dili birlikdə emal edən Sİ).

Xəritə qura-qura uçmaq: SLAM və VIO

2000-ci illərin sonunda universitet laboratoriyaları bir kamera və IMU ilə kiçik dronun mövqeyini hesablamağa başladı. Hər şey oradan başladı.

SVO, VINS-Mono və ORB-SLAM kimi üsullar dərc olundu və ortaq təmələ çevrildi. Açıq tədqiqatlar məhsul hissələrinə çevrildi.

Bugünkü kommersiya dronlarının körpü altında və binaların içində uça bilməsi bu toplanmış işin sayəsindədir.

Yuxarıdan baxanda hər şey kiçik və əyri görünür

Yerdən çəkilmiş fotolarla öyrədilmiş Sİ yuxarıdan görüntülərdə çətinlik çəkir: insanlar nöqtəyə çevrilir, maşınların forması dəyişir.

VisDrone və DOTA kimi hava məlumat dəstləri səmaya xas Sİ-ni öyrətmək üçün yaradıldı.

Məlumata kim sahibdirsə, Sİ-nin nə qədər ağıllı olacağını da o müəyyən edir. Təməl modellər dövründə də bu dəyişməyib.

Sir Airffic GoSİ arasındakı fərq çox vaxt alqoritmlərdən çox, sizdə nə qədər hava məlumatı olmasından asılıdır. Strategiya fəsli üçün bunu yadda saxlayın.

Sİ-nin insan çempionlarını məğlub etdiyi gün

2023-cü ildə Sürix Universitetində hazırlanmış Swift adlı Sİ dronu dron yarışlarında insan dünya çempionlarını məğlub etdi. Bu iş Nature jurnalında dərc olundu.

Swift öz mövqeyini yalnız kamera və IMU ilə hesablayırdı və uçmağı möhkəmləndirici öyrənmə (simulyasiyada dəfələrlə məşq edərək öyrənmək) ilə öyrənmişdi.

Bu, sabit trasda idi. Havası və maneələri dəyişən real səmada eyni bacarığa çatmaq hələ də açıq məsələdir.

Dərin möhkəmləndirici öyrənmə ilə çempion səviyyəsində dron yarışı (UZH)

Sürix Universitetinin Robototexnika və Qavrayış Qrupunun yaydığı Swift Sİ dronu videosu. YouTube ↗ · Oynat düyməsini basana qədər YouTube-dan heç nə yüklənmir

Növbəti dalğa: sözə görə görmək, düşünmək və hərəkət etmək

Təxminən 2023-cü ildən təsviri və dili birlikdə emal edən böyük Sİ modelləri (təməl modellər) robotların beyni kimi istifadə olunmağa başladı.

Səhnəni anlayaraq danışıq dilindəki göstərişlərə əməl edən dronlar üzrə tədqiqatlar (havada görmə-dil naviqasiyası) artır.

Böyük modellər ağırdır və onları bortda sürətlə işlətmək hələ çətindir. Ona görə də növbəti fəsil olan çipləri bununla yanaşı oxumaq lazımdır.

Tez-tez verilən suallar

Dronlarda kompüter görməsi hansı işlərdə istifadə olunur?

Körpülərdə və elektrik xətlərində çatların aşkarlanması, əkinlərin vəziyyətinin yoxlanması, axtarış-xilasetmədə insanların tapılması, təhlükəsizlik və yol hərəkətinə nəzarət, çatdırılma yerlərinin yoxlanması ən geniş yayılmış istifadələrdir.

Vizual-inersial odometriya (VIO) nədir?

Təsvirdəki hərəkəti IMU-nun təcil və fırlanma ölçmələri ilə birləşdirərək dronun nə qədər yol getdiyini hesablayan üsul. GPS-siz uçuş üçün əsas texnologiyadır.