Sir Airffic GoBanyak perkara ini datang daripada kertas kajian, tetapi bahasanya dikekalkan mudah. Ikut saya.
Empat peringkat kefahaman
- Pengesanan: mencari orang, kereta dan kabel elektrik dalam imej dan melukis kotak di sekelilingnya.
- Penjejakan: mengikut ke mana objek yang dijumpai itu bergerak seterusnya.
- Penentuan kedudukan sendiri: mengira sejauh mana dan ke mana anda bergerak daripada gerakan imej serta IMU (VIO: odometri visual-inersia).
- Kefahaman dan arahan: memahami "periksa belakang rumah yang berbumbung merah" dan mengaitkan kata-kata itu dengan apa yang dilihat (VLM: AI yang mengendalikan imej dan bahasa serentak).
Terbang sambil memeta: SLAM dan VIO
Pada akhir 2000-an, makmal universiti mula menganggar kedudukan dron kecil dengan satu kamera dan IMU. Semuanya bermula di situ.
Kaedah seperti SVO, VINS-Mono dan ORB-SLAM diterbitkan dan menjadi asas bersama. Penyelidikan terbuka bertukar menjadi komponen produk.
Dron komersial hari ini boleh terbang di bawah jambatan dan di dalam bangunan kerana kerja yang terkumpul ini.
Dari atas, benda kelihatan kecil dan herot
AI yang dilatih dengan foto dari aras tanah sukar memahami pandangan dari atas: manusia menjadi titik dan bentuk kereta berubah.
Set data udara seperti VisDrone dan DOTA dibina supaya AI khas untuk langit boleh dilatih.
Sesiapa yang memiliki data menentukan sejauh mana pintarnya AI. Hal itu tidak berubah dalam era model asas.
Sir Airffic GoJurang AI selalunya bergantung pada berapa banyak data udara yang anda miliki, lebih daripada algoritma. Ingat ini untuk bab strategi.
Hari AI mengalahkan juara manusia
Pada 2023, dron AI bernama Swift yang dibina di Universiti Zurich mengalahkan juara dunia lumba dron manusia. Kajian ini diterbitkan dalam jurnal Nature.
Swift menganggar kedudukannya dengan kamera dan IMU sahaja, dan belajar terbang melalui pembelajaran pengukuhan — berlatih berkali-kali dalam simulasi.
Ini berlaku di litar yang tetap. Menyamai kemahiran itu di langit sebenar, dengan cuaca dan halangan yang berubah-ubah, masih menjadi cabaran terbuka.
Lumba dron tahap juara menggunakan pembelajaran pengukuhan mendalam (UZH)
Bukti: [N124]
Gelombang seterusnya: melihat, menaakul dan bertindak mengikut kata-kata
Sejak sekitar 2023, model AI besar yang mengendalikan imej dan bahasa serentak (model asas) mula berfungsi sebagai otak robot.
Penyelidikan dron tentang mengikut arahan lisan sambil memahami keadaan sekeliling (navigasi visi-bahasa udara) semakin berkembang.
Model besar itu berat, dan menjalankannya dengan pantas di atas dron masih sukar. Sebab itulah cip — bab seterusnya — perlu dibaca bersama.
Bukti: [N133]
Soalan lazim
Kerja apakah yang menggunakan visi komputer dron?
Kegunaan biasa termasuk mengesan retakan pada jambatan dan kabel elektrik, memeriksa kesihatan tanaman, mencari orang dalam operasi mencari dan menyelamat, pemantauan keselamatan dan trafik, serta memeriksa lokasi penghantaran.
Apakah itu odometri visual-inersia (VIO)?
Kaedah yang menggabungkan gerakan imej dengan ukuran pecutan dan putaran daripada IMU untuk mengira sejauh mana dron bergerak. Ia ialah teknologi asas untuk terbang tanpa GPS.