Sir Airffic GoLiela daļa nāk no zinātniskiem pētījumiem, bet vārdi ir vienkārši. Turies man līdzi.
Četri izpratnes posmi
- Atpazīšana: atrast attēlā cilvēkus, automašīnas un elektrolīnijas un apvilkt ap tiem rāmīšus.
- Sekošana: sekot, kurp atrastais objekts pārvietojas tālāk.
- Pašlokalizācija: no attēla kustības un IMU aprēķināt, cik tālu un kurp esi pārvietojies (VIO: vizuāli inerciālā odometrija).
- Izpratne un norādījumi: saprast „pārbaudi aiz mājas ar sarkano jumtu” un sasaistīt vārdus ar redzēto (VLM: MI, kas vienlaikus strādā ar attēliem un valodu).
Lidot un vienlaikus kartēt: SLAM un VIO
2000. gadu beigās universitāšu laboratorijas sāka noteikt maza drona atrašanās vietu ar vienu kameru un IMU. No turienes viss sākās.
Tika publicētas tādas metodes kā SVO, VINS-Mono un ORB-SLAM, un tās kļuva par kopīgiem pamatiem. Atvērti pētījumi pārtapa par produktu komponentiem.
Mūsdienu komerciālie droni var lidot zem tiltiem un telpās tieši šī uzkrātā darba dēļ.
No augšas viss izskatās mazs un šķībs
MI, kas apmācīts ar fotogrāfijām no zemes, grūti tiek galā ar skatu no augšas: cilvēki kļūst par punktiem, un automašīnām mainās forma.
Tika izveidotas aerofoto datu kopas, piemēram, VisDrone un DOTA, lai varētu apmācīt tieši debesīm piemērotu MI.
Tas, kam pieder dati, nosaka, cik gudrs kļūst MI. Pamatmodeļu laikmetā tas nav mainījies.
Sir Airffic GoMI atšķirības bieži vairāk atkarīgas no tā, cik daudz aerofoto datu tev pieder, nevis no algoritmiem. Atceries to stratēģijas nodaļai.
Diena, kad MI pārspēja cilvēku čempionus
2023. gadā Cīrihes Universitātē radītais MI drons Swift pārspēja cilvēkus — pasaules čempionus dronu sacīkstēs. Darbs tika publicēts žurnālā Nature.
Swift noteica savu atrašanās vietu tikai ar kameru un IMU un iemācījās lidot ar pastiprinājuma mācīšanos — daudzkārt trenējoties simulācijā.
Tas notika fiksētā trasē. Sasniegt tādu pašu prasmi īstās debesīs, kur mainās laikapstākļi un šķēršļi, joprojām ir neatrisināts izaicinājums.
Čempiona līmeņa dronu sacīkstes ar dziļo pastiprinājuma mācīšanos (UZH)
Pierādījumi: [N124]
Nākamais vilnis: redzēt, spriest un rīkoties pēc vārdiem
Aptuveni kopš 2023. gada lieli MI modeļi, kas vienlaikus strādā ar attēliem un valodu (pamatmodeļi), sāka kalpot kā robotu smadzenes.
Pieaug dronu pētījumi par mutisku norādījumu izpildi, vienlaikus saprotot apkārtni (redzes un valodas navigācija no gaisa).
Lielie modeļi ir smagi, un tos ātri darbināt pašā dronā joprojām ir grūti. Tāpēc kopā ar šo jālasa arī nākamā nodaļa par mikroshēmām.
Pierādījumi: [N133]
Biežāk uzdotie jautājumi
Kādos darbos izmanto dronu datorredzi?
Bieži lietojumi ir plaisu meklēšana tiltos un elektrolīnijās, labības veselības pārbaude, cilvēku meklēšana glābšanas darbos, drošības un satiksmes uzraudzība un piegādes vietu pārbaude.
Kas ir vizuāli inerciālā odometrija (VIO)?
Metode, kas apvieno attēla kustību ar IMU mērīto paātrinājumu un griešanos, lai aprēķinātu, cik tālu drons pārvietojies. Tā ir pamattehnoloģija lidošanai bez GPS.