Airffic InstituteAERIAL PHYSICAL AI
Ցանկ ☰

Օդային ֆիզիկական ԱԲ-ի ինստիտուտ

Vision AI. ինչպես է դրոնը հասկանում այն, ինչ տեսնում է

Թռչելու համար տեսնելը բավական չէ։ Ուղեղին պետք է հասկանալ, թե ինչ է տեսնում։

Կարճ պատասխան. Դրոնների Vision AI-ն զարգացել է չորս փուլով. ① գտնել առարկաները (հայտնաբերում), ② հետևել դրանց (թրեքինգ), ③ իմանալ սեփական դիրքը (SLAM, VIO), ④ հասկանալ բառերով տրված հրահանգները (հիմնային մոդելներ)։ Մենք ④ փուլի շեմին ենք։

Թարմացվել է: · Կարդալու համար՝ 3 րոպեԻնչպես ենք հետազոտել →

Sir Airffic GoՍրա մեծ մասը գալիս է գիտական հոդվածներից, բայց բառերը պարզ եմ պահում։ Մնա ինձ հետ։

Հասկանալու չորս փուլ

  1. Հայտնաբերում — պատկերում գտնել մարդկանց, մեքենաներին և էլեկտրագծերը և նրանց շուրջ շրջանակ գծել։
  2. Հետևում — հետևել, թե ուր է շարժվում գտնված առարկան։
  3. Ինքնատեղորոշում — պատկերի շարժումից և IMU-ից պարզել, թե որքան և ուր ես շարժվել (VIO՝ տեսողական-իներցիալ օդոմետրիա)։
  4. Հասկանալ և կատարել հրահանգը — ըմբռնել «ստուգիր կարմիր տանիքով տան ետևը» նախադասությունը և բառերը կապել տեսածի հետ (VLM՝ ԱԲ, որը միասին աշխատում է պատկերի և լեզվի հետ)։

Թռչել և միաժամանակ քարտեզ կազմել. SLAM և VIO

2000-ականների վերջին համալսարանական լաբորատորիաները սկսեցին փոքր դրոնի դիրքը գնահատել մեկ տեսախցիկով և IMU-ով։ Ամեն ինչ այնտեղից սկսվեց։

SVO, VINS-Mono և ORB-SLAM մեթոդները հրապարակվեցին և դարձան ընդհանուր հիմք։ Բաց հետազոտությունները վերածվեցին արտադրանքի բաղադրիչների։

Այսօրվա կոմերցիոն դրոնները կարողանում են թռչել կամուրջների տակ և շենքերի ներսում հենց այս կուտակված աշխատանքի շնորհիվ։

Վերևից ամեն ինչ փոքր և աղավաղված է երևում

Գետնից արված լուսանկարներով ուսուցանված ԱԲ-ն դժվարանում է վերևից տեսքի հետ. մարդիկ կետեր են դառնում, մեքենաները՝ փոխում ձևը։

VisDrone-ի և DOTA-ի նման օդային տվյալների հավաքածուներ ստեղծվեցին, որպեսզի հնարավոր լինի ուսուցանել հենց երկնքի համար նախատեսված ԱԲ։

Ով տիրապետում է տվյալներին, նա է որոշում, թե որքան խելացի կդառնա ԱԲ-ն։ Սա չի փոխվել նաև հիմնային մոդելների դարաշրջանում։

Sir Airffic GoԱԲ-ների միջև տարբերությունը հաճախ ավելի շատ կախված է նրանից, թե որքան օդային տվյալ ունես, քան ալգորիթմներից։ Հիշիր սա ռազմավարության գլխի համար։

Այն օրը, երբ ԱԲ-ն հաղթեց մարդ չեմպիոններին

2023-ին Ցյուրիխի համալսարանում ստեղծված Swift անունով ԱԲ դրոնը հաղթեց դրոնների մրցարշավի մարդ աշխարհի չեմպիոններին։ Աշխատանքը հրապարակվեց Nature ամսագրում։

Swift-ը դիրքը գնահատում էր միայն տեսախցիկով և IMU-ով, իսկ թռչել սովորեց ամրապնդման ուսուցմամբ (reinforcement learning)՝ բազմաթիվ անգամ վարժվելով սիմուլյացիայում։

Սա ֆիքսված ուղու վրա էր։ Նույն հմտությանը հասնելն իրական երկնքում՝ փոփոխվող եղանակով և խոչընդոտներով, դեռ բաց խնդիր է։

Չեմպիոնի մակարդակի դրոնային մրցարշավ խորը ամրապնդման ուսուցմամբ (UZH)

Swift ԱԲ դրոնի տեսանյութը, որը հրապարակել է Ցյուրիխի համալսարանի Ռոբոտաշինության և ընկալման խումբը։ YouTube ↗ · Մինչև չսեղմես միացնելը, YouTube-ից ոչինչ չի բեռնվում

Հաջորդ ալիքը. տեսնել, մտածել և գործել բառերով

Մոտավորապես 2023-ից պատկերի և լեզվի հետ միասին աշխատող մեծ ԱԲ մոդելները (հիմնային մոդելներ) սկսեցին ծառայել որպես ռոբոտների ուղեղ։

Աճում են հետազոտությունները, որտեղ դրոնը հետևում է խոսքով տրված հրահանգներին՝ միաժամանակ հասկանալով տեսարանը (օդային տեսողա-լեզվական նավիգացիա)։

Մեծ մոդելները ծանր են, և դրանք սարքի վրա արագ աշխատեցնելը դեռ դժվար է։ Դրա համար էլ հաջորդ գլուխը՝ չիպերի մասին, պետք է կարդալ սրա հետ միասին։

Հաճախ տրվող հարցեր

Ի՞նչ աշխատանքներում է օգտագործվում դրոնների համակարգչային տեսողությունը

Սովորական կիրառություններն են՝ կամուրջների և էլեկտրագծերի ճաքերի հայտնաբերում, ցանքերի առողջության ստուգում, մարդկանց որոնում փրկարարական աշխատանքներում, անվտանգության և երթևեկության հսկողություն, առաքման վայրերի ստուգում։

Ի՞նչ է տեսողական-իներցիալ օդոմետրիան (VIO)

Մեթոդ, որը համատեղում է պատկերի շարժումը IMU-ի չափած արագացման և պտույտի հետ՝ հաշվելու, թե որքան է շարժվել դրոնը։ Սա առանց GPS-ի թռչելու հիմնական տեխնոլոգիաներից է։