Airffic InstituteAERIAL PHYSICAL AI
મેનુ ☰

Aerial Physical AI Institute

Vision AI: ડ્રોન જે જુએ છે તેને કેવી રીતે સમજે છે

ઉડવા માટે માત્ર જોવું પૂરતું નથી. જે દેખાય છે તેને સમજવા મગજ જોઈએ.

ટૂંકો જવાબ: ડ્રોન Vision AI ચાર તબક્કામાં વિકસ્યું છે: ① વસ્તુ શોધવી (ડિટેક્શન), ② તેનો પીછો કરવો (ટ્રેકિંગ), ③ પોતાનું સ્થાન જાણવું (SLAM, VIO), ④ શબ્દોમાં આપેલી સૂચના સમજવી (ફાઉન્ડેશન મોડેલ). આપણે તબક્કા ④ ના દરવાજે છીએ.

અપડેટ: · 2 મિનિટમાં વાંચોઅમે સંશોધન કેવી રીતે કર્યું →

Sir Airffic Goઆમાંનું ઘણું સંશોધન પેપરમાંથી આવે છે, પણ શબ્દો સરળ રાખ્યા છે. મારી સાથે રહો.

સમજના ચાર તબક્કા

  1. ડિટેક્શન: તસવીરમાં લોકો, કાર અને વીજળીના તાર શોધી તેમની આસપાસ ખાનું દોરવું.
  2. ટ્રેકિંગ: મળેલી વસ્તુ હવે ક્યાં જાય છે તેનો પીછો કરવો.
  3. પોતાનું સ્થાન: તસવીરની ગતિ અને IMU થી ગણવું કે કેટલું અને ક્યાં ખસ્યા (VIO: visual-inertial odometry).
  4. સમજ અને સૂચના: "લાલ છાપરાવાળા ઘરની પાછળ તપાસ કર" સમજવું અને શબ્દોને દેખાતી વસ્તુ સાથે જોડવા (VLM: ચિત્ર અને ભાષા સાથે સંભાળતું AI).

નકશો બનાવતાં ઉડવું: SLAM અને VIO

2000ના દાયકાના અંતમાં યુનિવર્સિટીની લેબોએ એક કેમેરા અને IMU થી નાના ડ્રોનનું સ્થાન અંદાજવાનું શરૂ કર્યું. બધું ત્યાંથી શરૂ થયું.

SVO, VINS-Mono અને ORB-SLAM જેવી પદ્ધતિઓ પ્રકાશિત થઈ અને સહિયારો પાયો બની. ખુલ્લું સંશોધન પ્રોડક્ટના પાર્ટ્સમાં ફેરવાયું.

આજનાં વ્યાવસાયિક ડ્રોન પુલની નીચે અને ઇમારતની અંદર ઉડી શકે છે, તે આ ભેગા થયેલા કામને કારણે.

ઉપરથી વસ્તુઓ નાની અને વાંકી દેખાય

જમીન પરથી લીધેલા ફોટાથી તાલીમ પામેલું AI ઉપરથી જોવામાં મૂંઝાય છે: લોકો ટપકાં બની જાય અને કારનો આકાર બદલાય.

આકાશ માટેનું ખાસ AI તાલીમ પામી શકે તે માટે VisDrone અને DOTA જેવા હવાઈ ડેટાસેટ બનાવાયા.

ડેટા જેની પાસે હોય તે નક્કી કરે છે કે AI કેટલું હોશિયાર બને. ફાઉન્ડેશન મોડેલના યુગમાં પણ આ બદલાયું નથી.

Sir Airffic GoAI માં ફરક ઘણી વાર અલ્ગોરિધમ કરતાં તમારી પાસે કેટલો હવાઈ ડેટા છે તેના પર આવે છે. રણનીતિના પ્રકરણ માટે આ યાદ રાખો.

જે દિવસે AI એ માનવ ચેમ્પિયનને હરાવ્યા

2023માં ઝ્યુરિચ યુનિવર્સિટીએ બનાવેલા Swift નામના AI ડ્રોને માનવ વિશ્વ-ચેમ્પિયન ડ્રોન રેસરોને હરાવ્યા. આ કામ Nature માં પ્રકાશિત થયું.

Swift એ માત્ર કેમેરા અને IMU થી પોતાનું સ્થાન અંદાજ્યું, અને રિઇન્ફોર્સમેન્ટ લર્નિંગથી ઉડતાં શીખ્યું — સિમ્યુલેશનમાં વારંવાર અભ્યાસ કરીને.

આ એક નક્કી રેસ-માર્ગ પર હતું. બદલાતા હવામાન અને અવરોધવાળા વાસ્તવિક આકાશમાં એ જ કુશળતા મેળવવી હજુ ખુલ્લો પડકાર છે.

ડીપ રિઇન્ફોર્સમેન્ટ લર્નિંગથી ચેમ્પિયન-સ્તરની ડ્રોન રેસ (UZH)

ઝ્યુરિચ યુનિવર્સિટીના Robotics and Perception Group એ પ્રકાશિત કરેલો Swift AI ડ્રોનનો વીડિયો. YouTube ↗ · તમે ચલાવો નહીં ત્યાં સુધી YouTube માંથી કંઈ લોડ થતું નથી

આગલી લહેર: જુએ, વિચારે અને શબ્દો પર કામ કરે

આશરે 2023થી ચિત્ર અને ભાષા બંને સંભાળતાં મોટાં AI મોડેલ (ફાઉન્ડેશન મોડેલ) રોબોટનાં મગજ તરીકે કામ કરવા લાગ્યાં.

દૃશ્ય સમજતાં સમજતાં બોલેલી સૂચના પ્રમાણે ઉડવાનું ડ્રોન સંશોધન (aerial vision-language navigation) વધી રહ્યું છે.

મોટાં મોડેલ ભારે છે, અને તેમને ડ્રોન પર ઝડપથી ચલાવવાં હજુ મુશ્કેલ છે. એટલે જ ચિપ — આગલું પ્રકરણ — સાથે વાંચવું જોઈએ.

વારંવાર પૂછાતા પ્રશ્નો

ડ્રોન કમ્પ્યુટર વિઝન કયાં કામોમાં વપરાય છે?

પુલ અને વીજળીના તાર પર તિરાડ શોધવી, પાકની તંદુરસ્તી તપાસવી, શોધ-બચાવમાં લોકોને શોધવા, સુરક્ષા અને ટ્રાફિક પર નજર, અને ડિલિવરીની જગ્યા તપાસવી — આ સામાન્ય ઉપયોગ છે.

Visual-inertial odometry (VIO) શું છે?

તસવીરની ગતિને IMU ના ગતિ અને ફરવાના માપ સાથે જોડીને ડ્રોન કેટલું ખસ્યું તે ગણવાની રીત. GPS વગર ઉડવા માટેની આ પાયાની ટેક્નોલોજી છે.