Airffic InstituteAERIAL PHYSICAL AI
अनुक्रमणिका ☰

Aerial Physical AI Institute

Vision AI: ड्रोन जे पाहतो ते कसे समजतो

उडण्यासाठी फक्त पाहणे पुरेसे नाही. जे दिसते ते समजणारा मेंदू लागतो.

थोडक्यात उत्तर: ड्रोन Vision AI चार टप्प्यांत विकसित झाली: ① वस्तू शोधणे (detection), ② त्यांचा पाठलाग करणे (tracking), ③ स्वतःची जागा ओळखणे (SLAM, VIO), ④ शब्दांतल्या सूचना समजणे (फाउंडेशन मॉडेल). आपण टप्पा ④ च्या दारात उभे आहोत.

अद्ययावत: · 2 मिनिटांचे वाचनआम्ही संशोधन कसे केले →

Sir Airffic Goयातले बरेचसे संशोधन लेखांतून आले आहे, पण शब्द सोपे ठेवले आहेत. माझ्यासोबत राहा.

समजण्याचे चार टप्पे

  1. शोधणे: प्रतिमेत माणसे, गाड्या आणि वीजवाहिन्या शोधून त्यांच्याभोवती चौकटी काढणे.
  2. मागोवा: सापडलेली वस्तू पुढे कुठे जाते, तिच्या मागे राहणे.
  3. स्वतःची जागा ओळखणे: प्रतिमेतील हालचाल आणि IMU वरून आपण किती आणि कुठे हललो ते काढणे (VIO: व्हिज्युअल-इनर्शियल ओडोमेट्री).
  4. समजणे आणि सूचना: "लाल छताच्या घरामागे तपासा" हे समजणे आणि शब्द जे दिसते त्याच्याशी जोडणे (VLM: प्रतिमा आणि भाषा एकत्र हाताळणारी AI).

नकाशा बनवत उडणे: SLAM आणि VIO

2000 च्या दशकाच्या शेवटी विद्यापीठांच्या प्रयोगशाळांनी एक कॅमेरा आणि IMU वापरून लहान ड्रोनची जागा अंदाजण्यास सुरुवात केली. सगळे तिथूनच सुरू झाले.

SVO, VINS-Mono आणि ORB-SLAM सारख्या पद्धती प्रसिद्ध झाल्या आणि सर्वांचा सामायिक पाया बनल्या. खुले संशोधन उत्पादनांचे सुटे भाग बनले.

आजचे व्यावसायिक ड्रोन पुलांखाली आणि इमारतींच्या आत उडू शकतात, ते या साठलेल्या कामामुळेच.

वरून पाहिले की गोष्टी लहान आणि वाकड्या दिसतात

जमिनीवरून काढलेल्या फोटोंवर शिकलेल्या AI ला वरून दिसणारी दृश्ये कठीण जातात: माणसे ठिपके होतात आणि गाड्यांचा आकार बदलतो.

आकाशासाठी खास AI शिकवता यावी म्हणून VisDrone आणि DOTA सारखे हवाई डेटासेट तयार केले गेले.

ज्याच्याकडे डेटा, तोच AI किती हुशार होते ते ठरवतो. फाउंडेशन मॉडेलच्या काळातही हे बदललेले नाही.

Sir Airffic GoAI मधले अंतर बहुतेक वेळा अल्गोरिदमपेक्षा तुमच्याकडे किती हवाई डेटा आहे यावर ठरते. रणनीती प्रकरणासाठी हे लक्षात ठेवा.

ज्या दिवशी AI ने मानवी विजेत्यांना हरवले

2023 मध्ये झुरिक विद्यापीठात बनवलेल्या Swift नावाच्या AI ड्रोनने मानवी जागतिक विजेत्या ड्रोन रेसर्सना हरवले. हे काम Nature मध्ये प्रसिद्ध झाले.

Swift ने फक्त कॅमेरा आणि IMU वापरून आपली जागा अंदाजली, आणि reinforcement learning (सिम्युलेशनमध्ये पुन्हा पुन्हा सराव करून शिकणे) द्वारे उडायला शिकला.

हे एका ठरलेल्या मार्गावर होते. बदलते हवामान आणि अडथळे असलेल्या खऱ्या आकाशात असे कौशल्य गाठणे हे अजूनही खुले आव्हान आहे.

डीप reinforcement learning वापरून विजेत्या दर्जाची ड्रोन शर्यत (UZH)

झुरिक विद्यापीठाच्या Robotics and Perception Group ने प्रसिद्ध केलेला Swift AI ड्रोनचा व्हिडिओ. YouTube ↗ · तुम्ही प्ले दाबेपर्यंत YouTube वरून काहीही लोड होत नाही

पुढची लाट: पाहणे, विचार करणे आणि शब्दांवरून कृती

साधारण 2023 पासून प्रतिमा आणि भाषा एकत्र हाताळणारी मोठी AI मॉडेल्स (फाउंडेशन मॉडेल) रोबोटचा मेंदू म्हणून वापरली जाऊ लागली.

दृश्य समजून घेत बोललेल्या सूचना पाळणाऱ्या ड्रोनवरचे संशोधन (aerial vision-language navigation) वाढत आहे.

मोठी मॉडेल्स जड असतात, आणि ती ड्रोनवर वेगाने चालवणे अजूनही कठीण आहे. म्हणूनच चिप — पुढचे प्रकरण — सोबतच वाचायला हवे.

नेहमी विचारले जाणारे प्रश्न

ड्रोन कॉम्प्युटर व्हिजन कोणत्या कामांत वापरतात?

पूल आणि वीजवाहिन्यांवरील तडे शोधणे, पिकांचे आरोग्य तपासणे, शोध व बचाव मोहिमेत माणसे शोधणे, सुरक्षा आणि वाहतूक निरीक्षण, आणि डिलिव्हरीची जागा तपासणे हे नेहमीचे उपयोग आहेत.

व्हिज्युअल-इनर्शियल ओडोमेट्री (VIO) म्हणजे काय?

प्रतिमेतील हालचाल आणि IMU ने मोजलेला वेग बदल व फिरणे एकत्र करून ड्रोन किती हलला ते काढण्याची पद्धत. GPS शिवाय उडण्यासाठी हे मूलभूत तंत्रज्ञान आहे.