Airffic InstituteAERIAL PHYSICAL AI
विषयसूची ☰

Aerial Physical AI अनुसन्धान संस्थान

Vision AI: ड्रोनले देखेको कुरा कसरी बुझ्छ

उड्नका लागि देख्नु मात्र पुग्दैन। देखेको कुरा बुझ्ने दिमाग चाहिन्छ।

छोटो उत्तर: ड्रोनको Vision AI चार चरणमा विकसित भएको छ: ① वस्तु भेट्टाउने (पहिचान), ② पछ्याउने (ट्र्याकिङ), ③ आफ्नो स्थिति थाहा पाउने (SLAM, VIO), ④ शब्दमा दिइएको निर्देशन बुझ्ने (फाउन्डेसन मोडेल)। हामी चरण ④ को ढोकामा छौं।

अद्यावधिक: · 2 मिनेटमा पढिन्छहामीले कसरी अनुसन्धान गर्यौं →

Sir Airffic Goयहाँका धेरै कुरा शोधपत्रबाट आएका हुन्, तर शब्द सजिलै राखिएका छन्। मसँगै रहनुहोस्।

बुझाइका चार चरण

  1. पहिचान: तस्बिरमा मान्छे, गाडी र बिजुलीका तार भेट्टाएर तिनको वरिपरि बाकस कोर्ने।
  2. ट्र्याकिङ: भेटिएको वस्तु अब कता जान्छ भनेर पछ्याउने।
  3. आफ्नो स्थिति पत्ता लगाउने: तस्बिरको चाल र IMU बाट आफू कति र कता सरें भनेर निकाल्ने (VIO: visual-inertial odometry)।
  4. बुझाइ र निर्देशन: "रातो छाना भएको घरको पछाडि जाँच" भन्ने कुरा बुझ्ने र शब्दलाई देखेको दृश्यसँग जोड्ने (VLM: तस्बिर र भाषा सँगै बुझ्ने AI)।

नक्सा बनाउँदै उड्ने: SLAM र VIO

2000 को दशकको अन्त्यतिर विश्वविद्यालयका प्रयोगशालाले एउटा क्यामेरा र IMU ले सानो ड्रोनको स्थिति अनुमान गर्न थाले। सबै कुरा त्यहीँबाट सुरु भयो।

SVO, VINS-Mono र ORB-SLAM जस्ता विधि प्रकाशित भए र साझा आधार बने। खुला अनुसन्धान उत्पादनका पुर्जा बन्यो।

आजका व्यावसायिक ड्रोन पुलमुनि र भवनभित्र उड्न सक्नुको कारण यही जम्मा भएको काम हो।

माथिबाट हेर्दा चीज साना र बाङ्गा देखिन्छन्

जमिनबाट खिचिएका फोटोले तालिम पाएको AI लाई माथिबाट हेर्दा गाह्रो हुन्छ: मान्छे थोप्लाजस्ता देखिन्छन् र गाडीको आकार बदलिन्छ।

आकाशकै लागि AI तालिम दिन VisDrone र DOTA जस्ता हवाई डेटासेट बनाइए।

जोसँग डेटा छ, उसैले AI कति चलाख बन्छ भन्ने तय गर्छ। फाउन्डेसन मोडेलको युगमा पनि यो बदलिएको छैन।

Sir Airffic GoAI को फरक प्रायः एल्गोरिदमभन्दा तपाईंसँग कति हवाई डेटा छ भन्नेमा भर पर्छ। रणनीति अध्यायका लागि यो सम्झनुहोस्।

AI ले मान्छे च्याम्पियनलाई हराएको दिन

2023 मा ज्युरिख विश्वविद्यालयले बनाएको Swift नामको AI ड्रोनले ड्रोन रेसका मान्छे विश्व च्याम्पियनहरूलाई हरायो। यो काम Nature मा प्रकाशित भयो।

Swift ले क्यामेरा र IMU मात्रले आफ्नो स्थिति अनुमान गर्‍यो, र रिइन्फोर्समेन्ट लर्निङ (सिमुलेसनमा धेरै पटक अभ्यास गरेर सिक्ने तरिका) बाट उड्न सिक्यो।

यो तोकिएको रेस ट्र्याकमा थियो। मौसम र अवरोध बदलिने वास्तविक आकाशमा त्यही सीप देखाउनु अझै खुला चुनौती हो।

डिप रिइन्फोर्समेन्ट लर्निङले च्याम्पियन स्तरको ड्रोन रेस (UZH)

ज्युरिख विश्वविद्यालयको Robotics and Perception Group ले सार्वजनिक गरेको Swift AI ड्रोनको भिडियो। YouTube ↗ · तपाईंले प्ले नथिचेसम्म YouTube बाट केही पनि लोड हुँदैन

अर्को लहर: हेर्ने, सोच्ने र शब्दअनुसार काम गर्ने

2023 तिरबाट तस्बिर र भाषा सँगै बुझ्ने ठूला AI मोडेल (फाउन्डेसन मोडेल) रोबोटको दिमागका रूपमा प्रयोग हुन थाले।

दृश्य बुझ्दै बोलेको निर्देशन पालना गर्ने ड्रोन अनुसन्धान (हवाई भिजन-भाषा दिशानिर्देशन) बढ्दैछ।

ठूला मोडेल गह्रौं हुन्छन्, र तिनलाई ड्रोनमै छिटो चलाउन अझै गाह्रो छ। त्यसैले अर्को अध्याय — चिप — सँगै पढ्नुपर्छ।

प्रायः सोधिने प्रश्नहरू

ड्रोनको कम्प्युटर भिजन कुन काममा प्रयोग हुन्छ?

पुल र बिजुलीका तारमा चिरा पत्ता लगाउने, बालीको स्वास्थ्य जाँच्ने, खोज र उद्धारमा मान्छे भेट्टाउने, सुरक्षा र ट्राफिक निगरानी, र डेलिभरी ठाउँ जाँच्ने जस्ता काममा प्रायः प्रयोग हुन्छ।

Visual-inertial odometry (VIO) भनेको के हो?

तस्बिरको चाललाई IMU ले नापेको गति बढ्ने दर र घुमाइसँग जोडेर ड्रोन कति सर्‍यो भनेर हिसाब गर्ने तरिका। GPS बिना उड्नका लागि यो आधारभूत प्रविधि हो।