Airffic InstituteAERIAL PHYSICAL AI
সূচী ☰

Aerial Physical AI Institute

Vision AI: ড্ৰ'নে যি দেখে তাক কেনেকৈ বুজে

উৰিবলৈ কেৱল দেখাটো যথেষ্ট নহয়। মগজুৱে যি দেখে তাক বুজিব লাগিব।

চমু উত্তৰ: ড্ৰ'নৰ Vision AI চাৰিটা স্তৰত আগবাঢ়িছে: ① বস্তু বিচাৰি পোৱা (চিনাক্তকৰণ), ② সেইবোৰ অনুসৰণ কৰা (ট্ৰেকিং), ③ নিজৰ স্থান জনা (SLAM, VIO), ④ শব্দত দিয়া নিৰ্দেশ বুজা (foundation model)। আমি এতিয়া ④ নং স্তৰৰ দুৱাৰমুখত আছোঁ।

আপডেট: · 2 মিনিটত পঢ়িব পাৰিআমি কেনেকৈ গৱেষণা কৰিলোঁ →

Sir Airffic Goইয়াৰ বহুখিনি গৱেষণা-পত্ৰৰ পৰা আহিছে, কিন্তু শব্দবোৰ সহজ ৰখা হৈছে। মোৰ লগত থাকা।

বুজাৰ চাৰিটা স্তৰ

  1. চিনাক্তকৰণ: ছবিত মানুহ, গাড়ী আৰু বিদ্যুতৰ তাঁৰ বিচাৰি সিহঁতৰ চাৰিওফালে বাকচ আঁকা।
  2. ট্ৰেকিং: বিচাৰি পোৱা বস্তুটো পিছত ক'লৈ যায় অনুসৰণ কৰা।
  3. নিজৰ স্থান নিৰ্ণয়: ছবিৰ লৰচৰ আৰু IMU ৰ পৰা তুমি কিমান আৰু ক'লৈ গ'লা উলিওৱা (VIO: visual-inertial odometry)।
  4. বুজা আৰু নিৰ্দেশ: "ৰঙা চালৰ ঘৰটোৰ পিছফাল চোৱা" বুজি শব্দবোৰ দেখা বস্তুৰ লগত মিলোৱা (VLM: ছবি আৰু ভাষা একেলগে বুজা AI)।

মেপ বনাই বনাই উৰা: SLAM আৰু VIO

2000 দশকৰ শেষৰ ফালে বিশ্ববিদ্যালয়ৰ লেবে এটা কেমেৰা আৰু এটা IMU ৰে সৰু ড্ৰ'নৰ স্থান অনুমান কৰিবলৈ আৰম্ভ কৰিলে। সকলো তাৰ পৰাই আৰম্ভ হৈছিল।

SVO, VINS-Mono আৰু ORB-SLAM ৰ দৰে পদ্ধতি প্ৰকাশ পালে আৰু সকলোৰে সাধাৰণ ভেটি হৈ পৰিল। মুকলি গৱেষণা পণ্যৰ অংশ হৈ পৰিল।

এই জমা হোৱা কামৰ বাবেই আজিৰ ব্যৱসায়িক ড্ৰ'নে দলঙৰ তলত আৰু ঘৰৰ ভিতৰত উৰিব পাৰে।

ওপৰৰ পৰা বস্তুবোৰ সৰু আৰু বেঁকা দেখা যায়

মাটিৰ পৰা তোলা ফটোৰে শিকা AI য়ে ওপৰৰ পৰা দেখা দৃশ্যত অসুবিধা পায়: মানুহ বিন্দু হৈ পৰে আৰু গাড়ীৰ আকৃতি সলনি হয়।

আকাশৰ বাবে বিশেষ AI প্ৰশিক্ষণ দিবলৈ VisDrone আৰু DOTA ৰ দৰে আকাশৰ ডেটাছেট বনোৱা হৈছিল।

যাৰ হাতত ডেটা আছে, তেওঁৱেই AI কিমান চতুৰ হ'ব ঠিক কৰে। foundation model ৰ যুগতো এই কথা সলনি হোৱা নাই।

Sir Airffic GoAI ৰ পাৰ্থক্য প্ৰায়ে এলগৰিদমতকৈ তোমাৰ হাতত কিমান আকাশৰ ডেটা আছে তাৰ ওপৰত নিৰ্ভৰ কৰে। কৌশল অধ্যায়ৰ বাবে এইটো মনত ৰাখিবা।

যিদিনা AI য়ে মানুহ চেম্পিয়নক হৰুৱালে

2023 চনত University of Zurich ত বনোৱা Swift নামৰ এটা AI ড্ৰ'নে মানুহ বিশ্ব চেম্পিয়ন ড্ৰ'ন ৰেচাৰসকলক হৰুৱালে। কামটো Nature আলোচনীত প্ৰকাশ পাইছিল।

Swift য়ে কেৱল এটা কেমেৰা আৰু এটা IMU ৰে নিজৰ স্থান অনুমান কৰিছিল, আৰু reinforcement learning (চিমুলেচনত বহুবাৰ অভ্যাস কৰি শিকা) ৰে উৰিবলৈ শিকিছিল।

এয়া এটা নিৰ্দিষ্ট ট্ৰেকত আছিল। সলনি হৈ থকা বতৰ আৰু বাধা থকা সঁচা আকাশত সেই দক্ষতা পোৱাটো এতিয়াও এটা মুকলি প্ৰত্যাহ্বান।

Deep reinforcement learning ৰে চেম্পিয়ন পৰ্যায়ৰ ড্ৰ'ন ৰেচ (UZH)

University of Zurich ৰ Robotics and Perception Group য়ে প্ৰকাশ কৰা Swift AI ড্ৰ'নৰ ভিডিঅ'। YouTube ↗ · চলাওক বুটাম নিটিপালৈকে YouTube ৰ পৰা একো লোড নহয়

পিছৰ ঢৌ: চোৱা, যুক্তি কৰা আৰু শব্দ শুনি কাম কৰা

প্ৰায় 2023 চনৰ পৰা ছবি আৰু ভাষা একেলগে বুজা ডাঙৰ AI মডেল (foundation model) ৰ'বটৰ মগজু হিচাপে ব্যৱহাৰ হ'বলৈ ধৰিলে।

দৃশ্যটো বুজি কথাৰে দিয়া নিৰ্দেশ মানি চলা ড্ৰ'নৰ গৱেষণা (aerial vision-language navigation) বাঢ়ি আছে।

ডাঙৰ মডেলবোৰ গধুৰ, আৰু ড্ৰ'নৰ ভিতৰতে বেগাই চলোৱাটো এতিয়াও কঠিন। সেয়েহে চিপৰ কথা — পিছৰ অধ্যায় — একেলগে পঢ়িব লাগিব।

সঘনাই সোধা প্ৰশ্ন

কোন কামত ড্ৰ'নৰ কম্পিউটাৰ ভিজন ব্যৱহাৰ হয়?

দলং আৰু বিদ্যুতৰ তাঁৰত ফাট বিচৰা, শস্যৰ স্বাস্থ্য চোৱা, বিচাৰ আৰু উদ্ধাৰত মানুহ বিচৰা, সুৰক্ষা আৰু ট্ৰেফিক নিৰীক্ষণ, আৰু ডেলিভাৰীৰ ঠাই পৰীক্ষা কৰা সাধাৰণ ব্যৱহাৰ।

ভিজুৱেল-ইনাৰ্চিয়েল অডমেট্ৰি (VIO) কি?

ছবিৰ লৰচৰ আৰু IMU য়ে জোখা গতিবেগৰ পৰিৱৰ্তন আৰু ঘূৰণ মিলাই ড্ৰ'নটো কিমান দূৰ গ'ল উলিওৱা এটা পদ্ধতি। GPS অবিহনে উৰিবলৈ ই এটা মূল প্ৰযুক্তি।