Airffic InstituteAERIAL PHYSICAL AI
ಪರಿವಿಡಿ ☰

Aerial Physical AI Institute

Vision AI: ಡ್ರೋನ್ ತಾನು ನೋಡುವುದನ್ನು ಹೇಗೆ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುತ್ತದೆ

ಹಾರಲು ನೋಡಿದರೆ ಸಾಲದು. ನೋಡಿದ್ದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ಮೆದುಳು ಬೇಕು.

ಚಿಕ್ಕ ಉತ್ತರ: ಡ್ರೋನ್ Vision AI ನಾಲ್ಕು ಹಂತಗಳಲ್ಲಿ ಬೆಳೆದಿದೆ: ① ವಸ್ತುಗಳನ್ನು ಹುಡುಕು (ಪತ್ತೆ), ② ಅವುಗಳನ್ನು ಹಿಂಬಾಲಿಸು (ಟ್ರ್ಯಾಕಿಂಗ್), ③ ತನ್ನ ಸ್ಥಾನ ತಿಳಿ (SLAM, VIO), ④ ಮಾತಿನ ಸೂಚನೆಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೋ (ಫೌಂಡೇಶನ್ ಮಾಡೆಲ್). ನಾವು ಈಗ ④ನೇ ಹಂತದ ಬಾಗಿಲಲ್ಲಿದ್ದೇವೆ.

ನವೀಕರಿಸಲಾಗಿದೆ: · 3 ನಿಮಿಷದ ಓದುನಾವು ಹೇಗೆ ಸಂಶೋಧಿಸಿದೆವು →

Sir Airffic Goಇದರಲ್ಲಿ ಬಹಳಷ್ಟು ಸಂಶೋಧನಾ ಪ್ರಬಂಧಗಳಿಂದ ಬಂದಿದೆ, ಆದರೆ ಪದಗಳನ್ನು ಸರಳವಾಗಿ ಇಟ್ಟಿದ್ದೇನೆ. ನನ್ನ ಜೊತೆ ಇರು.

ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವಿಕೆಯ ನಾಲ್ಕು ಹಂತಗಳು

  1. ಪತ್ತೆ: ಚಿತ್ರದಲ್ಲಿ ಜನ, ಕಾರು, ವಿದ್ಯುತ್ ತಂತಿಗಳನ್ನು ಹುಡುಕಿ ಅವುಗಳ ಸುತ್ತ ಚೌಕ ಬರೆಯುವುದು.
  2. ಟ್ರ್ಯಾಕಿಂಗ್: ಸಿಕ್ಕ ವಸ್ತು ಮುಂದೆ ಎಲ್ಲಿಗೆ ಚಲಿಸುತ್ತದೆ ಎಂದು ಹಿಂಬಾಲಿಸುವುದು.
  3. ತನ್ನ ಸ್ಥಾನ ತಿಳಿಯುವುದು: ಚಿತ್ರದ ಚಲನೆ ಮತ್ತು IMU ಬಳಸಿ ಎಷ್ಟು ದೂರ, ಎಲ್ಲಿಗೆ ಸರಿದೆ ಎಂದು ಲೆಕ್ಕ ಹಾಕುವುದು (VIO: visual-inertial odometry).
  4. ಅರ್ಥ ಮತ್ತು ಸೂಚನೆ: “ಕೆಂಪು ಛಾವಣಿಯ ಮನೆಯ ಹಿಂದೆ ನೋಡು” ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಂಡು ಪದಗಳನ್ನು ಕಾಣುವುದರೊಂದಿಗೆ ಜೋಡಿಸುವುದು (VLM: ಚಿತ್ರ ಮತ್ತು ಭಾಷೆಯನ್ನು ಒಟ್ಟಿಗೆ ನಿಭಾಯಿಸುವ AI).

ನಕ್ಷೆ ಮಾಡುತ್ತಲೇ ಹಾರುವುದು: SLAM ಮತ್ತು VIO

2000ರ ದಶಕದ ಕೊನೆಯಲ್ಲಿ, ವಿಶ್ವವಿದ್ಯಾಲಯದ ಪ್ರಯೋಗಾಲಯಗಳು ಒಂದು ಕ್ಯಾಮೆರಾ ಮತ್ತು IMU ಬಳಸಿ ಚಿಕ್ಕ ಡ್ರೋನ್‌ನ ಸ್ಥಾನ ಅಂದಾಜಿಸಲು ಶುರುಮಾಡಿದವು. ಎಲ್ಲವೂ ಅಲ್ಲಿಂದಲೇ ಆರಂಭ.

SVO, VINS-Mono ಮತ್ತು ORB-SLAM ನಂತಹ ವಿಧಾನಗಳು ಪ್ರಕಟವಾಗಿ ಎಲ್ಲರಿಗೂ ಹಂಚಿದ ಅಡಿಪಾಯವಾದವು. ಮುಕ್ತ ಸಂಶೋಧನೆ ಉತ್ಪನ್ನದ ಭಾಗಗಳಾಯಿತು.

ಇಂದಿನ ವಾಣಿಜ್ಯ ಡ್ರೋನ್‌ಗಳು ಸೇತುವೆ ಕೆಳಗೆ ಮತ್ತು ಒಳಾಂಗಣದಲ್ಲಿ ಹಾರಬಲ್ಲವು ಎಂದರೆ ಅದು ಈ ಸಂಗ್ರಹಿತ ಕೆಲಸದಿಂದಲೇ.

ಮೇಲಿನಿಂದ ನೋಡಿದರೆ ವಸ್ತುಗಳು ಚಿಕ್ಕದಾಗಿ, ವಕ್ರವಾಗಿ ಕಾಣುತ್ತವೆ

ನೆಲಮಟ್ಟದ ಫೋಟೋಗಳಿಂದ ಕಲಿತ AI ಮೇಲಿನ ನೋಟದಲ್ಲಿ ಕಷ್ಟಪಡುತ್ತದೆ: ಜನ ಚುಕ್ಕೆಗಳಾಗುತ್ತಾರೆ, ಕಾರುಗಳ ಆಕಾರ ಬದಲಾಗುತ್ತದೆ.

ಆಕಾಶಕ್ಕೆ ವಿಶೇಷವಾದ AI ಕಲಿಸಲು VisDrone ಮತ್ತು DOTA ನಂತಹ ಆಕಾಶ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಮಾಡಲಾಯಿತು.

ಡೇಟಾ ಯಾರ ಬಳಿ ಇದೆಯೋ ಅವರು AI ಎಷ್ಟು ಬುದ್ಧಿವಂತ ಎಂಬುದನ್ನು ರೂಪಿಸುತ್ತಾರೆ. ಫೌಂಡೇಶನ್ ಮಾಡೆಲ್ ಯುಗದಲ್ಲೂ ಇದು ಬದಲಾಗಿಲ್ಲ.

Sir Airffic GoAI ನಡುವಿನ ಅಂತರ ಹೆಚ್ಚಾಗಿ ಅಲ್ಗಾರಿದಮ್‌ಗಿಂತ ನಿಮ್ಮ ಬಳಿ ಎಷ್ಟು ಆಕಾಶ ಡೇಟಾ ಇದೆ ಎಂಬುದರ ಮೇಲೆ ನಿಲ್ಲುತ್ತದೆ. ತಂತ್ರ ಅಧ್ಯಾಯಕ್ಕಾಗಿ ಇದನ್ನು ನೆನಪಿಡಿ.

AI ಮಾನವ ಚಾಂಪಿಯನ್‌ಗಳನ್ನು ಸೋಲಿಸಿದ ದಿನ

2023ರಲ್ಲಿ University of Zurich ತಯಾರಿಸಿದ Swift ಎಂಬ AI ಡ್ರೋನ್ ಮಾನವ ವಿಶ್ವ ಚಾಂಪಿಯನ್ ಡ್ರೋನ್ ರೇಸರ್‌ಗಳನ್ನು ಸೋಲಿಸಿತು. ಈ ಕೆಲಸ Nature ಪತ್ರಿಕೆಯಲ್ಲಿ ಪ್ರಕಟವಾಯಿತು.

Swift ಕೇವಲ ಕ್ಯಾಮೆರಾ ಮತ್ತು IMU ಬಳಸಿ ತನ್ನ ಸ್ಥಾನ ಅಂದಾಜಿಸಿತು, ಮತ್ತು ಬಲವರ್ಧಿತ ಕಲಿಕೆ (reinforcement learning) ಮೂಲಕ ಹಾರಲು ಕಲಿಯಿತು — ಸಿಮ್ಯುಲೇಷನ್‌ನಲ್ಲಿ ಅನೇಕ ಬಾರಿ ಅಭ್ಯಾಸ ಮಾಡಿ.

ಇದು ಸ್ಥಿರ ಟ್ರ್ಯಾಕ್‌ನಲ್ಲಿ ನಡೆಯಿತು. ಬದಲಾಗುವ ಹವಾಮಾನ ಮತ್ತು ಅಡೆತಡೆಗಳಿರುವ ನಿಜ ಆಕಾಶದಲ್ಲಿ ಅದೇ ಕೌಶಲ್ಯ ತೋರಿಸುವುದು ಇನ್ನೂ ಮುಕ್ತ ಸವಾಲು.

ಡೀಪ್ ರೀಇನ್‌ಫೋರ್ಸ್‌ಮೆಂಟ್ ಲರ್ನಿಂಗ್ ಬಳಸಿ ಚಾಂಪಿಯನ್ ಮಟ್ಟದ ಡ್ರೋನ್ ರೇಸಿಂಗ್ (UZH)

University of Zurich ನ Robotics and Perception Group ಪ್ರಕಟಿಸಿದ Swift AI ಡ್ರೋನ್‌ನ ವಿಡಿಯೋ. YouTube ↗ · ನೀವು ಪ್ಲೇ ಒತ್ತುವವರೆಗೆ YouTube ನಿಂದ ಏನೂ ಲೋಡ್ ಆಗುವುದಿಲ್ಲ

ಮುಂದಿನ ಅಲೆ: ನೋಡು, ಯೋಚಿಸು, ಮಾತಿನಂತೆ ನಡೆ

ಸುಮಾರು 2023ರಿಂದ, ಚಿತ್ರ ಮತ್ತು ಭಾಷೆಯನ್ನು ಒಟ್ಟಿಗೆ ನಿಭಾಯಿಸುವ ದೊಡ್ಡ AI ಮಾಡೆಲ್‌ಗಳು (ಫೌಂಡೇಶನ್ ಮಾಡೆಲ್‌ಗಳು) ರೋಬೋಟ್ ಮೆದುಳಾಗಿ ಬಳಕೆಯಾಗಲು ಶುರುವಾದವು.

ದೃಶ್ಯವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುತ್ತಲೇ ಮಾತಿನ ಸೂಚನೆಗಳನ್ನು ಪಾಲಿಸುವ ಡ್ರೋನ್ ಸಂಶೋಧನೆ (aerial vision-language navigation) ಬೆಳೆಯುತ್ತಿದೆ.

ದೊಡ್ಡ ಮಾಡೆಲ್‌ಗಳು ಭಾರವಾಗಿವೆ, ಡ್ರೋನ್ ಒಳಗೆ ಅವುಗಳನ್ನು ವೇಗವಾಗಿ ನಡೆಸುವುದು ಇನ್ನೂ ಕಷ್ಟ. ಅದಕ್ಕೇ ಮುಂದಿನ ಅಧ್ಯಾಯವಾದ ಚಿಪ್‌ಗಳನ್ನು ಜೊತೆಯಲ್ಲೇ ಓದಬೇಕು.

ಹೆಚ್ಚಾಗಿ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

ಡ್ರೋನ್ ಕಂಪ್ಯೂಟರ್ ವಿಷನ್ ಯಾವ ಕೆಲಸಗಳಲ್ಲಿ ಬಳಕೆಯಾಗುತ್ತದೆ?

ಸೇತುವೆ ಮತ್ತು ವಿದ್ಯುತ್ ತಂತಿಗಳಲ್ಲಿ ಬಿರುಕು ಪತ್ತೆ, ಬೆಳೆಯ ಆರೋಗ್ಯ ಪರೀಕ್ಷೆ, ಹುಡುಕಾಟ ಮತ್ತು ರಕ್ಷಣೆಯಲ್ಲಿ ಜನರನ್ನು ಹುಡುಕುವುದು, ಭದ್ರತೆ ಮತ್ತು ಟ್ರಾಫಿಕ್ ಮೇಲ್ವಿಚಾರಣೆ, ಡೆಲಿವರಿ ಜಾಗ ಪರಿಶೀಲನೆ ಸಾಮಾನ್ಯ ಬಳಕೆಗಳು.

visual-inertial odometry (VIO) ಎಂದರೇನು?

ಚಿತ್ರದ ಚಲನೆಯನ್ನು IMU ಅಳೆಯುವ ವೇಗವರ್ಧನೆ ಮತ್ತು ತಿರುಗುವಿಕೆಯೊಂದಿಗೆ ಸೇರಿಸಿ ಡ್ರೋನ್ ಎಷ್ಟು ಚಲಿಸಿತು ಎಂದು ಲೆಕ್ಕ ಹಾಕುವ ವಿಧಾನ. GPS ಇಲ್ಲದೆ ಹಾರಲು ಇದು ಮೂಲ ತಂತ್ರಜ್ಞಾನ.