Airffic InstituteAERIAL PHYSICAL AI

Aerial Physical AI Institute

Vision AI: дрон харсан зүйлээ хэрхэн ойлгодог вэ

Харах нь нисэхэд хангалтгүй. Тархи харсан зүйлээ ойлгох ёстой.

Товч хариулт: Дроны Vision AI дөрвөн шатаар хөгжсөн: ① биетийг олох (илрүүлэлт), ② дагах (мөрдөлт), ③ өөрийн байрлалыг мэдэх (SLAM, VIO), ④ үгээр өгсөн зааврыг ойлгох (суурь загвар). Бид ④-р шатны үүдэнд байна.

Шинэчилсэн: · 2 минут уншихБид хэрхэн судалсан бэ →

Sir Airffic GoИхэнх нь эрдэм шинжилгээний өгүүллээс гаралтай ч үгийг энгийн байлгасан. Надтай хамт яваарай.

Ойлголтын дөрвөн шат

  1. Илрүүлэлт: зураг дээрх хүн, машин, цахилгааны шугамыг олж, хүрээ татна.
  2. Мөрдөлт: олсон биет дараа нь хаашаа хөдлөхийг дагана.
  3. Өөрийн байрлал тогтоох: зургийн хөдөлгөөн болон IMU-гаас хэр хол, хаашаа хөдөлснөө тооцоолно (VIO: харааны-инерцийн одометр).
  4. Ойлгох ба заавар: «улаан дээвэртэй байшингийн арыг шалга» гэдгийг ойлгож, үгийг харж буй зүйлтэй холбоно (VLM: зураг, хэлийг хамт боловсруулдаг AI).

Газрын зураг зурангаа нисэх: SLAM ба VIO

2000-аад оны сүүлээр их сургуулийн лабораториуд нэг камер, нэг IMU-гаар жижиг дроны байрлалыг тооцоолж эхэлсэн. Бүх зүйл тэндээс эхэлсэн.

SVO, VINS-Mono, ORB-SLAM зэрэг арга нийтлэгдэж, нийтлэг суурь болсон. Нээлттэй судалгаа бүтээгдэхүүний эд анги болж хувирсан.

Өнөөгийн арилжааны дронууд гүүрэн доор, барилга дотор нисч чаддаг нь энэ хуримтлагдсан ажлын ачаар.

Дээрээс харахад юм жижиг, гажуу харагдана

Газраас авсан зургаар сургасан AI дээрээс харахад бэрхшээдэг: хүн цэг болж, машин хэлбэрээ өөрчилнө.

Тэнгэрт тохирсон AI сургахын тулд VisDrone, DOTA зэрэг агаарын зургийн өгөгдлийн сан бүтээгдсэн.

Өгөгдлийг хэн эзэмшинэ, тэр AI хэр ухаалаг болохыг тодорхойлно. Суурь загварын эрин үед ч энэ өөрчлөгдөөгүй.

Sir Airffic GoAI-н ялгаа ихэнхдээ алгоритмаас илүү хэр их агаарын өгөгдөл эзэмшихээс хамаардаг. Стратегийн бүлэгт үүнийг санаарай.

AI хүний аваргуудыг ялсан өдөр

2023 онд Цюрихийн их сургуульд бүтээсэн Swift хэмээх AI дрон дроны уралдааны хүний дэлхийн аваргуудыг ялсан. Энэ ажил Nature сэтгүүлд нийтлэгдсэн.

Swift зөвхөн камер, IMU-гаар байрлалаа тооцоолж, бататгах сургалтаар (симуляцид олон удаа дадлага хийж) нисэж сурсан.

Энэ нь тогтсон зам дээр болсон. Цаг агаар, саад нь өөрчлөгддөг бодит тэнгэрт ийм ур чадварт хүрэх нь нээлттэй сорилт хэвээр.

Гүн бататгах сургалтаар аварга түвшний дроны уралдаан (UZH)

Цюрихийн их сургуулийн Роботик ба мэдрэхүйн бүлгийн нийтэлсэн Swift AI дроны видео. YouTube ↗ · Тоглуулах товч дарах хүртэл YouTube-ээс юу ч ачаалахгүй

Дараагийн давалгаа: харж, бодож, үгээр үйлдэх

2023 оны орчмоос зураг, хэлийг хамт боловсруулдаг том AI загварууд (суурь загвар) роботын тархи болж эхэлсэн.

Нөхцөл байдлыг ойлгонгоо ярианы заавар дагадаг дроны судалгаа (агаарын харааны-хэлний навигаци) өсч байна.

Том загвар хүнд тул дрон дээр хурдан ажиллуулах нь одоо ч хэцүү. Тиймээс дараагийн бүлэг болох чипийг хамт уншаарай.

Түгээмэл асуултууд

Дроны компьютер хараа ямар ажилд хэрэглэгддэг вэ?

Гүүр, цахилгааны шугамын хагарал илрүүлэх, ургамлын төлөв шалгах, эрэн хайх ажиллагаанд хүн олох, хамгаалалт, замын хөдөлгөөн хянах, хүргэлтийн газрыг шалгах зэрэг нь түгээмэл.

Харааны-инерцийн одометр (VIO) гэж юу вэ?

Зургийн хөдөлгөөнийг IMU-гийн хурдатгал, эргэлтийн хэмжилттэй хослуулж, дрон хэр хол хөдөлснийг тооцоолох арга. GPS-гүй нисэх үндсэн технологи.