Airffic InstituteAERIAL PHYSICAL AI
ਸੂਚੀ ☰

Aerial Physical AI Institute

Vision AI: ਡਰੋਨ ਜੋ ਦੇਖਦਾ ਹੈ, ਉਸ ਨੂੰ ਕਿਵੇਂ ਸਮਝਦਾ ਹੈ

ਉੱਡਣ ਲਈ ਸਿਰਫ਼ ਦੇਖਣਾ ਕਾਫ਼ੀ ਨਹੀਂ। ਦਿਮਾਗ ਨੂੰ ਸਮਝਣਾ ਵੀ ਪੈਂਦਾ ਹੈ ਕਿ ਉਹ ਕੀ ਦੇਖ ਰਿਹਾ ਹੈ।

ਛੋਟਾ ਜਵਾਬ: ਡਰੋਨ Vision AI ਚਾਰ ਪੜਾਵਾਂ ਵਿੱਚ ਅੱਗੇ ਵਧੀ ਹੈ: ① ਚੀਜ਼ਾਂ ਲੱਭਣਾ (ਡਿਟੈਕਸ਼ਨ), ② ਉਨ੍ਹਾਂ ਦਾ ਪਿੱਛਾ ਕਰਨਾ (ਟ੍ਰੈਕਿੰਗ), ③ ਆਪਣੀ ਥਾਂ ਜਾਣਨਾ (SLAM, VIO), ④ ਸ਼ਬਦਾਂ ਵਿੱਚ ਦਿੱਤੀਆਂ ਹਦਾਇਤਾਂ ਸਮਝਣਾ (ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲ)। ਅਸੀਂ ਪੜਾਅ ④ ਦੇ ਦਰਵਾਜ਼ੇ ’ਤੇ ਹਾਂ।

ਅੱਪਡੇਟ: · 2 ਮਿੰਟ ਦੀ ਪੜ੍ਹਾਈਅਸੀਂ ਖੋਜ ਕਿਵੇਂ ਕੀਤੀ →

Sir Airffic Goਇਸ ਦਾ ਬਹੁਤਾ ਹਿੱਸਾ ਖੋਜ-ਪੱਤਰਾਂ ਤੋਂ ਆਉਂਦਾ ਹੈ, ਪਰ ਸ਼ਬਦ ਸੌਖੇ ਰੱਖੇ ਹਨ। ਮੇਰੇ ਨਾਲ ਬਣੇ ਰਹੋ।

ਸਮਝ ਦੇ ਚਾਰ ਪੜਾਅ

  1. ਡਿਟੈਕਸ਼ਨ (ਪਛਾਣ): ਤਸਵੀਰ ਵਿੱਚ ਲੋਕ, ਕਾਰਾਂ ਅਤੇ ਬਿਜਲੀ ਦੀਆਂ ਤਾਰਾਂ ਲੱਭ ਕੇ ਉਨ੍ਹਾਂ ਦੁਆਲੇ ਡੱਬੇ ਬਣਾਉਣਾ।
  2. ਟ੍ਰੈਕਿੰਗ (ਪਿੱਛਾ): ਲੱਭੀ ਹੋਈ ਚੀਜ਼ ਅੱਗੇ ਕਿੱਥੇ ਜਾਂਦੀ ਹੈ, ਇਸ ’ਤੇ ਨਜ਼ਰ ਰੱਖਣਾ।
  3. ਆਪਣੀ ਥਾਂ ਲੱਭਣਾ: ਤਸਵੀਰ ਦੀ ਹਰਕਤ ਅਤੇ IMU ਤੋਂ ਹਿਸਾਬ ਲਾਉਣਾ ਕਿ ਕਿੰਨਾ ਅਤੇ ਕਿੱਥੇ ਹਿੱਲੇ (VIO: ਵਿਜ਼ੂਅਲ-ਇਨਰਸ਼ੀਅਲ ਓਡੋਮੈਟਰੀ)।
  4. ਸਮਝ ਅਤੇ ਹਦਾਇਤ: “ਲਾਲ ਛੱਤ ਵਾਲੇ ਘਰ ਦੇ ਪਿੱਛੇ ਦੇਖੋ” ਵਰਗੀ ਗੱਲ ਸਮਝਣਾ ਅਤੇ ਸ਼ਬਦਾਂ ਨੂੰ ਦਿਸਦੀ ਚੀਜ਼ ਨਾਲ ਜੋੜਨਾ (VLM: ਤਸਵੀਰ ਅਤੇ ਭਾਸ਼ਾ ਇਕੱਠੀ ਸਮਝਣ ਵਾਲੀ AI)।

ਨਕਸ਼ਾ ਬਣਾਉਂਦੇ ਹੋਏ ਉੱਡਣਾ: SLAM ਅਤੇ VIO

2000 ਦੇ ਦਹਾਕੇ ਦੇ ਅਖ਼ੀਰ ਵਿੱਚ ਯੂਨੀਵਰਸਿਟੀ ਲੈਬਾਂ ਨੇ ਇੱਕ ਕੈਮਰੇ ਅਤੇ IMU ਨਾਲ ਛੋਟੇ ਡਰੋਨ ਦੀ ਥਾਂ ਦਾ ਅੰਦਾਜ਼ਾ ਲਾਉਣਾ ਸ਼ੁਰੂ ਕੀਤਾ। ਸਭ ਕੁਝ ਉੱਥੋਂ ਸ਼ੁਰੂ ਹੋਇਆ।

SVO, VINS-Mono ਅਤੇ ORB-SLAM ਵਰਗੇ ਤਰੀਕੇ ਛਪੇ ਅਤੇ ਸਾਰਿਆਂ ਦੀ ਸਾਂਝੀ ਨੀਂਹ ਬਣ ਗਏ। ਖੁੱਲ੍ਹੀ ਖੋਜ ਉਤਪਾਦਾਂ ਦੇ ਪੁਰਜ਼ੇ ਬਣ ਗਈ।

ਅੱਜ ਦੇ ਕਾਰੋਬਾਰੀ ਡਰੋਨ ਪੁਲਾਂ ਹੇਠਾਂ ਅਤੇ ਇਮਾਰਤਾਂ ਅੰਦਰ ਇਸੇ ਇਕੱਠੀ ਹੋਈ ਮਿਹਨਤ ਕਰਕੇ ਉੱਡ ਸਕਦੇ ਹਨ।

ਉੱਪਰੋਂ ਚੀਜ਼ਾਂ ਛੋਟੀਆਂ ਅਤੇ ਟੇਢੀਆਂ ਦਿਸਦੀਆਂ ਹਨ

ਜ਼ਮੀਨ ਤੋਂ ਖਿੱਚੀਆਂ ਫ਼ੋਟੋਆਂ ’ਤੇ ਸਿੱਖੀ AI ਨੂੰ ਉੱਪਰੋਂ ਦਾ ਨਜ਼ਾਰਾ ਔਖਾ ਲੱਗਦਾ ਹੈ: ਲੋਕ ਬਿੰਦੂ ਬਣ ਜਾਂਦੇ ਹਨ ਅਤੇ ਕਾਰਾਂ ਦਾ ਆਕਾਰ ਬਦਲ ਜਾਂਦਾ ਹੈ।

VisDrone ਅਤੇ DOTA ਵਰਗੇ ਹਵਾਈ ਡਾਟਾਸੈੱਟ ਇਸੇ ਲਈ ਬਣਾਏ ਗਏ ਤਾਂ ਜੋ ਅਸਮਾਨ ਲਈ ਖ਼ਾਸ AI ਸਿਖਾਈ ਜਾ ਸਕੇ।

ਜਿਸ ਕੋਲ ਡਾਟਾ ਹੈ, ਉਹੀ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ AI ਕਿੰਨੀ ਸਮਝਦਾਰ ਬਣੇਗੀ। ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਦੇ ਦੌਰ ਵਿੱਚ ਵੀ ਇਹ ਨਹੀਂ ਬਦਲਿਆ।

Sir Airffic GoAI ਵਿੱਚ ਫ਼ਰਕ ਅਕਸਰ ਐਲਗੋਰਿਦਮ ਨਾਲੋਂ ਇਸ ਗੱਲ ਤੋਂ ਆਉਂਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਕੋਲ ਕਿੰਨਾ ਹਵਾਈ ਡਾਟਾ ਹੈ। ਰਣਨੀਤੀ ਵਾਲੇ ਅਧਿਆਇ ਲਈ ਇਹ ਯਾਦ ਰੱਖਣਾ।

ਜਿਸ ਦਿਨ AI ਨੇ ਇਨਸਾਨੀ ਚੈਂਪੀਅਨਾਂ ਨੂੰ ਹਰਾਇਆ

2023 ਵਿੱਚ University of Zurich ਵਿੱਚ ਬਣੇ Swift ਨਾਮ ਦੇ AI ਡਰੋਨ ਨੇ ਇਨਸਾਨੀ ਵਿਸ਼ਵ-ਚੈਂਪੀਅਨ ਡਰੋਨ ਰੇਸਰਾਂ ਨੂੰ ਹਰਾਇਆ। ਇਹ ਕੰਮ Nature ਰਸਾਲੇ ਵਿੱਚ ਛਪਿਆ।

Swift ਨੇ ਸਿਰਫ਼ ਕੈਮਰੇ ਅਤੇ IMU ਨਾਲ ਆਪਣੀ ਥਾਂ ਦਾ ਅੰਦਾਜ਼ਾ ਲਾਇਆ, ਅਤੇ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਨਾਲ ਉੱਡਣਾ ਸਿੱਖਿਆ — ਯਾਨੀ ਸਿਮੂਲੇਸ਼ਨ ਵਿੱਚ ਵਾਰ-ਵਾਰ ਅਭਿਆਸ ਕਰਕੇ।

ਇਹ ਇੱਕ ਪੱਕੇ ਟਰੈਕ ’ਤੇ ਸੀ। ਬਦਲਦੇ ਮੌਸਮ ਅਤੇ ਰੁਕਾਵਟਾਂ ਵਾਲੇ ਅਸਲੀ ਅਸਮਾਨ ਵਿੱਚ ਇਹੋ ਜਿਹਾ ਹੁਨਰ ਲਿਆਉਣਾ ਅਜੇ ਵੀ ਖੁੱਲ੍ਹੀ ਚੁਣੌਤੀ ਹੈ।

ਡੂੰਘੀ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਨਾਲ ਚੈਂਪੀਅਨ ਪੱਧਰ ਦੀ ਡਰੋਨ ਰੇਸ (UZH)

University of Zurich ਦੇ Robotics and Perception Group ਵੱਲੋਂ ਜਾਰੀ Swift AI ਡਰੋਨ ਦੀ ਵੀਡੀਓ। YouTube ↗ · ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਚਲਾਓ ਨਹੀਂ ਦਬਾਉਂਦੇ, YouTube ਤੋਂ ਕੁਝ ਵੀ ਲੋਡ ਨਹੀਂ ਹੁੰਦਾ

ਅਗਲੀ ਲਹਿਰ: ਦੇਖੋ, ਸੋਚੋ ਅਤੇ ਸ਼ਬਦਾਂ ’ਤੇ ਅਮਲ ਕਰੋ

ਲਗਭਗ 2023 ਤੋਂ ਤਸਵੀਰ ਅਤੇ ਭਾਸ਼ਾ ਇਕੱਠੇ ਸੰਭਾਲਣ ਵਾਲੇ ਵੱਡੇ AI ਮਾਡਲ (ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲ) ਰੋਬੋਟਾਂ ਦੇ ਦਿਮਾਗ ਵਜੋਂ ਵਰਤੇ ਜਾਣ ਲੱਗੇ।

ਨਜ਼ਾਰਾ ਸਮਝਦੇ ਹੋਏ ਬੋਲੀਆਂ ਹਦਾਇਤਾਂ ਮੰਨਣ ਵਾਲੇ ਡਰੋਨਾਂ ’ਤੇ ਖੋਜ (ਏਰੀਅਲ ਵਿਜ਼ਨ-ਲੈਂਗੁਏਜ ਨੈਵੀਗੇਸ਼ਨ) ਵਧ ਰਹੀ ਹੈ।

ਵੱਡੇ ਮਾਡਲ ਭਾਰੇ ਹਨ, ਅਤੇ ਇਨ੍ਹਾਂ ਨੂੰ ਡਰੋਨ ਦੇ ਅੰਦਰ ਤੇਜ਼ੀ ਨਾਲ ਚਲਾਉਣਾ ਅਜੇ ਵੀ ਔਖਾ ਹੈ। ਇਸੇ ਲਈ ਅਗਲਾ ਅਧਿਆਇ, ਚਿੱਪਾਂ ਵਾਲਾ, ਨਾਲ ਪੜ੍ਹਨਾ ਜ਼ਰੂਰੀ ਹੈ।

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਡਰੋਨ ਕੰਪਿਊਟਰ ਵਿਜ਼ਨ ਕਿਹੜੇ ਕੰਮਾਂ ਵਿੱਚ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ?

ਪੁਲਾਂ ਅਤੇ ਬਿਜਲੀ ਦੀਆਂ ਤਾਰਾਂ ਵਿੱਚ ਤਰੇੜਾਂ ਲੱਭਣਾ, ਫ਼ਸਲਾਂ ਦੀ ਸਿਹਤ ਦੇਖਣਾ, ਖੋਜ ਤੇ ਬਚਾਅ ਵਿੱਚ ਲੋਕ ਲੱਭਣਾ, ਸੁਰੱਖਿਆ ਅਤੇ ਟ੍ਰੈਫ਼ਿਕ ’ਤੇ ਨਜ਼ਰ, ਅਤੇ ਡਿਲਿਵਰੀ ਵਾਲੀ ਥਾਂ ਦੀ ਜਾਂਚ ਆਮ ਵਰਤੋਂ ਹਨ।

ਵਿਜ਼ੂਅਲ-ਇਨਰਸ਼ੀਅਲ ਓਡੋਮੈਟਰੀ (VIO) ਕੀ ਹੈ?

ਇੱਕ ਤਰੀਕਾ ਜੋ ਤਸਵੀਰ ਦੀ ਹਰਕਤ ਨੂੰ IMU ਦੇ ਰਫ਼ਤਾਰ-ਬਦਲਾਅ ਅਤੇ ਘੁੰਮਣ ਦੇ ਮਾਪਾਂ ਨਾਲ ਜੋੜ ਕੇ ਹਿਸਾਬ ਲਾਉਂਦਾ ਹੈ ਕਿ ਡਰੋਨ ਕਿੰਨਾ ਹਿੱਲਿਆ। ਇਹ GPS ਤੋਂ ਬਿਨਾਂ ਉੱਡਣ ਦੀ ਬੁਨਿਆਦੀ ਤਕਨੀਕ ਹੈ।