Sir Airffic GoPhần lớn nội dung này đến từ các bài báo khoa học, nhưng lời lẽ được giữ thật đơn giản. Cứ đi cùng mình nhé.
Bốn giai đoạn của việc hiểu
- Phát hiện: tìm người, xe và dây điện trong ảnh rồi vẽ khung quanh chúng.
- Theo dõi: bám theo vật đã tìm thấy xem nó đi đâu tiếp.
- Tự định vị: tính xem mình đã di chuyển bao xa và tới đâu, dựa vào chuyển động trong ảnh cộng với IMU (VIO: đo hành trình bằng hình ảnh và quán tính).
- Hiểu và làm theo lời: hiểu câu "kiểm tra phía sau ngôi nhà mái đỏ" và nối lời nói với thứ mình nhìn thấy (VLM: AI xử lý cùng lúc hình ảnh và ngôn ngữ).
Vừa bay vừa vẽ bản đồ: SLAM và VIO
Cuối những năm 2000, các phòng thí nghiệm đại học bắt đầu ước tính vị trí của drone nhỏ chỉ bằng một camera và một IMU. Mọi thứ bắt đầu từ đó.
Các phương pháp như SVO, VINS-Mono và ORB-SLAM được công bố và trở thành nền móng chung. Nghiên cứu mở đã biến thành linh kiện của sản phẩm.
Drone thương mại ngày nay bay được dưới gầm cầu và trong nhà là nhờ những thành quả tích lũy ấy.
Nhìn từ trên cao, mọi thứ nhỏ và méo
AI học từ ảnh chụp dưới mặt đất gặp khó khi nhìn từ trên cao: người thành những chấm nhỏ, xe đổi hình dạng.
Các bộ dữ liệu ảnh trên không như VisDrone và DOTA được tạo ra để huấn luyện AI riêng cho bầu trời.
Ai nắm dữ liệu thì người đó quyết định AI thông minh đến đâu. Điều này không đổi cả trong thời đại mô hình nền tảng.
Sir Airffic GoKhoảng cách giữa các AI thường nằm ở lượng dữ liệu ảnh trên không bạn sở hữu, hơn là ở thuật toán. Nhớ điều này cho chương chiến lược nhé.
Ngày AI đánh bại các nhà vô địch con người
Năm 2023, drone AI tên Swift do Đại học Zurich chế tạo đã đánh bại các nhà vô địch thế giới đua drone. Công trình được đăng trên tạp chí Nature.
Swift ước tính vị trí chỉ bằng một camera và một IMU, và học bay bằng học tăng cường — luyện tập rất nhiều lần trong mô phỏng.
Đó là trên một đường đua cố định. Đạt được kỹ năng ấy trên bầu trời thật, với thời tiết và vật cản luôn thay đổi, vẫn là thử thách còn bỏ ngỏ.
Đua drone ở trình độ vô địch bằng học tăng cường sâu (UZH)
Bằng chứng: [N124]
Làn sóng tiếp theo: nhìn, suy luận và làm theo lời
Từ khoảng năm 2023, các mô hình AI lớn xử lý cùng lúc hình ảnh và ngôn ngữ (mô hình nền tảng) bắt đầu làm bộ não cho robot.
Nghiên cứu về drone vừa làm theo lời nói vừa hiểu khung cảnh (dẫn đường bằng thị giác và ngôn ngữ trên không) đang tăng lên.
Mô hình lớn thì nặng, và chạy chúng thật nhanh ngay trên máy bay vẫn còn khó. Vì vậy cần đọc kèm chương tiếp theo về chip.
Bằng chứng: [N133]
Câu hỏi thường gặp
Thị giác máy tính cho drone được dùng trong công việc nào?
Phổ biến là tìm vết nứt trên cầu và đường dây điện, kiểm tra sức khỏe cây trồng, tìm người khi tìm kiếm cứu nạn, giám sát an ninh và giao thông, và kiểm tra điểm giao hàng.
Đo hành trình bằng hình ảnh và quán tính (VIO) là gì?
Là cách kết hợp chuyển động trong ảnh với số đo gia tốc và độ xoay của IMU để tính drone đã đi được bao xa. Đây là công nghệ cơ bản để bay không cần GPS.