Airffic InstituteAERIAL PHYSICAL AI

空中物理AI研究所

视觉AI:无人机怎样看懂它看到的东西

光是看见还不够飞。大脑得理解自己看到了什么。

简短回答: 无人机视觉AI分四个阶段进化:① 找到物体(检测),② 跟住物体(跟踪),③ 知道自己的位置(SLAM、VIO),④ 听懂文字指令(基础模型)。我们正站在第④阶段的门口。

更新: · 约2分钟读完我们怎样研究 →

Sir Airffic Go这部分很多内容来自研究论文,不过用词我尽量简单。跟着我走。

理解的四个阶段

  1. 检测:在图像中找到人、车和电线,并用方框把它们框出来。
  2. 跟踪:追着找到的物体,看它接下来往哪里走。
  3. 自我定位:根据图像的变化加上IMU,算出自己移动了多远、到了哪里(VIO:视觉惯性里程计)。
  4. 理解与指令:听懂“去查看红屋顶房子的后面”,把文字和眼前看到的东西对上号(VLM:同时处理图像和语言的AI)。

边画地图边飞:SLAM和VIO

2000年代后期,大学实验室开始用一个摄像头加一个IMU估算小型无人机的位置。一切从这里开始。

SVO、VINS-Mono、ORB-SLAM等方法相继发表,成了大家共用的基础。公开的研究变成了产品的零部件。

今天的商用无人机能在桥下和室内飞,靠的就是这些积累。

从上往下看,东西又小又变形

用地面照片训练的AI,不擅长看从上往下的画面:人变成了小点,车的形状也变了。

于是有了VisDrone、DOTA等航拍数据集,用来训练专门看天空视角的AI。

谁拥有数据,谁就决定AI能有多聪明。到了基础模型时代,这一点也没变。

Sir Airffic GoAI的差距,往往更多取决于你拥有多少航拍数据,而不是算法。读“策略”章节时请记住这一点。

AI打败人类冠军的那一天

2023年,苏黎世大学开发的AI无人机Swift,击败了人类世界冠军级的无人机竞速选手。这项成果发表在《自然》(Nature)杂志上。

Swift只用一个摄像头和一个IMU估算自己的位置,并通过强化学习——在模拟器里反复练习——学会了飞行。

不过那是在固定赛道上。要在天气和障碍物不断变化的真实天空中做到同样水平,仍是一个未解决的难题。

用深度强化学习达到冠军水平的无人机竞速(苏黎世大学)

苏黎世大学机器人与感知研究组发布的Swift AI无人机视频。 YouTube ↗ · 按下播放之前,不会从YouTube加载任何内容

下一波浪潮:能看、能想、能听指令行动

大约从2023年起,同时处理图像和语言的大型AI模型(基础模型)开始充当机器人的大脑。

让无人机一边理解场景、一边按口头指令飞行的研究(空中视觉语言导航)正在增多。

大模型很重,要在机上快速运行仍然很难。所以下一章讲的芯片,必须一起读。

常见问题

哪些工作会用到无人机计算机视觉?

常见用途有:检测桥梁和电线上的裂缝、检查农作物长势、搜救时找人、安防和交通监控,以及确认配送地点。

什么是视觉惯性里程计(VIO)?

把图像的变化和IMU测得的加速度、转动结合起来,算出无人机移动了多远的方法。它是不靠GPS飞行的基础技术。