Sir Airffic Go这部分很多内容来自研究论文,不过用词我尽量简单。跟着我走。
理解的四个阶段
- 检测:在图像中找到人、车和电线,并用方框把它们框出来。
- 跟踪:追着找到的物体,看它接下来往哪里走。
- 自我定位:根据图像的变化加上IMU,算出自己移动了多远、到了哪里(VIO:视觉惯性里程计)。
- 理解与指令:听懂“去查看红屋顶房子的后面”,把文字和眼前看到的东西对上号(VLM:同时处理图像和语言的AI)。
边画地图边飞:SLAM和VIO
2000年代后期,大学实验室开始用一个摄像头加一个IMU估算小型无人机的位置。一切从这里开始。
SVO、VINS-Mono、ORB-SLAM等方法相继发表,成了大家共用的基础。公开的研究变成了产品的零部件。
今天的商用无人机能在桥下和室内飞,靠的就是这些积累。
从上往下看,东西又小又变形
用地面照片训练的AI,不擅长看从上往下的画面:人变成了小点,车的形状也变了。
于是有了VisDrone、DOTA等航拍数据集,用来训练专门看天空视角的AI。
谁拥有数据,谁就决定AI能有多聪明。到了基础模型时代,这一点也没变。
Sir Airffic GoAI的差距,往往更多取决于你拥有多少航拍数据,而不是算法。读“策略”章节时请记住这一点。
AI打败人类冠军的那一天
2023年,苏黎世大学开发的AI无人机Swift,击败了人类世界冠军级的无人机竞速选手。这项成果发表在《自然》(Nature)杂志上。
Swift只用一个摄像头和一个IMU估算自己的位置,并通过强化学习——在模拟器里反复练习——学会了飞行。
不过那是在固定赛道上。要在天气和障碍物不断变化的真实天空中做到同样水平,仍是一个未解决的难题。
用深度强化学习达到冠军水平的无人机竞速(苏黎世大学)
依据: [N124]
下一波浪潮:能看、能想、能听指令行动
大约从2023年起,同时处理图像和语言的大型AI模型(基础模型)开始充当机器人的大脑。
让无人机一边理解场景、一边按口头指令飞行的研究(空中视觉语言导航)正在增多。
大模型很重,要在机上快速运行仍然很难。所以下一章讲的芯片,必须一起读。
依据: [N133]
常见问题
哪些工作会用到无人机计算机视觉?
常见用途有:检测桥梁和电线上的裂缝、检查农作物长势、搜救时找人、安防和交通监控,以及确认配送地点。
什么是视觉惯性里程计(VIO)?
把图像的变化和IMU测得的加速度、转动结合起来,算出无人机移动了多远的方法。它是不靠GPS飞行的基础技术。