ai studio 地址

https://aistudio.baidu.com/projectdetail/4530305

无人机汽车尾气监测系统

作品介绍

作品设计

基于大疆Mobile SDK 二次开发的安卓app控制无人机定点巡航采集图像信息，
通过nginx-rtmp服务器将无人机采集的图像实时传给高性能计算机处理，再将检测数据通过socket上传我们的数据处理云服务器，后面统称服务器。stm32通过空气检测模块获取汽车尾气的信息，通过蓝牙传输给手机，手机再通过socket将数据传输到服务器。服务器对数据进行处理，再由web网页将数据展示给用户。

目的和基本思路

响应节能减排，绿色出行这一主题，我们想要通过深度学习这一新的技术对过去的一些问题进行解决，通过深度学习和web网站等各种技术，对汽车排放的气体进行检测，形成一整套管理系统，通过rtmp，socket等协议将各个分散功能，如神经网络、后端数据储存、气体检测等功能连接起来。

创新点

我们将近几年火起来的深度学习的技术和大疆无人机结合起来，再加入web网站的技术，将这些技术进行合理的使用，最后完成一个较为完善的汽车尾气监测系统。

技术关键和主要技术指标

气体监测功能：在实际检测误差不大的情况下，气体检测有较为明显体现；车辆识别功能：在车辆较多的情况下对每一辆车进行精确识别；服务器数据处理：能够对上传的数据进行合理的整理，形成一个简洁明了的web网页显示出来。

作品的科学性先进性

截止到2020年底，全国机动车保有量达3.72亿辆，其中汽车达2.81亿辆。在未来的一段时间里，在巨大的燃油车基数存在前提下，对应燃油的使用量也将保持高位低增速增长，而目前燃油系统整体不够完善，燃料不充分燃烧导致有害气体的排出，不仅使大气环境遭受破坏，并且对人类的身体造成了伤害。根据国家权威部门发布的数据，中国机动车造成的城市大气污染高达30%以上，机动车排放物中大量存在PM、CO、NOX、HC
等有害气体。

2021年3月11日，十三届全国人大四次会议表决通过的“十四五”对生态文明建设着重强调。会上强调了我们要延续“十三五”的势头，继续推动空气质量继续改善。《中华人民共和国大气污染防治法》的修订并加以实施，我国在空气质量优化的道路上要面对的是未来长期空气质量稳定改善的艰巨任务。

作品推广应用的可行性分析

对比市场上现有的汽车尾气监测装置，我们团队所研制的无人机汽车尾气监测系统整合了stm32上的气体监测功能、神经网络的车辆识别功能以及flask服务器上的数据处理，能够有效地监测大气中汽车尾气的排放情况；在装置上在大疆无人机上进行二次开发，搭载于无人机上的气体监测系统能够一次性实时获取多种空气污染物空间分布浓度信息，为科研、环保、数据收集等行业提供有效的支持。

设计方案

1 无人机控制

无人机控制采用大疆无人机sdk开发包，使用开源的app项目进行优化，达到对大疆无人机的智能飞行，定点飞行的控制要求，通过app将大疆无人机拍摄到的视频传输到手机。

2 stm32部分

通过搭建在无人机上面的stm32上面的气体敏感模块，对汽车尾气的主要成分进行监测，并将采集到的数据传输到flask后端服务器进行处理

3 agx部分

将调试好的yolo和deepsort网络部署到agx上面，通过rtmp拉流将手机app推流到nginx服务器上面的视频流拉取到agx上面进行车辆监测，统计一段时间里面的车体数量,
并把结果上传到flask服务器。

4 nginx部分

我们将rtmp环境搭建在nginx服务器上面，用来获取大疆无人机拍摄到的视频流，并让agx重这里将视频流拉取到agx上面进行车辆识别。

5 flask部分

Flask服务器主要负责agx检测完成的视频的储存，并接收stm32上面检测到的汽车尾气气体浓度，然后将各种结果整理到web前端上面，方便使用者查看。

设计时考虑的主要问题

对数据合理的处理，将各种数据整合到一个简洁的web网页上面，让使用者能够第一时间获取想要得到的信息。

理论设计计算

yolo+deepsort网络

YOLO检测网络包括24个卷积层和2个全连接层，如下图所示。

YOLO将输入图像分成SxS个格子，每个格子负责检测‘落入’该格子的物体。若某个物体的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。如下图所示，图中物体狗的中心点（红色原点）落入第5行、第2列的格子内，所以这个格子负责预测图像中的物体狗。

YOLO使用均方和误差作为loss函数来优化模型参数，即网络输出的SS(B5 + C)维向量与真实图像的对应SS*(B*5 + C)
维向量的均方和误差。如下式所示。其中，、iouError和classError分别代表预测数据与标定数据之间的坐标误差、IOU误差和分类误差。

YOLO对上式loss的计算进行了如下修正

位置相关误差

（坐标、IOU）与分类误差对网络loss的贡献值是不同的，因此YOLO在计算loss时，使用修正。

在计算IOU误差时

包含物体的格子与不包含物体的格子，二者的IOU误差对网络loss的贡献值是不同的。若采用相同的权值，那么不包含物体的格子的confidence值近似为0，变相放大了包含物体的格子的confidence误差在计算网络参数梯度时的影响。为解决这个问题，YOLO
使用修正。（注此处的‘包含’是指存在一个物体，它的中心坐标落入到格子内）。

对于相等的误差值

大物体误差对检测的影响应小于小物体误差对检测的影响。这是因为，相同的位置偏差占大物体的比例远小于同等偏差占小物体的比例。YOLO将物体大小的信息项（w和h）进行求平方根来改进这个问题。

随着近年来目标检测领域的发展，这种tracking-by-detection方式的算法在MOT中越来越成为主流了，之前的算法如流网络公式和概率图形模型，是处理整个过程的全局优化问题，但是不适用于在线场景，其目标标识必须可用在每个时间步长。更为传统的是假设跟踪（MHT）和联合概率数据相关滤波器（JPDAF），这些方法执行基于逐帧的数据关联，最近，这些方法都被重新认识，由于检测问题的成功！

之前的SORT算法使用简单的卡尔曼滤波处理逐帧数据的关联性以及使用匈牙利算法进行关联度量，这种简单的算法在高帧速率下获得了良好的性能。但由于SORT忽略了被检测物体的表面特征，因此只有在物体状态估计不确定性较低是才会准确，在Deep
SORT中，我们使用更加可靠的度量来代替关联度量，并使用CNN网络在大规模行人数据集进行训练，并提取特征，已增加网络对遗失和障碍的鲁棒性。

Track Handle and State Estimation

状态估计: 使用一个8维空间去刻画轨迹在某时刻的状态

分别表示bounding box中心的位置、纵横比、高度、以及在图像坐标中对应的速度信息。然后使用一个kalman滤波器预测更新轨迹，该卡尔曼滤波器采用匀速模型和线性观测模型。其观测变量为

轨迹处理：这个主要说轨迹什么时候终止、什么时候产生新的轨迹。

首先对于每条轨迹都有一个阈值a用于记录轨迹从上一次成功匹配到当前时刻的时间。当该值大于提前设定的阈值
则认为改轨迹终止，直观上说就是长时间匹配不上的轨迹认为已经结束。然后在匹配时，对于没有匹配成功的检测都认为可能产生新的轨迹。但由于这些检测结果可能是一些错误警告，所以对这种情形新生成的轨迹标注状态’tentative’
,然后观查在接下来的连续若干帧（论文中是3帧）中是否连续匹配成功，是的话则认为是新轨迹产生，标注为’confirmed’
,否则则认为是假性轨迹,状态标注为’deleted’

Assignment Problem

在SORT中，我们直接使用匈牙利算法去解决预测的Kalman状态和新来的状态之间的关联度，现在我们需要将目标运动和表面特征信息相结合，通过融合这两个相似的测量指标。

Motion Metric

使用马氏距离来评测预测的Kalman状态和新来的状态：

表示第j个detection和第i条轨迹之间的运动匹配度，其中是轨迹由kalman滤波器预测得到的在当前时刻观测空间的协方差矩阵，
是轨迹在当前时刻的预测观测量，时第j个detection的状态

考虑到运动的连续性，可以通过该马氏距离对detections进行筛选，文中使用卡方分布的0.95分位点作为阈值 =0.4877,我们可以定义一个门限函数

Appearance Metric

当目标运动不确定性较低时，马氏距离是一个很好的关联度量，但在实际中，如相机运动时会造成马氏距离大量不能匹配，也就会使这个度量失效，因此，我们整合第二个度量标准，对每一个BBox检测框
我们计算一个表面特征描述子 , 我们会创建一个gallery用来存放最新的个轨迹的描述子，即，然后我们使用第i个轨迹和第j个轨迹的最小余弦距离作为第二个衡量尺度！

当然，我们也可以用一个门限函数来表示

如何使用CNN网络来计算这个描述子，我们接下来会讲到！
接着，我们把这两个尺度相融合为：

总之，距离度量对于短期的预测和匹配效果很好，而表观信息对于长时间丢失的轨迹而言，匹配度度量的比较有效。超参数的选择要看具体的数据集，比如文中说对于相机运动幅度较大的数据集，直接不考虑运动匹配程度。

匹配级联

工作原理及性能分析

本作品通过大疆无人机进行视频拍摄，并通过大疆无人机上面搭载的stm32进行气体监测，大疆无人机的控制和stm32的控制都通过app来完成，app将获取到的视频通过rtmp推流到nginx服务器上面，并将获取到的stm32的数据通过表单（或socket）传输到flask服务器上面，agx通过rtmp拉流将app上传的视频拉取到本地进行识别，并将识别结果上传到flask服务器上面，flask服务器对数据进行整合，通过web网页进行显示。

创新点及应用

本部分为重点阐述内容，各团队需要将作品的创新点及应用场景进行介绍。以下为示例。

1）操作简单，使用者能够很方便的使用整个系统；

2）轻量，并不需要高性能计算机，agx便能够完成网络监测，自身体量小的优势适配外出环境监测工作者的特点，相较于市面上的不便于携带的无人机监测器，轻量的特点使我们更具市场优势；

3）在未来的一段时间内，无人机市场将会不断发展，良好的市场环境将会更好地孵化无人机监测汽车尾气系统，再加以国家政策的导向及支持，本系统会有良好的市场前景；

4）本系统将会被应用在城市中帮助环保局进行汽车尾气污染巡检、帮助有关环保部门快速准确地定位污染源，实施相关的改善措施等等。

节能减排，绿色出行是当今时代的主题之一。