1.目标跟踪

对于一个视频流或者是实时检测的摄像输入,我们可以把整个过程看作N帧图像的合集,那么如果在其中的某一帧出现了我们感兴趣的目标,需要在后续目标继续关注,就要用到目标跟踪.
即我们只在目标的初始帧进行检测+识别,而在后续帧不进行识别,仅仅利用跟踪算法始终关注,进行检测,这样做可以,某些情况下降低计算量,提升视频的流畅度,即FPS提升.

2.核心思想

1. 对于整个视频流，通过检测算法对预设的感兴趣的全部目标的第一次出现得到其位置坐标；
2. 为这些第一次出现的ROI 创建 ID；
3. 在视频流中的后续帧，寻找帧之间目标对象的关系，将帧之间的目标关联起来；

3.算法需求

1. 对整个视频流只对感兴趣目标出现的第一帧进行检测识别
2. 目标消失,超出边界情况可以正确处理
3. 受限于检测算法,能够接受整个视频流中某几帧之间对象目标消失,然后再次出现的情况
4. 能够优化现有检测方式的速度,提升FPS

4.质心追踪算法

4.1为什么需要

假设在一个视频流中,始终只有一个目标,默认情况如下:

• 情况1,该目标整个视频流中都出现,且未出现目标消失或超出边界情况
• 情况2,整个视频流中同一时刻只有一个目标或没有目标

以上是说明我们只需要在整个视频流中跟踪一个目标,它第一次出现在N帧,我们对第N帧做检测+识别,后续的N+1帧都做跟踪,直至目标离开.
当新目标出现时,同理只在他出现的那一帧做检测+识别,后续都只做检测+跟踪,即保证统一时刻整个视频流中只有一个目标或者没有目标.


这样只在目标出现的第一帧,做检测+识别,给定ID后续只对ID追踪,减少了每一帧的识别步骤FPS大幅度提升.

以上的前提都是整个视频流最多只有一个目标出现,但是如果有多个目标呢?要如何进行匹配?以下为例:

问题来了

当视频流中只有一个目标时,很容易跟踪确定ID
但是当视频流出现多个目标,由于我们后续帧不做识别,我们知道这里有两个目标,但是不清楚哪个是熊大,哪个是熊二

4.2质心追踪算法

质心追踪算法就是为了来解决上述问题.判断后续帧检查出的目标,确定ID归属,从而得出哪个是熊大哪个是熊二.
依赖于在视频流的连续帧中，比较已知目标和新出现目标之间质心的欧氏距离

步骤1:计算目标质心

对于目标对象的第一次出现,进行检测+识别,给定目标ID,每一帧都计算目标质心.

步骤2:计算后续帧目标质心的欧式距离

注意看,这里我们就不需要做识别了,只做检测,然后计算质心.
分别计算新旧欧式距离

• 蓝1与绿1 ；蓝1与绿2
• 蓝2与绿1 ；蓝2与绿2

步骤三：更新已知目标的质心坐标
质心追踪算法的前提是：对于一个给定目标，将会在后续帧中都出现，而且在第 N 帧和 N+1 帧中的质心欧氏距离，要小于不同目标之间的欧式距离；

因此我们在视频流的连续帧之间，根据欧氏距离最小原则，将这些帧中特征框的质心联系起来，可以得到一个目标 X 在这些连续帧中的变化联系，就达到了我们目标追踪的目的；

这里假设 蓝色的点是 在第N帧时,两只熊第一次出现,我们这时 要做检测+识别 给定身份ID,同时计算检测框目标质心.
而再第N+1帧,这时目标已经不是第一是出现了,我们只做检测,同时计算新旧质心欧式距离,更新目标X质心的变化,从而给定身份ID

也就是说,目标的第一次出现身份ID是识别来的,后续的都是通过目标跟踪算法来绑定的
目标跟踪算法所需要的计算量是远远小于识别的,提升了FPS

疑问一:注册新目标
每次增加新目标的话,比如第N帧有a个目标,第N+1帧有a+1个目标,对于新目标我们要做

1. 检测+识别,给定身份ID
2. 计算质心坐标供后续使用

疑问二:注销旧目标
当一个目标在后续的视频流消失时,有以下两种处理方式

1. 在第N帧消失,注销目标质心位置,注销目标身份ID
2. 在第N帧消失,且后续的T帧都没有再次出现,注销目标质心,注销身份ID

5.代码部分

待补充

6.参考

1.深度学习中的目标追踪概述（VOT in DeepLearning）
2.目标跟踪入门
3.目标追踪（Object Tracking）概念的简要介绍
4.OpenCV目标跟踪之简单质心跟踪