VideoMix: Rethinking Data Augmentation for Video Classification

VideoMix

论文链接: https://arxiv.org/abs/2012.03457

代码地址:https://github.com/jayChung0302/videomix

一、 Problem Statement

对于视频识别任务中的数据增强策略缺乏广泛的研究。 作者试验图像域(static image-domain)数据增强策略对视频数据的有效性，特别是基于特征消除(feature erasing)的策略，这些策略可以提高模型的鲁棒性和通用性

二、 Direction

提出VideoMix，即拓展CutMix到视频序列。

三、 Method

VideoMix提出了三种形式，分别为Spatial，Temporal，和Spatio-temporal。其实就是把另外一个视频，插入到视频A中的三种形式。第一种就是在时间上全部存在，但是空间上有区别。第二种是时间上只存在一部分，但是空间大小一样。第三种是两种都不一样。性能如下:

可以看到，Spatial VideoMix是其中最好的。 作者认为，是由于视频必须保证足够数量的帧来表示视频类别的语义信息。时间VideoMix或时空VideoMix在剪切和粘贴的视频长方体中的语义内容方面受到限制。相反Spatial VideoMix保留了完整的时间语义。

下面给出具体的例子:

第一个是原始视频A，第二个是原始视频B。第三个就是VideoMix。

其在动作识别数据集 (something-something-v2)上的实验效果:

四、 Conclusion

拓展了CutMix，提出了VideoMix。对视频识别的data augmentation方法。

Reference