论文精讲 | 基于昇思MindSpore的动态加权对抗学习DWAL提升模型性能

在交集类不匹配的情况下，半监督学习不仅需要处理无标记数据集中的特有类（简称“分布外类别”，即图1（c）中的“猪”和“鸟”），还需要减少已标记数据集中的特有类（简称“私有类别”，即图1（c）中的“猫”、“狗”、“牛”）带来的负面影响。昇思MindSpore已支持数千篇AI顶会论文，走入Top100+高校教学，通过HMS在5000+App上商用，拥有数量众多的开发者，在AI计算中心、智能制造、金融、云

昇思MindSpore

967人浏览 · 2024-01-24 10:05:43

昇思MindSpore · 2024-01-24 10:05:43 发布

论文标题

Dynamic Weighted Adversarial Learning for Semi-Supervised Classification under Intersectional Class Mismatch

论文来源

ACM TOMM

论文链接

https://doi.org/10.1145/3635310

代码链接

https://github.com/lichuan210/DWAL-ms

昇思MindSpore作为开源的AI框架，为产学研和开发人员带来端边云全场景协同、极简开发、极致性能、安全可信的体验，支持超大规模AI预训练，自2020年3月28日开源来已超过6百万的下载量。昇思MindSpore已支持数千篇AI顶会论文，走入Top100+高校教学，通过HMS在5000+App上商用，拥有数量众多的开发者，在AI计算中心、智能制造、金融、云、无线、数通、能源、消费者1+8+N、智能汽车等端边云车全场景广泛应用，是Gitee指数最高的开源软件。欢迎大家参与开源贡献、套件、模型众智、行业创新与应用、算法创新、学术合作、AI书籍合作等，贡献您在云侧、端侧、边侧以及安全领域的应用案例。

在科技界、学术界和工业界对昇思MindSpore的广泛支持下，基于昇思MindSpore的AI论文2023年在所有AI框架中占比7%，连续两年进入全球第二，感谢CAAI和各位高校老师支持，我们一起继续努力做好AI科研创新。昇思MindSpore社区支持顶级会议论文研究，持续构建原创AI成果。我会不定期挑选一些优秀的论文来推送和解读，希望更多的产学研专家跟昇思MindSpore合作，一起推动原创AI研究，昇思MindSpore社区会持续支撑好AI创新和AI应用，本文是MindSpore AI顶会论文系列第27篇，我选择了来自南京理工大学计算机科学与工程学院的宫辰教授团队的一篇论文解读，感谢各位专家教授同学的投稿。

研究背景

半监督学习是一种可以同时利用已标记数据与无标记数据来增强模型性能的机器学习方法。传统半监督学习常常基于一个假设，即已标记数据集和无标记数据集拥有相同的类别空间（见图1（a））。但是，这个假设在实际情况下往往难以成立。在实际应用中，由于获取数据的难度很大，无标记数据集中可能包含一些只在自身中出现的特有类，这种情况被称为子集类不匹配问题（见图1（b））。

为了提升模型的性能，子集类不匹配半监督学习需要检测出属于特有类的无标记样本并减少其负面影响。然而，由于样本收集时的不确定性，子集类不匹配的情况在现实中也很容易被打破。具体来说，已标记数据集和无标记数据集很可能都包含一些只在自身中出现的特有类，这就会导致交集类不匹配的问题（见图1（c））。在交集类不匹配的情况下，半监督学习不仅需要处理无标记数据集中的特有类（简称“分布外类别”，即图1（c）中的“猪”和“鸟”），还需要减少已标记数据集中的特有类（简称“私有类别”，即图1（c）中的“猫”、“狗”、“牛”）带来的负面影响。只有这样，才能让模型充分学习无标记数据集中的共享样本（即图1（c）中“马”、“羊”对应的样本）。

在这种情形下，传统半监督学习方法和子集类不匹配半监督学习方法往往会由于无法恰当处理特有类而导致性能的下降。因此，妥善处理特有类对于提升模型性能至关重要。

图1

该论文主要探讨并解决了交集类不匹配情形下利用半监督学习提升图像分类性能的问题。相关代码可以按照昇思MindSpore官方文档案例，或社区提供的目标检测相关代码和模型轻松实现，十分方便快捷。

团队介绍

团队负责人为宫辰教授。宫辰教授入选中组部万人青拔、江苏省杰青。围绕弱监督学习这一人工智能领域重要研究方向，团队在IEEE/ACM Transactions及CCF A类期刊及会议上发表论文100余篇（包括T-PAMI、ICML、NeurIPS、CVPR、ICCV等）。另外，团队承担多项国家自然科学基金重点项目、面上项目、青年项目；江苏省杰青、省自然科学基金国际合作项目、面上项目，及企业项目（腾讯、华为、蚂蚁金服、中国航天等）等。

宫辰教授担任中科院一区期刊IEEE T-CSVT、Neural Networks的Associate Editor以及IJCAI、AAAI、ACM MM等CCF A类国际会议的Area Chair/Senior PC member。获吴文俊人工智能优秀青年奖、中国科协“青年人才托举工程”、中国人工智能学会优秀博士学位论文、上海市自然科学二等奖、山东省自然科学二等奖、CVPR 2021弱监督目标定位竞赛全球冠军等，并入选百度发布的全球华人AI青年学者榜单、斯坦福大学发布的全球前2%顶尖科学家榜单。

论文简介

为了处理上述交集类不匹配情形下的半监督学习问题，本文提出了一种名为“动态加权对抗学习（Dynamic Weighted Adversarial Learning，DWAL）”的方法。DWAL由三个关键部分组成：改进的对抗性域迁移、不相似性最大化和加权的半监督学习。DWAL的总体框架如图2所示，具体来说，改进的对抗性域迁移与不相似性最大化组成了检测部分（Detection part），而加权的半监督学习组成了分类部分（Classification part）。

图2

实验结果

为了证明DWAL的有效性，我们在CIFAR-10等多个数据集上进行了性能对比实验。实验数据如表1~5所示，其中，DWAL+DA使用FixMatch作为基础框架，其余和DWAL一致。“*”表示DWAL+DA的性能明显高于该对比方法，“**”表示DWAL与DWAL+DA的性能均明显高于该对比方法。从结果可以看出，本文提出的方法在多个数据集上都能取得最好的效果。在交集类不匹配情形下，许多现有半监督学习方法都出现了严重的性能下降，有些甚至不如只使用已标记样本训练的纯监督学习模型。在这种情况下，我们的方法依然可以达到令人满意的性能，这说明了我们的方法在交集类不匹配情形下的有效性。

表1

表2

表3

表4

表5

总结与展望

本文提出了一种交集类不匹配情形下的半监督分类方法DWAL，包括改进的对抗性域迁移、不相似性最大化和加权的半监督学习。其中，改进的对抗性域迁移根据样本的域信息和分类信息计算样本权重。不相似最大化利用已标记样本的权重来筛选私有样本，阻止错误迁移从而提升无标记样本权重的可靠性。加权的半监督学习利用无标记样本的权重来训练分类器，从而减少分布外样本的负面影响。DWAL在多个数据集上都取得最好的效果。按照昇思MindSpore官方文档案例，或社区提供的目标检测相关代码和模型，可以轻松实现本文实验所需代码，十分方便快捷。

往期回顾

论文精讲 | 基于昇思MindSpore的动作频率自适应视频时序动作提名生成研究，解决精确定位未修剪视频中的动作问题

论文精讲 | 基于昇思MindSpore无锚框时序动作定位研究解决未剪辑视频的识别和定位问题

论文精讲 | 基于昇思MindSpore的行人重识别和步态识别探究解决行人的换装问题

论文精讲 | 基于昇思MindSpore打造首个深度学习开源视频压缩算法库OpenDMC,支持跨平台和多种评价指标