医图顶会 MICCAI‘24 LB-UNet:一种用于皮肤病变分割的轻量级边界辅助UNet_miccai轻量级医学分割模型
皮肤病变分割在皮肤病变的计算机辅助诊断和治疗中至关重要。UNet及其变体已被广泛用于皮肤病变分割。然而,资源限制限制了在边缘设备上部署更大参数模型。为了解决这个问题,作者提出了一种新的轻量级边界辅助UNet(LB-UNet)用于皮肤病变分割。LB-UNet结合了Group Shuffle Attention模块(GSA)以显著减少模型的参数和计算需求。此外,为了增强模型的分割能力,特别是在处理模糊
论文信息
题目:LB-UNet: A Lightweight Boundary-assisted UNet for Skin Lesion Segmentation
源码链接:https://github.com/xuxuxuxuxuxjh/LB-UNet
论文创新点
-
轻量级边界辅助UNet(LB-UNet)模型的提出:作者提出了一种新的轻量级边界辅助UNet(LB-UNet),专门针对皮肤病变分割任务。这种模型不仅在参数数量上实现了显著的减少,而且在处理皮肤病变分割中的模糊边界问题上表现出色。
-
Group Shuffle Attention(GSA)模块的引入:LB-UNet引入了Group Shuffle Attention(GSA)模块,这一模块通过将输入分成不同的组并在每个组内使用Hadamard Product Attention来减少模型的参数数量。与以往的方法不同,GSA不改变注意力的轴,而是利用Group Shuffle操作来更有效地捕获信息。
-
Prediction Map Auxiliary(PMA)模块的创新:为了增强模型在处理模糊边界时的分割能力,作者引入了Prediction Map Auxiliary(PMA)模块。PMA由三个子模块组成:分割区域和边界预测模块(RBP)、预测信息融合模块(PIF)和基于遗传算法的边界生成器(GBG)。特别是,GBG模块采用了基于遗传算法的关键点选择方法,这在以往的研究中并不常见,能够生成更高质量的边界关键点。
摘要
皮肤病变分割在皮肤病变的计算机辅助诊断和治疗中至关重要。UNet及其变体已被广泛用于皮肤病变分割。然而,资源限制限制了在边缘设备上部署更大参数模型。为了解决这个问题,作者提出了一种新的轻量级边界辅助UNet(LB-UNet)用于皮肤病变分割。LB-UNet结合了Group Shuffle Attention模块(GSA)以显著减少模型的参数和计算需求。此外,为了增强模型的分割能力,特别是在处理模糊边界时,LB-UNet引入了Prediction Map Auxiliary模块(PMA)。简而言之,PMA由三个模块组成:(1)用于预测解码器特征的分割区域和边界的分割区域和边界预测模块;(2)通过遗传算法生成真实边界图的基于GA的边界生成器;(3)通过利用预测信息增强跳跃连接的预测信息融合模块。通过结合这些模块,区域和边界信息有效地集成到主干中。在ISIC2017和ISIC2018数据集上的实验结果表明,LB-UNet优于当前的轻量级方法。据作者所知,LB-UNet是第一个参数计数限制在38KB以内,Giga-Operations Per Second(GFLOPs)限制在0.1以内的模型。
关键词
皮肤病变分割 · 轻量级 · 边界辅助
2 LB-UNet
2.1 架构概述
我们提出的LB-UNet的架构如图2(a)所示。LB-UNet是一个基于UNet的模型,由编码器、解码器和PMA组成。编码器和解码器由六个阶段组成,通道大小为{8, 16, 24, 32, 48, 64}。前三个阶段使用内核大小为3的常规卷积层,而最后三个阶段使用GSA,提供了减少的参数计数和计算需求。在编码器的下采样中,我们用2×2卷积操作替换了最大池化操作。此外,在第三阶段的编码器的卷积操作之后,我们加入了在ConvUNeXt中表现出色的ConvLayer。PMA与UNet框架很好地集成,在第2-6阶段执行分割区域预测,在第2-4阶段执行边界预测。与UNet中的简单跳跃连接不同,LB-UNet采用了基于预测的跳跃连接,并使用PIF专注于分割区域和边界信息。
2.2 Group Shuffle Attention模块
由于深度网络中卷积层的参数很高,我们引入了GSA来替换它,如图2(b)所示。首先,我们根据通道将输入分成四组,并分别处理每组,有效地减少了参数。然后,对于每组,我们使用线性复杂度HPA构建一个8×8的共享内存用于信息检索。最后,我们应用洗牌操作来调整组的顺序,并沿着通道维度将它们合并,然后使用深度可分离卷积来融合信息。
2.3 Predictive Map Auxiliary模块
为了提高边界分割能力,我们提出了PMA。PMA由三部分组成:RBP、PIF和GBG。分割区域和边界预测模块:我们提出了RBP,它使用两个独立的卷积模块。一个模块专门用于预测分割区域,而另一个模块专注于预测边界。为了保留这些预测信息,我们进一步采用了残差注意力方案。上述过程可以用公式(1)和(2)表示。
其中表示第i个解码器层的特征,表示预测区域特征,表示预测边界特征,表示保留的特征,是sigmoid函数,表示内核大小为1的卷积函数。
预测信息融合模块:在传统的UNet模型中,编码器特征通过跳跃连接直接添加到解码器特征。与以前的融合方法不同,我们设计了PIF来特别关注与分割区域和边界相关的特征。如图2(c)所示,与分割区域和边界相关的编码器特征被添加到保留的解码器特征中,并具有特定的权重,提供了额外的贡献。PIF模块可以表示为:
其中表示第i个编码器层的特征,结果被送入到第(i−1)个解码器层。在本文中,我们将设置为0.5, 0.4, 0.3, 0.2, 0.1,对于从2到6,将设置为0.3, 0.2, 0.1,对于从2到4。基于遗传算法的边界生成器:GBG是一个生成专业真实边界图的模块。真实边界图由边界线和关键点组成。边界线部分可以通过传统的边缘检测算法获得。对于关键点部分,我们提出了一个基于遗传算法的边界关键点选择算法。首先,我们使用先前的方法来评估关键点。设表示一组个关键点。函数定义为将集合中的点依次连接形成一个边界区域。评估标准和适应度函数基于关键点形成的区域与真实区域之间的交集比值(IOU)。然后,我们使用遗传算法来寻找具有最大IOU值的关键点集。我们首先随机生成组关键点,形成一个大小为的初始种群。接下来,我们执行次遗传进化来更新种群。最后,在所有种群中识别出具有最大IOU值的关键点作为最终答案。算法1描述了所提出的基于遗传算法的边界关键点选择算法的详细信息。
2.4 损失函数
在我们的研究中,我们采用了EGE-UNet的组损失,并增加了一个额外的边界损失函数。这种修改使LB-UNet不仅关注分割区域,而且还更加关注边界的细微细节。我们的损失函数可以用公式(4)到(7)表示。
其中和分别表示二元交叉熵和Dice损失,表示双线性插值,表示基于遗传算法的边界生成器。是不同阶段的区域特征的权重,是不同阶段的边界特征的权重。在本文中,我们将设置为0.5, 0.4, 0.3, 0.2, 0.1,对于从2到6,将设置为0.3, 0.2, 0.1,对于从2到4。
3 实验
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】或点击下方蓝色字 即可免费领取↓↓↓
**读者福利 |**
👉2024最新版CSDN大礼包:《AGI大模型学习资源包》免费分享 **(安全链接,放心点击)**
)** **(安全链接,放心点击)**
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)