U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)
2024-04-08 次
上次,我已经回顾了 RoR (ResNet of ResNet, Residual Networks of Residual Networks)(这是2018年的TCSVT论文,如果有兴趣,请访问我的评论。)在RoR中,通过使用长短跳跃连接,图像分类准确性得到提高。实验结果证明了使用长短跳跃连接的有效性。
尽管这项工作的目的是进行生物医学图像分割,但通过观察网络内的权重,我们可以更好地理解长短跳跃连接开云网址。它发布于2016年DLMIA(医学图像分析中的深度学习),引用次数超过100次。 (SH Tsang @ Medium)
(a)具有长跳跃连接 的ResNet,(b)Bottleneck块,(c)Basic块,(d)Simple块。 (蓝色:可选下采样,黄色:可选上采样)
训练集:30个电子显微镜(EM)图像,大小为512×512。 25个图像用于训练,留5个图像进行验证。
前景限制Rand评分值:它是Rand分割分数得分和Rand合并得分的加权和的均值。分割和合并分数可以被解释为精度,并且在像素对的分类中被看为属于相同的分割(正类)或不同的分割(负类)。
信息论评分Vinfo:信息论分割得分和信息理论合并得分的加权和的均值。它是互信息(MI)的衡量标准,可作为Rand评分的替代方案。
所提出的方法(表格底部)与CUMedVision和U-Net相当。虽然它有点逊色,但提出的方法不使用任何后处理步骤,这是一种端到端的学习解决方案。
(a)长短跳跃连接,(b)只有9次重复简单块的长连接开云网址,(c)只有3次重复简单块的长连接,(d)只有7次重复简单块的长连接没有BN。
在关于权重分析进行总结,由于梯度消失问题(通过短跳过连接减轻),更靠近模型中心的层不能有效地更新。
点击【U-Net 和 ResNet:长短跳跃连接的重要性(生物医学图像分割)】或长按下方地址:
卡耐基梅隆大学 2019 春季《神经网络自然语言处理》是CMU语言技术学院和计算机学院联合开课开云网址,主要内容是教学生如何用神经网络做自然语言处理。神经网络对于语言建模任务而言,可以称得上是提供了一种强大的新工具,与此同时,神经网络能够改进诸多任务中的最新技术,将过去不容易解决的问题变得轻松简单。