【深度学习】Dropout、DropPath

这篇具有很好参考价值的文章主要介绍了【深度学习】Dropout、DropPath。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、Dropout

1. 概念

Dropout 在训练阶段会让当前层每个神经元以drop_prob( 0 ≤ drop_prob ≤ 1 0\leq\text{drop\_prob}\leq1 0drop_prob1)的概率失活并停止工作,效果如下图。

droppath和dropout,算法面经,深度学习,人工智能

测试阶段不会进行Dropout。由于不同批次、不同样本的神经元失活情况不同,测试时枚举所有情况进行推理是不现实的,所以原文使用一种均值近似的方法进行逼近。详情如下图:

droppath和dropout,算法面经,深度学习,人工智能

如图, w \bold{w} w为一个神经元后的权重。假设该神经元的输出均值为 μ \mu μ,若训练阶段该神经元的存活概率为 p p p,则Dropout使其输出均值变为 p × μ p\times\mu p×μ,为使测试时该神经元输出逼近训练输出,测试阶段该神经元输出会被乘上 p p p以使测试与训练输出均值相同。

简单来说,训练时Dropout按照概率drop_prob使神经元停止工作,测试时所有神经元正常工作,但其输出值要乘上1-drop_prob( p = 1 − drop_prob p=1-\text{drop\_prob} p=1drop_prob)。

不过,我们希望测试代码执行效率尽可能高,即便仅增加一个概率计算也不是我们希望的。所以实际计算时,会在训练阶段给神经元乘上一个缩放因子 1 p \frac{1}{p} p1。这样,训练输出的均值仍为 μ \mu μ,测试则不进行Dropout也不再乘上 p p p而是原样输出。

2. 功能

优势:
Dropout能够提高网络的泛化能力,防止过拟合。解释如下:
(1) 训练阶段每个神经元是相互独立的,仅drop_prob相同,即使是同一批次不同样本失活的神经元也是不同的。所以原文作者将Dropout的操作视为多种模型结构下结果的集成,由于集成方法能够避免过拟合,因此Dropout也能达到同样的效果。
(2) 减少神经元之间的协同性。有些神经元可能会建立与其它节点的固定联系,通过Dropout强迫神经元和随机挑选出来的其它神经元共同工作,减弱了神经元节点间的联合适应性,增强了泛化能力。
劣势:
(1) Dropout减缓了收敛的速度。训练时需要通过伯努利分布生成是否drop每一个神经元的情况,额外的乘法和缩放运算也会增加时间。
(2) Dropout一般用于全连接层,卷积层一般使用BatchNorm来防止过拟合。Dropout与BatchNorm不易兼容,Dropout导致训练过程中每一层输出的方差发生偏移,使得BatchNorm层统计的方差不准确,影响BatchNorm的正常使用。

3. 实现

import torch.nn as nn
import torch


class dropout(nn.Module):
    def __init__(self, drop_prob):
        super(dropout, self).__init__()
        assert 0 <= drop_prob <= 1, 'drop_prob should be [0, 1]'
        self.drop_prob = drop_prob

    def forward(self, x):
        if self.training:
            keep_prob = 1 - self.drop_prob
            mask = keep_prob + torch.rand(x.shape)
            mask.floor_()
            return x.div(keep_prob) * mask
        else:
            return x


if __name__ == '__main__':
    x = torch.randn((8, 768))  # [batch_size, feat_dim],dropout常在全连接层之后,所以我们以一维数据为例
    drop = dropout(0.1)
    my_o = drop(x)

二、DropPath

1. 概念

DropPath 在训练阶段将深度学习网络中的多分支结构随机删除,效果如下图:

droppath和dropout,算法面经,深度学习,人工智能

上图是ViT中的一个模块,多分支体现在ResNet结构的引入。可以看出,DropPath在多分支中起作用对位置有明确的要求,需要放在分支合并之前。此外,DropPath也需要对训练输出进行缩放(乘 1 1 − drop_prob \frac{1}{1-\text{drop\_prob}} 1drop_prob1)以确保测试输出结果的有效性和计算的高效性,这样在测试阶段就不会进行DropPath。

事实上,DropPath功能的实现是按照drop_prob概率将该分支的当前输出全部置0。具体来说,对于某个含有DropPath的分支,该分支输出的一个批次的每个样本都独立的按照drop_prob概率被完全置0或完整保留。

2. 功能

一般可以作为正则化手段加入网络防止过拟合,但会增加网络训练的难度。如果设置的drop_prob过高,模型甚至有可能不收敛。

3. 实现

import torch
import torch.nn as nn


class DropPath(nn.Module):
    """
    随机丢弃该分支上的每个样本
    """
    def __init__(self, drop_prob=None):
        super(DropPath, self).__init__()
        self.drop_prob = drop_prob

    def forward(self, x):
        if self.drop_prob == 0. or not self.training:
            return x
        keep_prob = 1 - self.drop_prob

        shape = (x.shape[0],) + (1,) * (x.ndim - 1)  # (batch_size, 1, 1, 1)维数与输入保持一致,仅需要batch_size个值
        mask = keep_prob + torch.rand(shape, dtype=x.dtype, device=x.device)
        mask.floor_()  # 二值化,向下取整用于确定保存哪些样本

        output = x.div(keep_prob) * mask
        return output


if __name__ == "__main__":
    x = torch.randn((8, 197, 768))  # [batch_size, num_token, token_dim]
    drop_path = DropPath(drop_prob=0.5)
    my_o = drop_path(x)

致谢:

本博客仅做记录使用,无任何商业用途,参考内容如下:
【个人理解向】Dropout和Droppath原理及源码讲解
nn.Dropout、DropPath的理解与pytorch代码
Drop系列正则化文章来源地址https://www.toymoban.com/news/detail-861680.html

到了这里,关于【深度学习】Dropout、DropPath的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度学习基本理论下篇:(梯度下降/卷积/池化/归一化/AlexNet/归一化/Dropout/卷积核)、深度学习面试

    深度学习面试必备 1:(MLP/激活函数/softmax/损失函数/梯度/梯度下降/学习率/反向传播/深度学习面试 深度学习面试必备 2:(梯度下降/卷积/池化/归一化/AlexNet/归一化/Dropout/卷积核/深度学习面试 深度学习面试必备 3 :物体检测(Anchor base/NMS/softmax/损失函数/BCE/CE/zip) Momentum、

    2024年02月12日
    浏览(12)
  • 计算机视觉与深度学习-全连接神经网络-训练过程-欠拟合、过拟合和Dropout- [北邮鲁鹏]

    机器学习的根本问题是 优化 与 泛化 问题。 优化 :是指调节模型以在训练数据上得到最佳性能。 泛化 :是指训练好的模型在前所未见的数据上的性能好坏。 出现过拟合,得到的模型在训练集上的准确率很高,但是在真实的场景下识别率确很低。 过拟合overfitting:指学习时

    2024年02月07日
    浏览(13)
  • 传统深度模型的uncertainty----Monte Carlo dropout

    贝叶斯的一系列方法让我们在对数据建模的时候可以评估模型的认知不确定性,即:我们可以获得一种模型对自己的预测值有多大把握的评价指标,这种评价在许多方法中通常以方差的形式出现。本文介绍2016年在模型uncertainty方面比较有影响力的一篇文章,文章的附录中有大

    2024年02月03日
    浏览(7)
  • 鲸鱼算法优化LSTM超参数-神经元个数-dropout-batch_size

    1、摘要 本文主要讲解:使用鲸鱼算法优化LSTM超参数-神经元个数-dropout-batch_size 主要思路: 鲸鱼算法 Parameters : 迭代次数、鲸鱼的维度、鲸鱼的数量, 参数的上限,参数的下限 LSTM Parameters 神经网络第一层神经元个数、神经网络第二层神经元个数、dropout比率、batch_size 开始

    2023年04月16日
    浏览(9)
  • Pytorch学习笔记(8):正则化(L1、L2、Dropout)与归一化(BN、LN、IN、GN)

     一、正则化之weight_decay(L2正则) 1.1 正则化及相关概念 1.2 正则化策略(L1、L2) (1)L1正则化 (2)L2正则化 1.3 L2正则项——weight_decay 二、正则化之Dropout 2.1 Dropout概念 2.2 nn.Dropout  三、归一化之Batch Normalization(BN层) 3.1 Batch Normalization介绍 3.2 Pytorch的Batch Normalization 1d

    2024年02月04日
    浏览(9)
  • 13 Dropout(丢弃法)

    正则项只在训练时使用,他们在更新权重时让模型复杂度降低一点点, dropout正则项方法之一,深度学习崛起前,最早提出的算法。 动机:一个好的模型,需要对你的输入数据鲁棒,无论加入多少噪音都有稳定的输出 使用有噪音的数据等价于一个正则,这个是随机噪音 丢弃

    2024年02月10日
    浏览(8)
  • Dropout原理及作用

            Dropout是作为缓解卷积神经网络CNN过拟合而被提出的一种正则化方法,它确实能够有效缓解过拟合现象的发生,但是Dropout带来的缺点就是可能会减缓模型收敛的速度,因为每次迭代只有一部分参数更新,可能导致梯度下降变慢。        Dropout叫做随机失活,简单来

    2024年02月05日
    浏览(8)
  • dropout层简介

    Dropout层在神经网络层当中是用来干嘛的呢?它是一种可以用于减少神经网络过拟合的结构,那么它具体是怎么实现的呢? 假设下图是我们用来训练的原始神经网络: 一共有四个输入x_i,一个输出y。Dropout则是在每一个batch的训练当中随机减掉一些神经元,而作为编程者,我们

    2024年02月15日
    浏览(9)
  • Pytorch各种Dropout层应用于详解

    目录 torch框架Dropout functions详解 dropout 用途 用法 使用技巧 参数 数学理论公式 代码示例 alpha_dropout 用途 用法 使用技巧 参数 数学理论公式 代码示例  feature_alpha_dropout 用途 用法 使用技巧 参数 数学理论 代码示例 dropout1d 用途 用法 使用技巧 参数 数学理论 代码示例 dropout2d 用

    2024年01月21日
    浏览(13)
  • 无脑入门pytorch系列(五)—— nn.Dropout

    本系列教程适用于没有任何pytorch的同学(简单的python语法还是要的),从代码的表层出发挖掘代码的深层含义,理解具体的意思和内涵。pytorch的很多函数看着非常简单,但是其中包含了很多内容,不了解其中的意思就只能【看懂代码】,无法【理解代码】。 Dropout是一种常用

    2024年02月11日
    浏览(11)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包