【深度学习】torch.utils.data.DataLoader相关用法 | dataloader数据加载器 | pytorch

这篇具有很好参考价值的文章主要介绍了【深度学习】torch.utils.data.DataLoader相关用法 | dataloader数据加载器 | pytorch。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


前言

dataloader数据加载器属于是深度学习里面非常基础的一个概念了,基本所有的图像项目都会用上,这篇博客就把它的相关用法总结一下。
之所以要写这篇,是想分清楚len(data_loader)和len(data_loader.dataset)

一、DataLoader介绍

这里加载的数据我们以Mnist手写数据集为例子

import torch.utils.data as Data
import torchvision
from torchvision import transforms

data = torchvision.datasets.MNIST(
    'data',  #目标数据集路径
    train=True,  # 只使用train数据
    transform=transforms.ToTensor(),#图像预处理,转为张量,并将像素值转到0-1
    download=True)

data_loader=Data.DataLoader(
    dataset=data,
    batch_size=32,
    shuffle=True,
    num_workers=0
)

torchvision.datasets.MNIST是用来加载自带数据包,这里不在多说了。
我们主要看下面的Data.DataLoader
1)dataset指需要用数据加载器加载的数据,即上面的data
2) batch_size指每一批次图像的数量
3) shuffle指是否打乱
4)num_workers 进程数 我一般设为0,不然很可能报错

二、DataLoader的子方法(可调用方法)

紧接着上面的方法,我们进行一些操作,进一步了解DataLoader
1)data_loader整体打印

print(data_loader)

torch dataloader,pytorch,深度学习,pytorch,人工智能
2)数据加载器一共被分成了多少块(batch_size个图像为一块)

print(len(data_loader))

torch dataloader,pytorch,深度学习,pytorch,人工智能
1875×32=60000
3)data_loader.dataset

print(data_loader.dataset)

torch dataloader,pytorch,深度学习,pytorch,人工智能
如果我们换一种:len(data_loader.dataset)

print(len(data_loader.dataset))

torch dataloader,pytorch,深度学习,pytorch,人工智能
这里展示了整个数据集里图像的个数。 注意和len(data_loader)区别开,这也是我写这篇博客的原因。
4)打印数据加载器之前设定的batch_size

print(data_loader.batch_size)

torch dataloader,pytorch,深度学习,pytorch,人工智能

5)打印数据加载器之前设定的进程数

print(data_loader.num_workers)

torch dataloader,pytorch,深度学习,pytorch,人工智能文章来源地址https://www.toymoban.com/news/detail-598022.html

到了这里,关于【深度学习】torch.utils.data.DataLoader相关用法 | dataloader数据加载器 | pytorch的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • 手把手写深度学习(23):视频扩散模型之Video DataLoader

    手把手写深度学习(0):专栏文章导航 前言: 训练自己的视频扩散模型的第一步就是准备数据集,而且这个数据集是text-video或者image-video的多模态数据集,这篇博客手把手教读者如何写一个这样扩散模型的的Video DataLoader。 目录 准备工作 下载数据集 视频数据打标签

    2024年03月21日
    浏览(13)
  • PyTorch 深度学习之加载数据集Dataset and DataLoader(七)

    PyTorch 深度学习之加载数据集Dataset and DataLoader(七)

    全部Batch:计算速度,性能有问题 1 个 :跨越鞍点 mini-Batch:均衡速度与性能 两种处理数据的方式 linux 与 windows 多线程不一样 torchvision 内置数据集 MINIST Dataset

    2024年02月07日
    浏览(12)
  • 【代码笔记】Pytorch学习 DataLoader模块详解

    【代码笔记】Pytorch学习 DataLoader模块详解

    dataloader主要有6个class构成(可见下图) _DatasetKind: _InfiniteConstantSampler: DataLoader: _BaseDataLoaderIter: _SingleProcessDataLoaderIter: _MultiProcessingDataLoaderIter: 我们首先看一下DataLoader的整体结构: init : _get_iterator: multiprocessing_context: multiprocessing_context: setattr : iter : _auto_collation: _ind

    2023年04月11日
    浏览(13)
  • pytorch进阶学习(二):使用DataLoader读取自己的数据集

    pytorch进阶学习(二):使用DataLoader读取自己的数据集

    上一节使用的是官方数据集fashionminist进行训练,这节课使用自己搜集的数据集来进行数据的获取和训练。 教学视频:https://www.bilibili.com/video/BV1by4y1b7hX/?spm_id_from=333.1007.top_right_bar_window_history.content.clickvd_source=e482aea0f5ebf492c0b0220fb64f98d3 pytorch进阶学习(一):https://blog.csdn.net/w

    2024年02月09日
    浏览(9)
  • 【深度学习框架-torch】torch.norm函数详解用法

    【深度学习框架-torch】torch.norm函数详解用法

    torch版本 1.6 dim是matrix norm 如果 input 是 matrix norm ,也就是维度大于等于2维,则 P值默认为 fro , Frobenius norm 可认为是与计算向量的欧氏距离类似 有时候为了比较真实的矩阵和估计的矩阵值之间的误差 或者说比较真实矩阵和估计矩阵之间的相似性,我们可以采用 Frobenius 范数。

    2024年02月10日
    浏览(9)
  • 完美解决 AttributeError: module ‘torch.utils‘ has no attribute ‘data‘

    完美解决 AttributeError: module ‘torch.utils’ has no attribute ‘data’ 下滑查看解决方法 AttributeError: module ‘torch.utils‘ has no attribute ‘data‘ 这个错误通常是由于使用了过时的torch版本导致的。在旧的torch版本中,torch.utils.data模块是存在的,但在新版的torch中已经被移除,因此会出现

    2024年02月07日
    浏览(16)
  • pytorch中的DataLoader

    pytorch中的DataLoader

    通常在训练时我们会将数据集分成若干小的、随机的批(batch),这个操作当然可以手动操作,但是pytorch里面为我们提供了API让我们方便地从dataset中获得batch,DataLoader就是来解决这个问题的。 DataLoader的本质是一个可迭代对象,即经过DataLoader的返回值为一个可迭代的对象,一

    2024年01月18日
    浏览(11)
  • tensordataset 和dataloader取值

    tensordataset 和dataloader取值

    2024年02月10日
    浏览(14)
  • Dataloader类

    Dataloader类

    DataLoader是Pytorch中用来处理模型输入数据的一个工具类。结合了数据集(dataset) 和 采样器(sampler),并在数据集上提供单线程或多线程(num_workers )的可迭代对象。官网定义如下: dataset :使用的数据集(可以是自定义的数据集); batch_size :每次取样的大小,默认1; shuffle :

    2024年02月13日
    浏览(11)
  • dataloader各项参数详解

    dataloader各项参数详解

    在学习某一神经网络框架时,数据流总是能帮助大家更好地理解整个模型的运行逻辑/顺序,而其中Dataloader的作用在某些时候更是至关重要的。 笔者将自己的学习到的关于dataloader的创建,作用尽可能详细地记录下来以方便日后回顾,也欢迎各位匹配指正。 Dataloader本质是一个

    2024年02月14日
    浏览(5)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包