PyTorch:如何将DataLoader用于自定义数据集

Sarthak:

如何利用torch.utils.data.Datasettorch.utils.data.DataLoader自己的数据(而不仅仅是torchvision.datasets)?

有没有一种方法可以使用DataLoaders它们TorchVisionDatasets用于任何数据集的内置方法

pho7:

是的,那是可能的。只需自己创建对象,例如

import torch.utils.data as data_utils

train = data_utils.TensorDataset(features, targets)
train_loader = data_utils.DataLoader(train, batch_size=50, shuffle=True)

其中,featurestargets是张量。features必须为2D,即矩阵,其中每条线代表一个训练样本,并且targets可以为1D或2D,具体取决于您要预测标量还是矢量。

希望有帮助!


编辑:对@sarthak的问题的答复

基本上是。如果您创建类型为的对象TensorData,则构造函数将调查特征张量(实际上称为data_tensor)和目标张量(称为target_tensor的第一个维度的长度是否相同:

assert data_tensor.size(0) == target_tensor.size(0)

但是,如果您想随后将这些数据馈入神经网络,则需要小心。虽然卷积层可以像您一样处理数据,但是(我认为)所有其他类型的层都希望数据以矩阵形式给出。因此,如果遇到这样的问题,那么一个简单的解决方案就是使用方法将4D数据集(例如,以某种张量给定FloatTensor)转换为矩阵view对于5000xnxnx3数据集,它看起来像这样:

2d_dataset = 4d_dataset.view(5000, -1)

(该值-1告诉PyTorch自动找出第二维的长度。)

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何将基于自定义图像的数据集加载到Pytorch中以用于CNN?

如何将自定义数据放入Pytorch DataLoader中?

pytorch自定义数据集:DataLoader返回张量列表,而不是列表的张量

PyTorch DataLoader 在自定义数据集上返回列表而不是张量

HTML / CSS如何将CSS应用于具有自定义数据属性的“ a”?

PyTorch - 如何将自定义数据集保存到磁盘以与 torchvision.datasets 一起使用?

如何将sum用于自定义类型列表?

如何制作类似Torchvision数据集的自定义pytorch数据集?

如何将图像数据加载到 pytorch dataLoader?

如何将自定义数据集分为训练和测试数据集?

使用PyTorch实施自定义数据集

在pytorch中加载自定义数据集

自定义数据集不接受 PyTorch 中的参数

使用PyTorch加载图像的自定义数据集

在Pytorch中转换自定义数据集时出错

如何在Pytorch中为图像及其遮罩创建自定义数据集?

如何将CMAKE用于自定义编译器和自定义操作系统?

适用于Image GT数据集的Pytorch Dataloader

如何将自定义Java类转换为Spark数据集

如何将字段集与自定义表单一起使用?

如何将自定义比较器应用于R数据帧?

如何将自定义函数应用于数据框的每一列

如何将自定义函数应用于熊猫数据框的2列?

如何将自定义函数正确应用于数据框字典?

如何将NSPredicate应用于自定义XLForm行?

如何将random.choice应用于我的自定义课程?

如何将文本对齐中心属性应用于highchart自定义标签

如何将CSS样式应用于自定义属性

如何将Picasso与用于RecyclerView的自定义适配器一起使用