我正在使用自定义 PyTorch 数据类从我创建的 H5 数据集加载实例。但是,加载样本时似乎非常慢。我遵循了一些关于处理大型 HDF5 数据集的建议,但我想知道我是否在做一些明显错误的事情。如果这有所作为,我将在 Linux 上部署我的代码。我在 4 个 GPU 上运行代码,并为我的模型设置了 nn.dataparallel。由于数据加载非常缓慢,因此 GPU Volatility 为 0%。这是我的数据类加载器:
import h5py
from torch.utils import data
class Features_Dataset(data.Dataset):
def __init__(self, archive, phase):
self.archive = archive
self.phase = phase
def __getitem__(self, index):
with h5py.File(self.archive, 'r', libver='latest', swmr=True) as archive:
datum = archive[str(self.phase) + '_all_arrays'][index]
label = archive[str(self.phase) + '_labels'][index]
path = archive[str(self.phase) + '_img_paths'][index]
return datum, label, path
def __len__(self):
with h5py.File(self.archive, 'r', libver='latest', swmr=True) as archive:
datum = archive[str(self.phase) + '_all_arrays']
return len(datum)
if __name__ == '__main__':
train_dataset = Features_Dataset(archive= "featuresdata/train.hdf5", phase= 'train')
trainloader = data.DataLoader(train_dataset, num_workers=8, batch_size=128)
print(len(trainloader))
for i, (data, label, path) in enumerate(trainloader):
print(path)
我错过了一些明显的东西吗?有没有更好的方法来快速加载实例?
编辑:
这是更新后的数据类,但是我现在在尝试使用多处理时遇到 picling 错误。
import h5py
from torch.utils import data
import torch.multiprocessing as mp
mp.set_start_method('spawn')
class Features_Dataset(data.Dataset):
def __init__(self, archive, phase):
self.archive = h5py.File(archive, 'r')
self.labels = self.archive[str(phase) + '_labels']
self.data = self.archive[str(phase) + '_all_arrays']
self.img_paths = self.archive[str(phase) + '_img_paths']
def __getitem__(self, index):
datum = self.data[index]
label = self.labels[index]
path = self.img_paths[index]
return datum, label, path
def __len__(self):
return len(self.data)
def close(self):
self.archive.close()
if __name__ == '__main__':
train_dataset = Features_Dataset(archive= "featuresdata/train.hdf5", phase= 'train')
trainloader = data.DataLoader(train_dataset, num_workers=2, batch_size=4)
print(len(trainloader))
for i, (data, label, path) in enumerate(trainloader):
print(path)
你不能在 init 中打开一次文件并存储文件处理程序吗?目前,当您调用 get item 或 len 时,您将始终在每次调用时打开文件。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句