我现有3万张图片,如何能够把他们以numpy的格式保存起来?

如题,我准备把3万张左右的图片先保存成numpy格式,这样以后再用的时候会方便很多,速度也快一些。

但是在运行的过程中貌似是因为显存不足报错了,是在读取到90多张图片左右就报错了,下面是我的代码,请问有什么问题吗?

(我用了实验室的服务器,显存有10G左右)

代码:
 
x = None
y = None
i = 0
for data in dataloaders[key]:
# get the inputs
inputs, labels = data

print("Num {}".format(i))
if i == 0:
x = inputs.cuda()
y = labels.cuda()
else:
x = torch.cat((x,inputs.cuda()))
y = torch.cat((y,labels.cuda()))
i += 1


np.save('./data/X_'+key+'_fixed.npy', x.cpu().numpy())
np.save('./data/Y_'+key+'_fixed.npy', y.cpu().numpy())

运行结果:
 
不知道怎么上传图片。。。
已邀请:

golemz

赞同来自:

你这是一次把所有图片读进显存再保存,显存消耗当然大,另外,既然要用np保存,为什么要调用cuda放显存里?

woniu0755

赞同来自:

一般dataset里边存放图片的路径信息,用的时候在获取打开部分图片。

要回复问题请先登录注册