admin管理员组

文章数量:1794759

Fashion

Fashion-mnist数据的读取与保存

• 图像分类数据集（Fashion-MNIST）
• • 一、获取数据集
  • • 1.1 方法一
    • 1.2 方法二
  • 二、显示数据
  • • 2.1 方法一
    • 2.2 方法二
  • 三、保存数据
  • 四、读取小批量
  • • 4.1 方法一
    • 4.2 方法二
  • 小结

图像分类数据集（Fashion-MNIST）

一、获取数据集

首先导入本节需要的包或模块。

%matplotlib inline
import d2lzh as d2l
from mxnet.gluon import data as gdata
import sys
import time
from mxnet import nd

1.1 方法一

下面，我们通过Gluon的data包来下载这个数据集。第一次调用时会自动从网上获取数据。我们通过参数train来指定获取训练数据集或测试数据集（testing data set）。测试数据集也叫测试集（testing set），只用来评价模型的表现，并不用来训练模型。

mnist_train = gdata.vision.FashionMNIST(train=True)
mnist_test = gdata.vision.FashionMNIST(train=False)

1.2 方法二

下面采用手动导入这个数据集导入已经下载好的mnist数据函数：load_mnist()

import os
import struct
import numpy as npdef load_mnist(path, kind='train'):"""Load MNIST data from `path`"""labels_path = os.path.join(path,'%s-labels-idx1-ubyte'% kind)images_path = os.path.join(path,'%s-images-idx3-ubyte'% kind)with open(labels_path, 'rb') as lbpath:magic, n = struct.unpack('>II',lbpath.read(8))labels = np.fromfile(lbpath,dtype=np.uint8)with open(images_path, 'rb') as imgpath:magic, num, rows, cols = struct.unpack('>IIII',imgpath.read(16))images = np.fromfile(imgpath,dtype=np.uint8).reshape(len(labels), 784)return images, labels

X_train, y_train = load_mnist(r"H:\vacation\myGitHub\Machine_Learning\training\d2l-zh\data\fashion-mnist",kind='train')
X_test, y_test = load_mnist(r'H:\vacation\myGitHub\Machine_Learning\training\d2l-zh\data\fashion-mnist',kind='t10k')

len(X_train),len(X_test)

(60000, 10000)

二、显示数据

2.1 方法一

import matplotlib.pyplot as pltfig, ax = plt.subplots(nrows=2,ncols=5,sharex=True,sharey=True, )ax = ax.flatten()
for i in range(10):img = X_train[y_train == i][0].reshape(28, 28) #一张图片784（28*28）列ax[i].imshow(img, cmap='Greys', interpolation='nearest')ax[0].set_xticks([])
ax[0].set_yticks([])
plt.tight_layout()
plt.show()

我们还可以绘制某一物品的多个样本图片, 来看一下这些样本到底有多不同:

fig, ax = plt.subplots(nrows=5,ncols=5,sharex=True,sharey=True, )ax = ax.flatten()
for i in range(25):img = X_train[y_train == 7][i].reshape(28, 28)ax[i].imshow(img, cmap='Greys', interpolation='nearest')ax[0].set_xticks([])
ax[0].set_yticks([])
plt.tight_layout()
plt.show()

2.2 方法二

我们可以通过方括号[]来访问任意一个样本，下面获取第一个样本的图像和标签。

feature, label = mnist_train[0]

变量feature对应高和宽均为28像素的图像。每个像素的数值为0到255之间8位无符号整数（uint8）。它使用三维的NDArray存储。其中的最后一维是通道数。因为数据集中是灰度图像，所以通道数为1。为了表述简洁，我们将高和宽分别为 h h h和 w w w像素的图像的形状记为 h × w h \times w h×w或（h，w）。

feature.shape, feature.dtype

((28, 28, 1), numpy.uint8)

图像的标签使用NumPy的标量表示。它的类型为32位整数（int32）。

label, type(label), label.dtype

(2, numpy.int32, dtype('int32'))

Fashion-MNIST中一共包括了10个类别，分别为t-shirt（T恤）、trouser（裤子）、pullover（套衫）、dress（连衣裙）、coat（外套）、sandal（凉鞋）、shirt（衬衫）、sneaker（运动鞋）、bag（包）和ankle boot（短靴）。以下函数可以将数值标签转成相应的文本标签。

# 本函数已保存在d2lzh包中方便以后使用
def get_fashion_mnist_labels(labels):text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat','sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']return [text_labels[int(i)] for i in labels]

下面定义一个可以在一行里画出多张图像和对应标签的函数。

# 本函数已保存在d2lzh包中方便以后使用
def show_fashion_mnist(images, labels):"""images类型:mxnet.ndarray.ndarray.NDArraylabels类型:numpy.ndarray"""d2l.use_svg_display()# 这里的_表示我们忽略（不使用）的变量_, figs = d2l.plt.subplots(1, len(images), figsize=(12, 12))for f, img, lbl in zip(figs, images, labels):f.imshow(img.reshape((28, 28)).asnumpy())f.set_title(lbl)f.axes.get_xaxis().set_visible(False)f.axes.get_yaxis().set_visible(False)

现在，我们看一下训练数据集中前9个样本的图像内容和文本标签。

X, y = mnist_train[0:9]
show_fashion_mnist(X, get_fashion_mnist_labels(y))

type(X)

mxnet.ndarray.ndarray.NDArray

三、保存数据

另外, 我们也可以选择将 MNIST 图片数据和标签保存为 CSV 文件, 这样就可以在不支持特殊的字节格式的程序中打开数据集. 但是, 有一点要说明, CSV 的文件格式将会占用更多的磁盘空间, 如下所示:
如果我们打算保存这些 CSV 文件, 在将 MNIST 数据集加载入 NumPy array 以后, 我们应该执行下列代码:

np.savetxt('train_img.csv', X_train,fmt='%i', delimiter=',')
np.savetxt('train_labels.csv', y_train,fmt='%i', delimiter=',')
np.savetxt('test_img.csv', X_test,fmt='%i', delimiter=',')
np.savetxt('test_labels.csv', y_test,fmt='%i', delimiter=',')

一旦将数据集保存为 CSV 文件, 我们也可以用 NumPy 的 genfromtxt 函数重新将它们加载入程序中:
NDArray和NumPy相互变换
我们可以通过array函数和asnumpy函数令数据在NDArray和NumPy格式之间相互变换。下面将NumPy实例变换成NDArray实例。

X_train2 = nd.array(np.genfromtxt('train_img.csv',dtype=int, delimiter=','))
y_train2 = np.genfromtxt('train_labels.csv',dtype=int, delimiter=',')
X_test2 = nd.array(np.genfromtxt('test_img.csv',dtype=int, delimiter=','))
y_test2 = np.genfromtxt('test_labels.csv',dtype=int, delimiter=',')

训练集中和测试集中的每个类别的图像数分别为6,000和1,000。因为有10个类别，所以训练集和测试集的样本数分别为60,000和10,000。

len(mnist_train), len(mnist_test)

(60000, 10000)

#用csv数据画出图像
from mxnet import nd
X1 = X_train2[0:9]
y1 = y_train2[0:9]
show_fashion_mnist(X1, get_fashion_mnist_labels(y1))

四、读取小批量

我们将在训练数据集上训练模型，并将训练好的模型在测试数据集上评价模型的表现。虽然我们可以像“线性回归的从零开始实现”一节中那样通过yield来定义读取小批量数据样本的函数，但为了代码简洁，这里我们直接创建DataLoader实例。该实例每次读取一个样本数为batch_size的小批量数据。这里的批量大小batch_size是一个超参数。

在实践中，数据读取经常是训练的性能瓶颈，特别当模型较简单或者计算硬件性能较高时。Gluon的DataLoader中一个很方便的功能是允许使用多进程来加速数据读取（暂不支持Windows操作系统）。这里我们通过参数num_workers来设置4个进程读取数据。

此外，我们通过ToTensor实例将图像数据从uint8格式变换成32位浮点数格式，并除以255使得所有像素的数值均在0到1之间。ToTensor实例还将图像通道从最后一维移到最前一维来方便之后介绍的卷积神经网络计算。通过数据集的transform_first函数，我们将ToTensor的变换应用在每个数据样本（图像和标签）的第一个元素，即图像之上。

4.1 方法一

batch_size = 255
transformer = gdata.vision.transforms.ToTensor()
if sys.platform.startswith('win'):num_workers = 0  # 0表示不用额外的进程来加速读取数据
else:num_workers = 4train_iter = gdata.DataLoader(mnist_train.transform_first(transformer),batch_size, shuffle=True,num_workers=num_workers)
test_iter = gdata.DataLoader(mnist_test.transform_first(transformer),batch_size, shuffle=False,num_workers=num_workers)

gdata.DataLoader??

4.2 方法二

# 将训练数据的特征和标签组合
mnist_train2 = gdata.ArrayDataset(X_train2,y_train2)
mnist_test2 = gdata.ArrayDataset(X_test2,y_test2)

train_iter2 = gdata.DataLoader(mnist_train2,batch_size, shuffle=True,num_workers=num_workers)
test_iter2 = gdata.DataLoader(mnist_test2,batch_size, shuffle=False,num_workers=num_workers)

我们将获取并读取Fashion-MNIST数据集的逻辑封装在d2lzh.load_data_fashion_mnist函数中供后面章节调用。该函数将返回train_iter和test_iter两个变量。随着本书内容的不断深入，我们会进一步改进该函数。它的完整实现将在“深度卷积神经网络（AlexNet）”一节中描述。

最后我们查看读取一遍训练数据需要的时间。

start = time.time()
for X, y in train_iter2:continue
'%.2f sec' % (time.time() - start)

'2.29 sec'

X.shape,y.shape

((75, 784), (75,))

小结

• Fashion-MNIST是一个10类服饰分类数据集，之后章节里将使用它来检验不同算法的表现。
• 我们将高和宽分别为 h h h和 w w w像素的图像的形状记为 h × w h \times w h×w或（h，w）。

本文标签： fashion