数据预处理

这节我们将简要介绍使用pandas预处理原始数据，并将原始数据转换为张量格式的步骤。

读取数据集

首先，我们简单创建一个人工数据集，并存储在csv文件./data/house_tiny.csv中。下面我们将数据集按行写入csv文件中

import os

os.makedirs('./data', exist_ok=True)
data_file = os.path.join('./data', 'house_tiny.csv')
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n') # 列名
    f.write('NA,Pave,127500\n') # 每⾏表⽰⼀个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

有数据集后，我们可以导入pandas包并调用read_csv函数加载原始数据集。该数据集有四行三列，其中每⾏描述了房间数量（“NumRooms”）、巷⼦类型（“Alley”）和房屋价格（“Price”）。

import pandas as pd

data = pd.read_csv(data_file)
print(data)

   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       NaN   NaN  140000

处理缺失值

有输出结果可以看出，表格中存在缺失的数据。为了避免这些数据对之后的模型搭建存在影响，需对其进行处理，常见的方法有插值法和删除法，插值法是用一个替代值替换缺失值，而删除法则是直接忽略缺失值。

插值法

我们一般用同一列的均值替换“NaN”项，可以用fillna()函数实现

data1 = data.fillna(data.mean())
print(data1)

   NumRooms Alley   Price
0       3.0  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       3.0   NaN  140000

删除法

一般是删除缺失值所对应的行，用dropna()函数实现

• axis默认值为0，当设置为1时，是删除缺失值所对应的列
• subset是参考某几列（或几行）作为删除一句

data2 = data.dropna(axis=0, subset=['NumRooms'])
print(data2)

   NumRooms Alley   Price
1       2.0   NaN  106000
2       4.0   NaN  178100

除此之外，有时还需要删除重复的数据，可以用drop_duplicates()函数实现。由于一般我们都是用插值法处理缺失值，所以这里我们考虑该方法。

通过位置索引iloc，我们将data分为inputs和outputs

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
print(inputs)

   NumRooms Alley
0       3.0  Pave
1       2.0   NaN
2       4.0   NaN
3       3.0   NaN

对于inputs中的类别值或离散值，我们将“NaN”视为一个类别。由于“Alley”列只接受两种类型的类别值“Pave”和“NaN”，pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”。类型为“Pave”的⾏会将“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。类型为“NaN”的⾏会将“Alley_Pave”的值设置为0，“Alley_nan”的值设置为1。

inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)

   NumRooms  Alley_Pave  Alley_nan
0       3.0           1          0
1       2.0           0          1
2       4.0           0          1
3       3.0           0          1

转换为张量格式

现在inputs和outputs中所有数据都是数值类型，我们可以把它们转换为张量格式。

import torch
X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
X, y

(tensor([[3., 1., 0.],
         [2., 0., 1.],
         [4., 0., 1.],
         [3., 0., 1.]], dtype=torch.float64),
 tensor([127500, 106000, 178100, 140000]))

这节我们主要学习了csv文件数据的预处理，其实以其他格式存储的数据也是通过类似的方式进行处理，最终都得转变成tensor格式。

参考资料

[1] Dive into Deep Learning