在实现深度学习模型时，我们难免会对数据进行操作，因此我们需要部分线性代数相关的内容。这节我们将学习线性代数中的基本数学对象和运算，并通过相关代码来表现它们。
标量
我们称仅包含一个数值的为标量，它可以由只有一个元素的张量表示。下面我们简单实例化两个标量，并执行一些熟悉的算术运算。
import torch
x, y = torch.tensor(3.0), torch.tensor(2.0)
x + y, x * y, x / y, x ** y(tensor(5.), tensor(6.), tensor(1.5000), tensor(9.))
向量
你可以将向量视为标量值组成的列表，下面我们生成一个向量，并通过索引来访问元素。并像python数组一样，用相关函数来看向量的长度和形状。
x = torch.arange(4)
xtensor([0, 1, 2, 3])
通过索引获取向量中元素，注意索引是从0开始
x[3]tensor(3)
通过调用python内置len()函数来访问张量的长度
len(x)4
我们可以用.shape属性访问向量的形状，该属性列出了张量沿 每个轴的长度。由于向量只有一个轴，形状只有一个元素，即向量的长度。
x.shapetorch.Size([4])
矩阵
矩阵将向量从一维推广到二维，在数学表示中，我们使用$A\in R^{mxn}$来表示矩阵A，A由m行和n列的实值标量组成。其中元素$a_{ij}$属于矩阵A第i行第j列，A的形状是(m,n)或m x n。当矩阵具有相同数量的行和列时，我们将A称为方阵。
我们可以通过reshape(m, n)或view(m, n)将一个长度为mn的向量变成形状为m x n的矩阵。
A = torch.arange(20).view(5, 4) # 也可以用torch.arange(20).reshape(5, 4)
Atensor([[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11],
[12, 13, 14, 15],
[16, 17, 18, 19]])
我们也可以通过一些函数来生成一些特殊向量
# 构造一个未初始化的5x4矩阵
torch.empty(5, 3)
# 构造一个随机初始化的5x4矩阵
torch.rand(5, 4) # 值在0到1
torch.randn(5, 4) # 标准正态分布，值在-1到1
# 构造一个全零矩阵
torch.zeros(5, 4)
# 构造一个全一矩阵
torch.ones(5, 4)
# 直接从数据中构造
torch.tensor([[1, 2],
[2, 3]])通过.T属性访问矩阵的转置，转置就是交换矩阵中的行和列
A.Ttensor([[ 0, 4, 8, 12, 16],
[ 1, 5, 9, 13, 17],
[ 2, 6, 10, 14, 18],
[ 3, 7, 11, 15, 19]])
索引和变形
Pytorch的索引与Numpy一样，切片也是左闭右开
A[:, 1:] # 取所有行，取第一列到最后一列tensor([[ 1, 2, 3],
[ 5, 6, 7],
[ 9, 10, 11],
[13, 14, 15],
[17, 18, 19]])
变形在Pytorch中用view实现
print(A.shape)
B = A.view(20)
print(B.shape)
# 指定某个维度为-1时，该维度会被自动计算
C = A.view(2, -1)
print(C.shape)torch.Size([5, 4])
torch.Size([20])
torch.Size([2, 10])我们可以通过item()函数将tensor中的value取出作为Python的数值，前提是该tensor内部只有一个数值
A[2, 2].item()10
张量
前面我们介绍了标量、向量和矩阵，其实它们都是张量的一个表示形式。张量为我们提供了描述具有任意数量轴的n维数组的通用方法，它们的索引机制与矩阵类似。
X = torch.arange(24).reshape(2, 3, 4)
Xtensor([[[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11]],
[[12, 13, 14, 15],
[16, 17, 18, 19],
[20, 21, 22, 23]]])
张量算法的基本性质
标量、向量、矩阵和任意数量轴的张量有⼀些实⽤的属性，如任意按元素的一元运算都不会改变张量的形状。同样，给定具有
相同形状的任意两个张量，任何按元素⼆元运算的结果都将是相同形状的张量。如二元运算Hadamard积（两个矩阵按元素乘法）
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
B = A.clone() # 通过分配新内存，将A的⼀个副本分配给B
A, A * B(tensor([[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.],
[16., 17., 18., 19.]]),
tensor([[ 0., 1., 4., 9.],
[ 16., 25., 36., 49.],
[ 64., 81., 100., 121.],
[144., 169., 196., 225.],
[256., 289., 324., 361.]]))
将张量乘以或加上⼀个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。
a = 2
X = torch.arange(24).reshape(2, 3, 4)
a + X, (a * X).shape(tensor([[[ 2, 3, 4, 5],
[ 6, 7, 8, 9],
[10, 11, 12, 13]],
[[14, 15, 16, 17],
[18, 19, 20, 21],
[22, 23, 24, 25]]]),
torch.Size([2, 3, 4]))
降维和交换维度
降维
我们可以对任意张量进行的一个有用的操作是计算其元素的和，这可以通过调用函数实现
A.shape, A.sum()(torch.Size([5, 4]), tensor(190.))
默认情况下，求和函数会沿所有的轴降低张量的维度，使它变为一个标量。我们还可以指定张量沿哪一个轴来通过求和降低维度，指定axis=0将通过汇总所有行的元素降维，axis=1将通过汇总所有列的元素降维，下面以axis=1为例
A_sum_axis1 = A.sum(axis=1)
A_sum_axis1, A_sum_axis1.shape(tensor([ 6., 22., 38., 54., 70.]), torch.Size([5]))
沿着⾏和列对矩阵求和，等价于对矩阵的所有元素进⾏求和。
A.sum(axis=[0, 1]) # 等同于A.sum()tensor(190.)
⼀个与求和相关的量是平均值（mean或average）。我们通过将总和除以元素总数来计算平均值。在代码中，
我们可以调⽤函数来计算任意形状张量的平均值。
A.mean(), A.sum() / A.numel()(tensor(9.5000), tensor(9.5000))
同样，计算平均值的函数也可以沿指定轴降低张量的维度。
A.mean(axis=0), A.sum(axis=0) / A.shape[0](tensor([ 8., 9., 10., 11.]), tensor([ 8., 9., 10., 11.]))
非降维求和
我们可以通过keepdims=True来保持轴数不变，这种求和有时很有用。
sum_A = A.sum(axis=1, keepdims=True)
sum_Atensor([[ 6.],
[22.],
[38.],
[54.],
[70.]])
例如，由于sum_A在对每行进行求和后仍保持两个轴，我们可以通过⼴播将A除以sum_A。
A / sum_Atensor([[0.0000, 0.1667, 0.3333, 0.5000],
[0.1818, 0.2273, 0.2727, 0.3182],
[0.2105, 0.2368, 0.2632, 0.2895],
[0.2222, 0.2407, 0.2593, 0.2778],
[0.2286, 0.2429, 0.2571, 0.2714]])
交换维度
tensor.transpose(dim0,dim1)交换维度dim0和维度dim1，所以，对于一个张量X（3维及以上的张量），X.transpose(0,2)等价于X.transpose(2,0)
X = torch.arange(24).reshape(2, 3, 4)
Y = X.transpose(0, 2)
X.shape, Y.shape(torch.Size([2, 3, 4]), torch.Size([4, 3, 2]))
其他运算
点积
我们已经学习了按元素操作、求和及平均值。另⼀个最基本的操作之⼀是点积。给定两个向量$x, y\in R^{d}$，它们的点积$x^{T}y$ （或⟨x, y⟩）是相同位置的按元素乘积的和
x = torch.arange(4, dtype=torch.float32)
y = torch.ones(4, dtype = torch.float32)
x, y, torch.dot(x, y)(tensor([0., 1., 2., 3.]), tensor([1., 1., 1., 1.]), tensor(6.))
注意，我们可以通过执行按元素乘法，然后进行求和来表示两个向量的点积
torch.sum(x * y)tensor(6.)
矩阵-向量积
有了点积的基础，我们就可以理解矩阵-向量积，假设矩阵$A\in R^{mxn}$和向量$x\in R^{n}$，则矩阵向量积Ax是一个长度为m的列向量，矩阵向量积是将矩阵的每一行当成一个向量与x做点积得到。
在代码中，我们通过调用torch.mv(A, x)实现，这里请注意A的列维数必须与x的维数（其⻓度）相同
A.shape, x.shape, torch.mv(A, x)(torch.Size([5, 4]), torch.Size([4]), tensor([ 14., 38., 62., 86., 110.]))
矩阵-矩阵乘法
如果你已经掌握了点积和矩阵-向量积的知识，那么矩阵-矩阵乘法就会很简单，关于矩阵之间的乘法如果不知，可自行百度。
假设我们有两个矩阵$A\in R^{nxk}$和$B\in R^{kxm}$，则矩阵-矩阵乘法AB可以看作是简单地执⾏m次矩阵-向量积，并将结果拼接在⼀起，形成⼀个n x m矩阵。在下⾯的代码中，我们在A和B上执⾏矩阵乘法。这⾥的A是⼀个5⾏4列的矩阵， B是⼀个4⾏3列的矩阵。两者相乘后，我们得到了⼀个5⾏3列的矩阵
B = torch.ones(4, 3)
torch.mm(A, B)tensor([[ 6., 6., 6.],
[22., 22., 22.],
[38., 38., 38.],
[54., 54., 54.],
[70., 70., 70.]])
范数
概念
以向量范数为例，设V是数域F上的线性空间，且对于V的任一个向量x，对应一个非负实数$\parallel x \parallel$，满足以下条件：
①正定性：$\parallel x \parallel >= 0$，$\parallel x \parallel = 0$当且仅当$x=0$
②齐次性：$\parallel ax \parallel = |a|\parallel x \parallel$
③三角不等式：对任意$x,y\in V$，都有$\parallel x+y \parallel <= \parallel x \parallel + \parallel y \parallel$
则称$\parallel x+y \parallel$为向量x的范数
下面我们介绍p-范数:
$$\parallel x \parallel_{p} = (\overset{n}{\underset{i=1}{\sum}}|x_{i}|^{p})^{1/p}$$
则2-范数就是向量元素平方和的平方根，其实就是欧几里得距离：
$$\parallel x \parallel_{2} = \sqrt{\overset{n}{\underset{i=1}{\sum}}|x_{i}|^{2}}$$
在代码中，我们可以按如下方式计算向量的2-范数
u = torch.tensor([3.0, -4.0])
torch.norm(u)tensor(5.)
有时你还会碰到1-范数，它表示为向量元素的绝对值之和：
$$\parallel x \parallel_{1} = \overset{n}{\underset{i=1}{\sum}}|x_{i}|$$
我们通过将绝对值函数和按元素求和函数结合起来实现1-范数
torch.abs(u).sum()tensor(7.)
类似于向量的2-范数，矩阵$X\in R^{mxn}$的F范数也是矩阵元素平方和的平方根：
$$\parallel X \parallel_{F} = \sqrt{\overset{m}{\underset{i=1}{\sum}}\overset{n}{\underset{j=1}{\sum}}x_{ij}^{2}}$$
F范数满足向量范数的所有性质，它就像是矩阵型向量的2-范数。我们可以调用相同的函数norm()计算矩阵的F范数
torch.norm(torch.ones((4, 9)))tensor(6.)
最后我将列举三种常见的矩阵p-范数
①$\parallel A \parallel_{1} = \underset{j}{max}(\overset{n}{\underset{i=1}{\sum}}|a_{ij}|)$，称为列和范数；
②$\parallel A \parallel_{2} = \sqrt{\lambda_{1}}$，$\lambda_{1}$为$A^{H}A$的最大特征值，称为谱范数
③$\parallel A \parallel_{\infty} = \underset{i}{max}(\overset{n}{\underset{j=1}{\sum}}|a_{ij}|)$，称为行和范数
