第二章：Linear Algebra

Posted on Edited on In

2. Linear Algebra

基础概念：

  • Scalars: 一个数；
  • Vctors: 一列数；
  • Matrices: 二位数组的数，每个元素由两个下标确定；
  • Tensors: 多维数组的数。

转置（transpose）：$(A^T)_{i,j}=A_{j,i}$

矩阵乘法: $C=AB$， $C_{i,j}=\sum_kA_{i,k}B_{k,j}$

元素乘法(element product; Hardamard product)：$A \bigodot B$

点乘(dot product): 向量x，y的点乘：$x^Ty$

单位矩阵(identic matrix): $I_n$， 斜对角的元素值是1,其他地方都是0

逆矩阵（inverse matrix）:

  • $A^{-1}$, $A^{-1}A=I_n$
  • 方程Ax=b，如果A可逆，则$x=A^{-1}b$

线性组合（linear combination）：

将矩阵$A$看作是不同的列向量的组合$[d1,d2,…,dn]$，每个列向量代表一个方向，$x$可以代表在每个方向上移动的距离，那么$Ax=b$可以理解成原点如何在$A$指定的各个方向上移动，最后到达$b$点。

  • $Ax$即为线性组合，组合的对象是各个列向量，方式是$x$的元素。

生成空间（span）：对所有的$x$，生成的点$Ax$的集合，即为$A$的生成空间。

范数（Norm）：

  • 用来衡量vector的尺寸。
  • $L^p$ norm: $||x||_p = \left ( \sum_i{|x_i|^p} \right )^{\frac{1}{p}}$

Frobenius-norm:

  • 用来衡量matrix的尺寸。
  • 类似于$L_2$
    norm:$||A||F=\sqrt{\sum{i,j}{A_{i,j}^2}}$

对角阵（diagnal matrix）：除了对角线上的元素不为0,其他元素都为0。可以表示为$diag(v)$。

对称阵（symmetric matrix）：$A=A^T$

单位向量（unit vector）：$||x||_2 = 1$
正交（orthogonal）：如果$x^Ty=0$，则向量$x$和向量$y$彼此正交。

正交归一化矩阵（orthonormal matrix）：

  • 每行都相互正交并且都是单位向量。
  • $A^TA=AA^T=I$，有$A^{-1}=A^T$。

特征分解：

  • 特征向量$v$和特征值$λ$，满足：$Av =
    λv$，方阵A可以这样分解：$A=Vdiag(λ)V^{-1}$，其中,$V=[v^{(1)},…,v^{(n)}]$,$λ=[λ_1, …,
    λ_n]^T$。
  • 特别的，如果A是一个实对称阵，那么$A=Q∧Q^T$

正定（positive definite）：一个矩阵的所有特征值都是正的，则称这个矩阵正定。

奇异值分解（singular value decomposition）：

  • $A = UDV^T$
  • 其中$A$是$m×n$矩阵。
  • $U$是$m×m$正交矩阵，$U$的列向量称为左奇异向量，是$AA^T$的特征向量。
    -$D$是$m×n$对角矩阵，对角线上的元素称为奇异值。
  • $V$是正交$n×n$矩阵，$V$的列向量称为右奇异向量，是$A^TA$的特征向量。
    伪逆（Moore-Penrose Pseudoinverse）：
  • $A^+ = VD^+U^T$
  • 其中，$D^+$是由D的每个对角线元素取倒数（reciprocal）获得。

迹（Trace）：$Tr(A) = \sum_i A_{i,i}
$，即对角线元素之和。

行列式（Determinant）：

  • $det(A)$，是一个将一个matrix映射到一个实数的function。
  • 行列式的值等于矩阵的所有特征值的乘积。

奇异矩阵（singular matrix）：

  • 前提是方阵
  • 如果A(n×n)为奇异矩阵（singular matrix）<=> A的秩$Rank(A)<n$
  • 如果A(n×n)为非奇异矩阵（nonsingular matrix）<=> A满秩，$Rank(A)=n$。