note / 2022.09.29

Linear Algebra 1

如果本科线代能有这样的教育方式和路线,我何苦现在还要来听这门公开课( 记录一下听的过程中觉得有用的信息好了。

如果本科线代能有这样的教育方式和路线,我何苦现在还要来听这门公开课(

记录一下听的过程中觉得有用的信息好了。

从线性方程组开始

教授(下简称 GS)认为线性代数的基本用途是解线性方程组,比如有这样一个方程组: $$ \begin{cases} 2x-y = 0 \[2ex] -x+2y=3 \end{cases} $$ 我们可以从以下三个角度考虑其解法。

  1. 行图像:对于每个方程,我们都可以在二维平面上画出一条直线,这些直线的交点就是我们想要的解;

  2. 列图像:对于每个变量的参数,我们都可以把方程组写成若干向量线性组合的形式(本例中是 $x\left[\begin{matrix}2 \ -1\end{matrix}\right] + y\left[\begin{matrix}-1 \ 2\end{matrix}\right] = \left[\begin{matrix}0 \ 3\end{matrix}\right]$)。只要找到一个合适的组合,方程组得解;

    此处如果如果每次取任意的 x 与 y,则等式左侧的向量的组合能布满整个二维平面。

    拓展到多元方程组也是同理。

我们构造一个系数矩阵 ${A} = \left[\begin{matrix}2 & -1 \ -1 & 2\end{matrix}\right]$,令 $\mathbf{x} = \left[\begin{matrix}x \ y\end{matrix}\right], \mathbf{b} = \left[\begin{matrix}0 \ 3\end{matrix}\right]$,然后方程组可以写成这样子: $$ A\mathbf{x} = \mathbf{b} $$

是否有解?

这时要考虑一个问题:是否任意 $\mathbf{b}$ 都能让上面那个方程有解呢?

行图像的角度来讲,如果方程组有解,则所有方程在坐标系上对应的图像(直线、平面、体积)存在交集。如果某一个 $\mathbf{b}$ 不能满足上面条件,则无解(反之有解)。

列图像的角度来讲,如果某一个 $\mathbf{b}$ 不能成为 ${A}$ 列向量的线性组合,则无解(反之有解)。

如何求解?

计算机软件(以及人类)计算时最常用的方法是高斯消元法,将原方程 ${A}\mathbf{x} = \mathbf{b}$ 转换为新的方程 ${U}\mathbf{x}=\mathbf{c}$。

其中 ${U}$ 为行阶梯最简型矩阵。

消元过程

每一步消元都可以视为将原矩阵乘上一个置换矩阵。左乘置换矩阵可以完成原矩阵的行变换,右乘置换矩阵则为列变换。

逆矩阵

对于消元过程,每一步都是可逆的。对于一个置换矩阵 $E_1$,我做了其相反的操作即可得到原矩阵,若这一相反的操作用 $E_1^{’}$ 表示,则有 $E_1^{’} E_1 A = A$ 。

得到 $E_1^{’} E_1 = {I}$,从而可以用 $E_1^{’} = { E_1}^{-1}$ 表示逆矩阵。第一个式子代表了逆矩阵的定义与性质。同样也有 $(E_1^{’})^{-1} = {E_1}$ 且 $E_1 E_1^{’} = {I}$ 。

其中 $I$ 是单位矩阵(对角线元素全为 1,其它元素全为 0 的方阵)

怎么求逆矩阵?

高斯-若尔当消元法(Gauss-Jordan Elimination)告诉我们,通过构造 $\left[\begin{matrix}\ {A}\ |\ {I}\ \end{matrix}\right]$,再通过消元法将左侧矩阵变为单位矩阵 ${I}$,易得这一系列行变换操作对应的矩阵是 ${A}^{-1}$,相当于左乘了一个矩阵 ${A}^{-1}$,则右侧矩阵乘完后自然就变为了 ${A}^{-1}$。

接下来引入拓展到向量空间

向量空间

一个向量空间应该满足这样一个封闭性条件:对于空间中的任意向量 $\mathbf{u}, \mathbf{v}$,其任意线性组合 $a\mathbf{u}+b\mathbf{v}(a, b\in R)$ 必然存在于空间中。显然,所有向量空间必须包括零向量。

子空间

包含于向量空间之内的一个向量空间称为原向量空间的一个子空间。

以 ${R}^3$ 为例(它代表具有三个实数分量的所有向量的集合),其子空间包括:

  • 其本身(三维)
  • 任一过原点的平面(二维)
  • 任一过原点的直线(一维)
  • 零向量

列空间

矩阵 ${A}_{m\times n}$ 的所有列向量张成的空间称为其列空间,以 $C({A})$ 表示。$C({A})\subset R^m$

零空间

所有满足方程 ${A}\mathbf{x} = \mathbf{0}$ 的解的集合称为矩阵 ${A}_{m\times n}$ 的零空间,以 $N({A})$ 表示。$N({A})\subset R^n$

计算零空间

相当于求方程 ${A}\mathbf{x} = \mathbf{0}$ 的所有解。通过消元法与列交换构造出新的方程 ${U}\mathbf{x}=\mathbf{0}$,其中 ${U}$ 是由 $r$ 个主元列与 $n-r$ 个自由列组成的形如下式的行阶梯型矩阵: $$ U = \left[ \begin{matrix} \quad I_{r\times r} & F_{r\times n-r} \quad \ \quad 0 & 0 \quad \end{matrix} \right] $$

自由列可以表示为其左侧主元列的线性组合。

原方程变为 ${U}$ 的主元行乘以 $\mathbf{x}$,即 $\left[\begin{matrix}\ {I}\ |\ {F}\ \end{matrix}\right] \left[\begin{matrix}\ \mathbf x_{pivot} \ \ \mathbf x_{free} \ \end{matrix}\right] = 0$。如果对 $\mathbf x_{free}$ 中 $n-r$ 的变量自由取值,我们能得到 $n-r$ 个线性无关的特解,$N({A})$ 则是由这些特解张成的向量空间(维度为 $n-r$)。若把这些特解作为列向量写到一个矩阵 ${N}$ 中,则有 ${U}{N} = {0}$,易得: $$ N = \left[\begin{matrix}\ {-F}{r\times n-r} \ \ \ I{n-r\times n-r} \ \end{matrix}\right] $$ 其中 ${-F}$ 对应 $\mathbf{x}{pivot}$,${I}$ 对应 $\mathbf{x}{free}$

如果方程右侧不为零向量

首先抛出结论:若 $\mathbf{b} \in C({A})$,则方程 ${A}\mathbf{x} = \mathbf{b}$ 有解。

当方程有解时,可以先找到方程一个特解,再与 $N({A})$ 进行线性组合,即可得到最后的解。

矩阵的等于矩阵的主元数。若 $rank({A}_{m\times n}) = r$,则必有 $r\leq m, r\leq n$ 。

  1. 列满秩:即 $r=n<m$,每一列都是主元列,矩阵没有自由列,$N({A})$ 中只有零向量,方程 ${A}\mathbf{x} = \mathbf{b}$ 要么无解,要么有唯一解。
  2. 行满秩:即 $r=m\leq n$,方程 ${A}\mathbf{x} = \mathbf{b}$ 有无穷多解。
  3. 方阵满秩:即 $r=m=n$,方程 ${A}\mathbf{x} = \mathbf{b}$ 总有唯一解。
  4. 行列均不满秩:即 $r<m, r<n$,方程 ${A}\mathbf{x} = \mathbf{b}$ 要么无解,要么有无穷多解。

线性相关性

若一组向量的非零线性组合可以得到零向量,则称这组向量线性相关;反之,则称其线性无关

向量空间的是一组线性无关的向量,且这些向量能够张成该向量空间。

维数

空间中的每一组基都有相同的向量数,这个数值就是空间的维数,通常用 $dim$ 表示。

基本子空间

除了列空间和零空间,还有

  1. 行空间:矩阵 ${A}_{m\times n}$ 的所有行向量张成的空间称为其列空间,以 $R({A})$ 表示。$R({A})\subset R^n$;

  2. 左零空间:所有满足方程 ${A^T}{x} = {0}$ 的解的集合称为矩阵 ${A}_{m\times n}$ 的左零空间,以 $L({A})$ 表示。$L({A})\subset R^m$;

${A}$ 的 $r$ 个主元列构成了 $C({A})$ 的一组基。

${A}\mathbf{x}=\mathbf{0}$ 的一组特解对应于 ${A}$ 的 $n-r$ 个自由列,并构成了 $N({A})$ 的一组基。

则得到这样一个结论:

$$ rank(A) = # C_{pivot} = dim(C(A)) = r = dim(R(A)) $$

同样的:

$$ #C_{free} = dim(N(A)) = n - r \[2ex] dim(L(A)) = m-r $$

不妨用下图来表示这一切

image-20220929160748771