一些线性代数知识点整理

发表于 分类于

推导线性回归公式时遇到了线性代数方面的问题，于是查点资料补补课。

一些线性代数知识点整理

1. 共轭矩阵

1.1 共轭复数

实数部分相同而虚数部分互为相反数的两个复数。

例如 $x+iy$ 与 $x-iy$ 共轭（其中 $x,y\in R,i=\sqrt{-1}$ ）。

1.2. 共轭转置矩阵

把矩阵转置后，再把每一个数换成它的共轭复数，就得到了共轭转置矩阵。

讨论共轭矩阵的前提是被讨论的矩阵 $\mathbf{A}$ 为复矩阵。

当

$$
\begin{aligned}
\mathbf{A}&=(a_{ij}) \in \mathbb{C}^{m \times n} \\
&=\left[
\begin{array}{}
a_{11} & a_{12} & … & a_{1n} \\
a_{21} & a_{22} & … & a_{2n} \\
… & … & …& … \\
a_{m1} & a_{m2} & … & a_{mn} \\
\end{array}
\right]
\end{aligned}
$$

为复矩阵时（也就是说 $a_{ij}\in \mathbb{C}$ ， $\mathbb{C}$ 为复数集）

$$
\begin{aligned}
\mathbf{A}^H&=\overline{\mathbf{A}^T} \\
&=(\overline{a_{ji}})\\
&=\left[
\begin{array}{}
\overline{a_{11}} & \overline{a_{21}} & … & \overline{a_{m1}} \\
\overline{a_{12}} & \overline{a_{22}} & … & \overline{a_{m2}} \\
… & … & …& … \\
\overline{a_{1n}} & \overline{a_{2n}} & … & \overline{a_{mn}} \\
\end{array}
\right]
\end{aligned}
$$

为其共轭矩阵。其中

$$
a_{ij}=\overline{a_{ji}}
$$

为共轭算符。

共轭转置的运算符为 $\mathbf{A}^H$ 。

1.3 自共轭矩阵（Hermite阵）

每一个第 $i$ 行第 $j$ 列的元素都与第 $j$ 行第 $i$ 列的元素的共轭相等的矩阵。

即

$$
\begin{aligned}
\mathbf{A}&=(a_{ij}) \in \mathbb{C}^{n \times n} \\
&=\left[
\begin{array}{}
a_{11} & a_{12} & … & a_{1n} \\
\overline{a_{12}} & a_{22} & … & a_{2n} \\
… & … & …& … \\
\overline{a_{1n}} & \overline{a_{2n}} & … & a_{nn} \\
\end{array}
\right]
\end{aligned}
$$

自共轭矩阵具有 $\mathbf{A}=\mathbf{A}^H$ 的性质。此外，自共轭矩阵的对角线元素必须是实数（因为其转置之后的位置是其自身）。

对于只包含实数元素的矩阵（实矩阵），如果它是对称阵，即所有元素关于主对角线对称，那么它也是自共轭矩阵（即，实对称阵是Hermite阵的特例）。

一个自共轭矩阵的例子：

$$
\left[
\begin{array}{}
3 & 2+i \\
2-i & 1 \\
\end{array}
\right]
$$

其中， $2+i$ 和 $2-i$ 共轭。

2. 酉矩阵（幺正矩阵，Unitary Matrix）及其与单位矩阵的关系

unitary
adj.集中的；统一的；中央集权制的；单一的；
【网络】一元的；单式的；单元的

“酉矩阵”这个翻译不太好，一眼不明觉厉，完全看不出它是什么意思。从英文名称Unitary Matrix上直译，大概要被叫做单元矩阵或者统一矩阵。不过这很容易和单位矩阵（identity matrix）弄混。也许“幺正矩阵”这个词更合适一点吧。

2.1 单位矩阵

单位矩阵 $\mathbf{I}$ （有时用 $\mathbf{E}$ 表示） 是对角线全为1、其他位置全为0的方阵。例如：

$$
\left[
\begin{array}{}
1 & 0 & 0 \\
0 & 1 & 0 \\
0 & 0 & 1 \\
\end{array}
\right]
$$

是一个大小为 $3\times 3$ 的单位阵。

2.2 酉矩阵

如果一个矩阵 $\mathbf{A}$ 满足以下条件：

$$
\mathbf{A}^H\mathbf{A}=\mathbf{A}\mathbf{A}^H=\mathbf{I}
$$

其中 $\mathbf{I}$ 为单位阵，则矩阵 $\mathbf{A}$ 为酉矩阵。

酉矩阵的性质：若 $\mathbf{A}$ 为酉矩阵，则下列描述成立

  • (1) $\mathbf{A}^{-1}$=$\mathbf{A}^H$
  • (2) $\mathbf{A}^{-1}$ 也是酉矩阵
  • (3) 酉矩阵的特征值都是模为1的复数，即分布在复平面的单位圆上，所以 $|det(\mathbf{A})|=1$ ，其中$det()$是矩阵的行列式求值函数。
  • (4) 矩阵 $\mathbf{A}$ 是酉矩阵的充分条件是矩阵 $\mathbf{A}$ 的 $n$ 个列向量是两两正交的单位向量。（单位向量是指模等于1的向量，向量模运算相当于求空间向量到坐标系原点的欧几里得距离）

3.逆矩阵和伪逆矩阵

3.1 逆矩阵（inverse matrix）

对于矩阵 $\mathbf{A}$ ，如果存在矩阵 $\mathbf{B}$ ，使得 $\mathbf{A}\mathbf{B}=\mathbf{B}\mathbf{A}=\mathbf{I}$ （其中 $\mathbf{I}$ 为与 $\mathbf{A},\ \mathbf{B}$ 维数相同的单位阵），则称 $\mathbf{A}$ 为可逆矩阵，且 $\mathbf{B}$ 是 $\mathbf{A}$ 的逆矩阵，记作 $\mathbf{B}=\mathbf{A}^{-1}$

不是所有矩阵都有逆矩阵。例如，奇异矩阵（行列式为0的方阵）以及非方阵都没有逆矩阵。

3.2 伪逆矩阵（pseudo-inverse matrix）

没有逆矩阵的矩阵可以有伪逆矩阵。

满足 $\mathbf{A}^L\mathbf{A}=\mathbf{I}$ ，但不满足 $\mathbf{A}\mathbf{A}^L=\mathbf{I}$ 的矩阵 $\mathbf{A}^L$ 称为矩阵 $\mathbf{A}$ 的左逆矩阵。

满足 $\mathbf{A}\mathbf{A}^R=\mathbf{I}$ ，但不满足 $\mathbf{A}^R\mathbf{A}=\mathbf{I}$ 的矩阵 $\mathbf{A}^R$ 称为矩阵 $\mathbf{A}$ 的右逆矩阵。

仅当 $m\geq n$ 时，列满秩，矩阵 $\mathbf{A}_{m\times n}$ 有左逆矩阵，为 $(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T$ （其中 $\mathbf{A}^T$ 为 $\mathbf{A}$ 的转置）。

仅当 $n\geq m$ 时，列满秩，矩阵 $\mathbf{A}_{m\times n}$ 有右逆矩阵，为 $\mathbf{A}^T(\mathbf{A}^T\mathbf{A})^{-1}$ 。

参考