矩阵代数基础

典型物理模型

多个信号观测模型

$$x(n)=As(n)+v(n)$$

书写规范

• 大写字母下加两线：矩阵
• 加一线：向量
• 不加：变量

矩阵代数基本性质

$$\begin{array}{l}(A+B{)}^{\ast }=A^{\ast }+B^{\ast }\\ (A+B{)}^T=A^T+B^T\\ (A+B{)}^H=A^H+B^H\\ (AB{)}^T=B^T{A}^T\\ (AB{)}^H=B^H{A}^H\\ (AB{)}^{-1}=B^{-1}{A}^{-1}\\ (A^{\ast }{)}^{-1}=(A^{-1}{)}^T\\ (A^H{)}^{-1}=(A^{-1}{)}^H\end{array}$$

对于任意矩阵A，矩阵$B=A^{H}A$都是Hermitndian

导数积分

$$\frac{dA}{dt}=\left[\begin{array}{ccc}\frac{d{a}_{11}}{dt}& ...& \frac{d{a}_{1n}}{dt}\\ ...& ...& ...\\ \frac{d{a}_{m1}}{dt}& ...& \frac{d{a}_{mn}}{dt}\end{array}\right]$$

• 指数矩阵函数$$exp(At)=I+At+\frac{A^2{t}^2}{2!}...\frac{A^n{t}^n}{n!}$$
• 指数矩阵导数$$\frac{d{e}^{At}}{dt}=A{e}^{At}$$
• 矩阵乘积的导数$$\frac{d}{dt}(AB)=\frac{dA}{dt}B+A\frac{dB}{dt}$$
• 对数函数$$In(I+A)=\sum _{n=1}^{\mathrm{\infty }}\frac{(-1{)}^{n-1}}{n}{A}^n$$

  特殊矩阵

• 幂等矩阵$$A^2=A$$
• 对合矩阵

$$A^2=I$$

• 正交矩阵

$$A{A}^T=I$$

线性无关与奇异性

线性方程组

$$c_1{u}_1+...c_n{u}_n=0$$

• 向量组线性无关：只有零解
• 线性相关：有非零解

  矩阵方程

  $$Ax=0$$
• 只有零解：A非奇异
• 存在非零解：A是奇异的

复矩阵方程

$$(A_r+j{A}_i)(x_r+j{x}_i)=b_r+j{b}_i\left[\begin{array}{ccc}{A}_r& -A_i& b_r\\ A_i& A_r& b_i\end{array}\right]\to \left[\begin{array}{ccc}{I}_n& O_n& x_r\\ O_n& I_n& x_i\end{array}\right]$$

向量空间和线性映射

向量空间是以向量为元素的集合

• 子空间V到子空间W的映射$$T:V\to W$$$$T(c_1{u}_1...+c_n{u}_n)=c_{1}T(u_1)+...+c_{n}T(u_n)$$

  满足线性性质

正交投影算子

$$w=T(x)$$$$\left[\begin{array}{c}{w}_1\\ w_2\end{array}\right]=\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

向量内积与范数

典范内积

$$<x,y>=x^{H}y=\sum _{i=1}^n{x}_i^{\ast }{y}_i$$

加权内积

$$<x,y>=x^{H}Gy$$

G为正定Hermitian矩阵

连续函数内积

$$<x(t),y(t)>={\int }_a^{b}x(t)y(t)dt$$

向量范数

• L0范数

  $$||x|{|}_0{=}^{def}\mathrm{非}\mathrm{零}\mathrm{元}\mathrm{素}\mathrm{的}\mathrm{个}\mathrm{数}$$

  表示矩阵稀疏程度

• L1范数

  $$||x|{|}_1{=}^{def}\sum _{i=1}^m|x_i|$$
• L2范数$$||x|{|}_2=(|x_1{|}^2...+|x_n{|}^2{)}^{1/2}=\sqrt{x^{T}x}$$
• $L_{\mathrm{\infty }}$$$L_{\mathrm{\infty }}=max\{x_i\}$$
• $L_P$$$||x_p||=(\sum _{i=1}^m|x_i{|}^p{)}^{1/p}$$

模式识别和机器学习中的向量相似比较

距离测度$D(p||g)$衡量向量相似度

比如k邻近算法中

$$D_E(x,s_i)=||x-s_i|{|}_2=\sqrt{(x-s_i{)}^T(x-s_i)}$$

矩阵内积与范数

矩阵列向量化

$$a=vec(A)=\left[\begin{array}{c}{a}_1\\ a_2\\ ...\\ a_n\end{array}\right]$$$$mn\times 1\mathrm{向}\mathrm{量}$$

矩阵内积

$$<A,B>=<vec(A),vec(B)>=\sum _{i=1}^n{a}_i^H{b}_i=\sum _i^n<a_i,b_i>$$$$=vec(A{)}^{H}vec(B)=tr<A^{H}B>$$

诱导范数

$$||A||=max\{||Ax||:x\in K^n,||x||=1\}$$$$=max\{\frac{||Ax||}{||X||}:x\in K^n,||x||=\text{⧸}0\}$$

诱导p范数

诱导$L$和$L_{\mathrm{\infty }}$范数分别直接是该矩阵的各列元素绝对值之和的最大值(最大绝对列和)及最大绝对行和;而诱导L2范数则是矩阵A的最大奇异值。

$$\begin{array}{l}\Vert \mathit{A}{\Vert }_1=\underset{1⩽j⩽n}{max}\sum _{i=1}^m\left|a_{ij}\right|\\ \Vert \mathit{A}{\Vert }_{\mathrm{spec}}=\Vert \mathit{A}{\Vert }_2\\ \Vert \mathit{A}{\Vert }_{\mathrm{\infty }}=\underset{1⩽i⩽m}{max}\sum _{j=1}^n\left|a_{ij}\right|\end{array}$$

元素函数

将m×n矩阵先按照列堆栈的形式，排列成一个mn ×1向量，然后采用向量的范数定义，即得到矩阵的范数。由于这类范数是使用矩阵的元素表示的，故称为元素形式范数。元素形式范数是下面的p矩阵范数

$$\Vert \mathit{A}{\Vert }_p\stackrel{\text{ def }}{=}{\left(\sum _{i=1}^m\sum _{j=1}^n{\left|a_{ij}\right|}^p\right)}^{1/p}$$

• L1函数（和范数）（p=1）$$\Vert \mathit{A}{\Vert }_1\stackrel{\text{ def }}{=}\sum _{i=1}^m\sum _{j=1}^n\left|a_{ij}\right|$$
• Frobenius范数（p=2）$$\Vert \mathit{A}{\Vert }_{\mathrm{F}}\stackrel{\text{ def }}{=}{\left(\sum _{i=1}^m\sum _{j=1}^n{\left|a_{ij}\right|}^2\right)}^{1/2}$$Frobenius函数又可以写作迹函数的形式

$$||A|{|}_F=\sqrt{tr(A^{H}A)}$$

• 最大范数$$\Vert \mathit{A}{\Vert }_{\mathrm{\infty }}=\underset{i=1,\cdots ,m;j=1,\cdots ,n}{max}\left\{\left|a_{ij}\right|\right\}$$

  随机向量

均值向量

$${\mathit{\mu }}_x=\mathrm{E}\{\mathit{x}(\xi )\}=\left[\begin{array}{c}\mathrm{E}\{x_1(\xi )\}\\ ⋮\\ \mathrm{E}\{x_m(\xi )\}\end{array}\right]=\left[\begin{array}{c}{\mu }_1\\ ⋮\\ {\mu }_m\end{array}\right]$$

相关矩阵

$${\mathit{R}}_x\stackrel{\text{ def }}{=}\mathrm{E}\{\mathit{x}(\xi ){\mathit{x}}^{\mathrm{H}}(\xi )\}=\left[\begin{array}{ccc}{r}_{11}& \cdots & r_{1m}\\ ⋮& \ddots & ⋮\\ r_{m1}& \cdots & r_{mm}\end{array}\right]$$

自协方差矩阵

$$C_x=\mathrm{Cov}(x,x)\stackrel{\text{ def }}{=}\mathrm{E}\left\{[x(\xi )-{\mu }_x]{[x(\xi )-{\mu }_x]}^{\mathrm{H}}\right\}=\left[\begin{array}{ccc}{c}_{11}& \cdots & c_{1m}\\ ⋮& \ddots & ⋮\\ c_{m1}& \cdots & c_{mm}\end{array}\right]$$

自相关矩阵与自协方差矩阵之间的关系

$$C_x=R_x-{\mu }_x{\mu }_x^H$$

互协方差矩阵

$$C_{xy}\stackrel{\text{ def }}{=}\mathrm{E}\left\{[x(\xi )-{\mu }_u]{[y(\xi )-{\mu }_y]}^{\mathrm{H}}\right\}=\left[\begin{array}{ccc}{c}_{x_1,y_1}& \cdots & c_{x_1,y_m}\\ ⋮& \ddots & ⋮\\ c_{x_m,y_1}& \cdots & c_{x_m,x_m}\end{array}\right]$$$$C_x=R_{xy}-{\mu }_x{\mu }_y^H$$

相关系数

$${\rho }_{xy}\stackrel{\text{ def }}{=}\frac{c_{xy}}{\sqrt{\mathrm{E}\{|x(\xi ){|}^2\}\mathrm{E}\{|y(\xi ){|}^2\}}}=\frac{c_{xy}}{{\sigma }_x{\sigma }_y}$$

高斯随机向量

$$E\{x(t)\}=0$$$$E\{x(t)x^T(t)\}=\sigma I$$

矩阵的性能指标

矩阵的二次型

对于任意方阵A的二次型定义为$x^{H}Ax$

$$f(x_1,\cdots ,x_n)=\sum _{i=1}^n{\alpha }_{ii}{x}_i^2+\sum _{i=1,i\ne j}^n\sum _{j=1}^n{\alpha }_{ij}{x}_i{x}_j$$

为保证唯一性，在讨论矩阵的二次型时，有必要假定矩阵为实对称矩阵或复共轭对称矩阵

• 正定矩阵，
  • 二次型$x^{H}Ax>0$
• 半正定矩阵
  • $x^{H}Ax>0$
• 负定矩阵
  • 二次型$x^{H}Ax>0$
• 半负定矩阵
  • 若二次型$x^{H}Ax>0$
• 不定矩阵，若二次型$x^{H}Ax$ 既可能取正值，也可能取负值。

用特征值描述矩阵的正定性与非正定性

• 正定矩阵:所有特征值取正实数的矩阵。
• 半正定矩阵:各个特征值取非负实数的矩阵。
• 负定矩阵:全部特征值为负实数的矩阵。
• 半负定矩阵:每个特征值取非正实数的矩阵。
• 不定矩阵:特征值有些取正实数,另一些取负实数的矩阵。

矩阵的特征值可描述正定性、奇异性及对角元素的特殊结构

矩阵的迹

矩阵的迹反映所有特征值之和

矩阵的秩

矩阵中线性无关的行或列的数目

• 适定方程:若m = n，并且 rank(A) = n，即矩阵A非奇异，则称矩阵方程Aa = b为适定(well-determined)方程。
• 欠定方程:若独立的方程个数小于独立的未知参数个数，则称矩阵方程 Aa = b为欠定(under-determined)方程。
• 超定方程:若独立的方程个数大于独立的未知参数个数，则称矩阵方程Aa = b为超定(over-determined)方程。

逆矩阵和伪逆矩阵

矩阵的可逆和非奇异的叙述中，下列叙述等价

• A非奇异
• A-1存在
• rank(A) = n
• A的行线性无关
• A的列线性无关;
• det(A)≠0
• A 的值域的维数是n
• A 的零空间的维数是0
• Ax = b对每一个$b\in C^n$都是一致方程
• Ax = b对每一个b有唯一的解
• Ax = 0只有平凡解x = 0。

n x n矩阵A的逆矩阵A-1具有以下性质

• A-1A= AA-1 =I。
• A-1是唯一的。
• 逆矩阵的行列式等于原矩阵行列式的倒数，即$|A^{-1}|=\frac{1}{|A|}$
• 逆矩阵是非奇异的。
• $(A^{-1}{)}^{-1}=A$

矩阵求逆定理(Sherman-Morrison)

$$(A+x{y}^H{)}^{-1}=A^{-1}-\frac{A^{-1}x{y}^H{A}^{-1}}{1+y^H{A}^{-1}x}$$

广义逆矩阵

A的广义逆矩阵满足以下四个条件

$$\begin{array}{l}A{A}^{†}A=A\\ A^{†}A{A}^{†}=A^{†}\\ A{A}^{†}=(A{A}^{†}{)}^H\\ A^{†}A=(A^{†}A{)}^H\end{array}$$

矩阵的直和

$$\mathit{A}\oplus \mathit{B}=\left[\begin{array}{cc}\mathit{A}& {\mathit{O}}_{m\times n}\\ {\mathit{O}}_{n\times m}& \mathit{B}\end{array}\right]$$

Hadamard积

两个同维度矩阵对应元素直接相乘

$$(A\ast B{)}_{ij}=a_{ij}{b}_{ij}$$

Kronecker积

左Kronecker积

$$\mathit{A}\otimes \mathit{B}=[{\mathit{a}}_1\mathit{B},\cdots ,{\mathit{a}}_n\mathit{B}]={\left[a_{ij}\mathit{B}\right]}_{i=1,j=1}^{m,n}=\left[\begin{array}{cccc}{a}_{11}\mathit{B}& a_{12}\mathit{B}& \cdots & a_{1n}\mathit{B}\\ a_{21}\mathit{B}& a_{22}\mathit{B}& \cdots & a_{2n}\mathit{B}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}\mathit{B}& a_{m2}\mathit{B}& \cdots & a_{mn}\mathit{B}\end{array}\right]$$

右Kronecker积

$$[\mathit{A}\otimes \mathit{B}{]}_{\text{left }}=[\mathit{A}{\mathit{b}}_1,\cdots ,\mathit{A}{\mathit{b}}_{\mathit{q}}]={\left[b_{ij}\mathit{A}\right]}_{i=1,j=1}^{p,\mathit{q}}=\left[\begin{array}{cccc}\mathit{A}{b}_{11}& \mathit{A}{b}_{12}& \cdots & \mathit{A}{b}_{1\mathit{q}}\\ \mathit{A}{b}_{21}& \mathit{A}{b}_{22}& \cdots & \mathit{A}{b}_{2q}\\ ⋮& ⋮& \ddots & ⋮\\ \mathit{A}{b}_{\mathit{p}1}& \mathit{A}{b}_{p2}& \cdots & \mathit{A}{b}_{pq}\end{array}\right]$$

矩阵向量化

按列堆栈

$$vec(\mathit{A})={[a_{11},\cdots ,a_{m1},\cdots ,a_{1n},\cdots ,a_{mn}]}^{\mathrm{T}}$$

按行堆栈

$$rvec(\mathit{A})=[a_{11},\cdots ,a_{1n},\cdots ,a_{m1},\cdots ,a_{mn}]$$