• 1. SVD
  • 1.1. 酉矩阵（幺正矩阵、unitary matrix）
  • 1.2. 正交矩阵
  • 1.3. 对角矩阵和对角化
  • 1.4. SVD分解
  • 1.5. 特征分解
  • 1.6. 奇异矩阵

1. SVD

1.1. 酉矩阵（幺正矩阵、unitary matrix）

矩阵U为酉矩阵的充要条件是它的共轭转置矩阵等于其逆矩阵。

U^†=U⁻¹

若酉矩阵的元素全是实数，则其为正交矩阵。

性质： |det(U)| = 1

酉矩阵U可以被分解为U=VΣV∗，其中V是酉矩阵，Σ是主对角线上元素绝对值为1的对角阵。

对角阵，指除了主对角线外，其它位置元素都为0的矩阵。

1.2. 正交矩阵

如果AA^T=E（E为单位矩阵，A^T表示“矩阵A的转置矩阵”）或A^TA=E，则n阶实矩阵A称为正交矩阵。正交矩阵是实数特殊化的酉矩阵，因此总是属于正规矩阵。

若A为正交阵，则满足以下条件:

• A^T是正交矩阵
• A^-1是正交矩阵
• AA′=E（E为单位矩阵）（它的转置矩阵是它的逆矩阵，这是很重要的）
• A^T=A^-1
• A的各行是单位向量且两两正交
• A的各列是单位向量且两两正交
• (Ax,Ay)=(x,y) x,y∈R

正交矩阵通常用字母Q表示。

举例：A=[r11 r12 r13; r21 r22 r23; r31 r32 r33]

则有：

r11^2+r12^2+r13^2=r21^2+r22^2+r23^2=r31^2+r32^2+r33^2=1

r11*r12+r21*r22+r31*r32=0

1.3. 对角矩阵和对角化

对角矩阵是指只有主对角线上含有非零元素的矩阵，即，已知一个n×n矩阵M，如果对于i≠j,Mij=0，则该矩阵为对角矩阵。

如果存在一个矩阵A，使A^-1MA的结果为对角矩阵，则称矩阵A将矩阵M对角化。

对于一个矩阵来说，不一定存在将其对角化的矩阵，但是任意一个n×n矩阵如果存在n个线性不相关的特征向量，则该矩阵可被对角化。

1.4. SVD分解

• U和V中分别是A的奇异向量，而∑是A的奇异值。
• AA^T的特征向量组成U，特征值组成∑∑，
• A^TA的特征向量组成V，特征值（与AA^T相同）组成∑∑^T。

SVD作用：

1. 减少计算量
2. 消除噪声

SVD的核心思想其实是构造方阵，然后才能提取特征值，才能表达其主要特征。

1.5. 特征分解

令 A 是一个 N×N 的方阵，且有 N 个线性无关的特征向量qi( i=1~N)。这样， A 可以被分解为

其中 Q 是N×N方阵，且其第 i列为 A 的特征向量 。 Λ 是对角矩阵，其对角线上的元素为对应的特征值，也即Λii=λii 。

这里需要注意只有可对角化矩阵才可以作特征分解。

通过特征值分解得到的前N个特征向量，表示矩阵A最主要的N个变化方向。利用这前N个变化方向，就可以近似这个矩阵（变换） 。

特征值分解的局限：变换的矩阵必须是方阵！

1.6. 奇异矩阵

奇异矩阵，就是该矩阵的秩不是满秩。

• 首先，看这个矩阵是不是方阵（即行数和列数相等的矩阵，若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。
• 然后，再看此矩阵的行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；若不等于0，称矩阵A为非奇异矩阵。
• 同时，由|A|≠0可知矩阵A可逆，这样可以得出另外一个重要结论:　可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。
• 如果A为奇异矩阵，则AX=0有无穷解，AX=b有无穷解或者无解。如果A为非奇异矩阵，则AX=0有且只有唯一零解，AX=b有唯一解。