# 1. 线性代数中一些概念及求特征值
# 1.1. 线性组合
一般来说，线性组合是指将标量与向量相乘，并将这些项相加。
例如：
如果 x、y和 z 是变量，以及 a1, a2和a3是标量，以下方程将是线性组合:
v = a1x + a2y + a3z
# 1.2. 线性相关和线性无关
- 当某个向量可以定义为其他向量的线性组合时，它们是一组线性相关的向量，例如：2[1, 1, 1]T = [2, 2, 2]T。
- 当一组向量中的每个向量都无法定义为其他向量的线性组合时，它们是一组线性不相关的向量。
# 1.3. 线性变换
几何上：线性变换的性质为：
- 直线在变换后仍是直线；
- 原点固定
代数上：
- 变换即函数，线性变换就是一阶导数为常数的函数，譬如y=kx，把y=kx拓展为n维空间的映射，x、y看做n维向量，当k为常数时，易得满足同质性f(ka)=kf(a)，当k为一个矩阵时，易得满足可加性f(a+b)=f(a)+f(b)。
- 同质性和可加性又称为线性条件，满足该条件则为线性变换，反之则为非线性变换。
# 1.4. 矩阵乘法
矩阵乘法的几何意义：两个线性变换的复合、叠加效果
1 0
0 1 乘以向量，结果还是那个向量，说明这个矩阵就是原来的基。第一列(1,0)是i基，第二列(0,1)是j基。
0 -1
1 0，是旋转矩阵，逆时针旋转90度。
1 1
0 1，是剪切矩阵
-1 0
0 1，就是变换了i基和j基的相对左右顺序
- 比如，AB等于B经过线性变换A，A是变换的基。A的列数和B的行数要一样，是因为A的每一列就是B的每一个基。
- 想象3行3列的变换矩阵，乘以3行1列的向量，得到的还是3行1列的向量，只不过做了旋转和剪切等变换。
- 所以，矩阵乘法，其实是从右到左。
对于向量来说，行数代表了基的个数，数字大小表示了基的大小，如果有两行就是有两个方向的基，有三行就是三维的。
向量如何转为矩阵？就是单位矩阵*向量。可见，对于矩阵来说，每一列代表了向量每一行在各个方向上的分量。
# 1.5. 逆矩阵
逆矩阵的理解：线性变换的反变换，所以要求原来的线性变换行列式不为0，否则不可逆。
- 线性方程组就是变换矩阵*向量，比如3行3列的变换矩阵，乘以3行1列的向量。
- A逆*A，等于什么都没做。用A逆乘以原来的y，能还原x。
行列式为0，代表压缩到了维度更低的空间，所以无法还原。
# 1.6. 秩
秩：变换后空间的维数。
比如，当线性变换后的结果是一条直线时，即一维的，秩就为1。
# 1.7. 列空间
若矩阵A=[a1，a2，…，an]∈Cm×n为复矩阵，则其列向量的所有线性组合的集合构成一个子空间，称为矩阵A的列空间(column space)或列张成(column span)，用符号CoI(A)表示。
# 1.8. 非方阵
比如，3行2列，表示要将一个2维向量映射到3维空间中，有2列表明输入空间有两个基向量，有3行表明每一个基向量在变换后都用3个独立的坐标来描述。1行10000列，表示要压缩为1维。
# 1.9. 点积（dot product, scalar product）
u·v，就是v在u上的投影长度*u的长度，如果二者方向相反，则结果为负，如果二者垂直，则结果为0.
两个向量点乘，就是将第一个向量转成线性变换，即将其转置。
# 1.10. 叉积（cross product）
在二维空间中，叉乘的一个几何意义就是：aXb等于由向量a和向量b构成的平行四边形的面积。
叉积方向：a向量与b向量的向量积的方向与这两个向量所在平面垂直，且遵守右手定则。（当右手的四指从a以不超过180度的转角转向b时，竖起的大拇指指向是c的方向。）
叉积模长：|a|*|b|*sinθ
# 1.11. 特征值与特征向量
特征值：衡量特征向量在变换中拉伸或压缩比例的因子
设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是A的一个特征值（eigenvalue)。
非零n维列向量x称为矩阵A的特征向量。
如何理解特征值和特征向量？
如果把矩阵看作是运动，对于运动而言，最重要的当然就是运动的速度和方向，那么：
特征值就是运动的速度；
特征向量就是运动的方向；
特征值、特征向量可以称为运动（即矩阵）的特征。
# 1.12. 迹
n阶方阵A主对角线元素之和，记作tr(A)。
迹是所有特征值的和。
# 1.13. 相似矩阵
设A，B为n阶矩阵，如果有n阶可逆矩阵P存在，使得P-1AP=B，则称B是A的相似矩阵, 并称矩阵A与B相似，记为A~B。
性质：
对于P-1AP=B
设A，B和C是任意同阶方阵，则有：
（1）反身性：A~ A
（2）对称性：若A~ B，则 B~ A
（3）传递性：若A~ B，B~ C，则A~ C
（4）若A~ B，则r(A)=r(B)，|A|=|B|，tr（A）=tr（B）。
（5）若A~ B，且A可逆，则B也可逆，且B~ A。
（6）若A~ B，则A与B
1) 两者的秩相等；
2) 两者的行列式值相等；
3) 两者的迹数相等；
4) 两者拥有同样的特征值，尽管相应的特征向量一般不同；
5) 两者拥有同样的特征多项式；
6) 两者拥有同样的初等因子。
（7）若A与对角矩阵相似，则称A为可对角化矩阵，若n阶方阵A有n个线性无关的特征向量，则称A为单纯矩阵。
（8）相似矩阵具有相同的可逆性，当它们可逆时，则它们的逆矩阵也相似。
# 1.14. 对角矩阵
所有的基向量都是特征向量
# 1.15. 正定矩阵
设M是n阶方阵，如果对任何非零向量z，都有zTMz> 0，其中zT 表示z的转置，就称M为正定矩阵。
可以将zTMz> 0其视为y=ax2的多维表达式，需要a>0**。
正定矩阵有以下性质：
（1）正定矩阵的行列式恒为正；
（2）实对称矩阵A正定当且仅当A与单位矩阵合同；
（3）若A是正定矩阵，则A的逆矩阵也是正定矩阵；
（4）两个正定矩阵的和是正定矩阵；
（5）正实数与正定矩阵的乘积是正定矩阵。
根据正定矩阵的定义及性质，判别对称矩阵A的正定性有两种方法：
- 求出A的所有特征值。若A的特征值均为正数，则A是正定的；若A的特征值均为负数，则A为负定的。
- 计算A的各阶主子式。若A的各阶主子式均大于零，则A是正定的；若A的各阶主子式中，奇数阶主子式为负，偶数阶为正，则A为负定的。
# 1.16. 半正定矩阵
设M是n阶方阵，如果对任何非零向量z，都有zTMz >= 0，其中zT 表示z的转置，就称M为正定矩阵。
# 1.17. 如何求解特征值和特征向量
特征值和特征向量的定义：
特征子空间的定义：
特征多项式的定义：
推论：n阶方阵A可逆的充要条件是A的n个特征值非0，如下：
特征值的性质：
经典例题：
思考题：
矩阵特征值一般求解方法，如下：
总结特征值得求解过程，如下
另一个例题：
例题详解：
归纳，得出以下定理：
