• 1. 矩阵求导
  • 1.1. 符号约定
  • 1.2. 矩阵求导
  • 1.3. 标量函数和向量函数
  • 1.4. 以分母布局为例的矩阵求导的基本原则
  • 1.7. 例1
  • 1.8. 例2
  • 1.9. 最小二乘估计推导
  • 1.10. 有用的公式
  • 1.11. 一些说明

1. 矩阵求导

1.1. 符号约定

1.2. 矩阵求导

矩阵A对矩阵B求导的本质：矩阵A的每个元素分别对矩阵B中的每个元素进行求导。

A1*1  B1*1: 1个导数
Am*1  B1*1:  m个导数
Am*1 Bp*1:  m*p个导数
Am*n  Bp*q:   m*n*p*q个导数

1.3. 标量函数和向量函数

• 标量函数：结果为标量的函数
• 向量函数：结果为向量的函数

1.4. 以分母布局为例的矩阵求导的基本原则

• 原则1：如果分子是标量函数，分母是列向量，那么求导结果要写成分母的形式，也就是列向量。
• 原则2：如果分子是列向量，分母是标量，那么求导结果要写成分子转置的形式，也就是行向量。
• 拓展：如果分子是列向量m*1，分母也是列向量p*1，首先可以根据原则1写成列向量的形式p*1，然后里面的每个元素可以根据原则2写成行向量的形式，最终结果是p*m。

1.7. 例1

A和x是p*1的矩阵，A^Tx = x^TA，它们对x求导结果都是A。

1.8. 例2

所以，公式2：

1.9. 最小二乘估计推导

1.10. 有用的公式

1.11. 一些说明

1. 除了分母布局外，还有分子布局、混合布局。分子布局和分母布局通常差一个转置，但不绝对。
2. 布局没有优劣之分，适合自己的才是最好的，还要注意保持计算的连贯性。
3. 根据导数矩阵的维度来判断别人的布局。