这篇笔记主要记录机器学习中的常用数学:
- 几何运算
- 矩阵秩
- 矩阵运算
- 矩阵梯度
- 分布
- 高斯分布
- 伯努力分布(0-1分布)
- 二项分布
- 期望,方差,协方差,相关系数
常用的几何运算(Geometric Operation)
几个共用变量:
1. 矩阵秩
假设m=n,A的秩为:
- 如果A是m×n,B是n×m的矩阵,则有:
- 方阵A:
- 对于方阵A,B:
- 乘上alpha系数:
2. 矩阵运算
矩阵加法
矩阵乘法
矩阵间乘法满足:
- 结合率: 有常数时,
- 分配率: 或
不满足
- 交换率: 有意义,但不一定有意义,且即便有意义,也不一定有,正因为如此,
3. 矩阵梯度
例子: A是2×2的矩阵,,则有:
注意,这里是一个‘纲量’,即不是向量或矩阵
常用等式:
常用的分布
高斯分布
高斯分布,也称正太分布
-
一维高斯分布 分布:,其中是期望,是方差
密度函数为: -
高维高斯分布 分布:,其中,是期望向量,是对称半正定协方差矩阵
密度函数:
伯努利分布(the Bernoulli distribution)
伯努利分布也称为0-1分布, 是指随机变量仅仅取值0和1的离散概率分布.
二项分布(Binaomial Distribution)
二项分布即重复n次的伯努利试验。在每次试验中只有两种可能的结果,而且是互相对立的,是独立的,与其它各次试验结果无关,结果事件发生的概率在整个系列试验中保持不变,则这一系列试验称为伯努利实验。
期望,方差,协方差,相关系数
设X,Y是两个独立的随机变量,我们获取一组(X,Y)的观测集合
当观测集合足够大的时候,我们可以认为观测数据可以很好的表示原始数据分布,因此可以利用观测数据上的期望,方差代表原始数据的期望和方差
基本概念
-
期望(Expectation):即随机变量取值的均值
-
方差:描述随机变量的取值和其期望的偏离程度
-
协方差:衡量两个随机变量的偏离程度
方差是在时的协方差,即
协方差性质:
- 独立随机变量的协方差为0
- 线性组合:
-
相关系数:衡量两个随机变量的线性相关程度[-1, 1],1,-1分别表示正负相关,0表示线性不相关