一篇文章讲清楚：机器学习所用的数学知识

通过这篇文章我们要知道机器学习中常见的数据表述；知道什么是导数；知道什么是偏导；知道向量和矩阵的简单运算。

一、机器学习中常见的数据表述

标量scalar ：一个独立存在的数，只有大小没有方向。就是一个普通常数

向量vector ：向量指一列顺序排列的元素。默认是列向量

比如张三的数理化成绩信息：70,80,90

向量有大小和方向

矩阵matrix ：二维数组

张量Tensor ：数组，张量是基于向量和矩阵的推广

数学中的张量 𝑡𝑒𝑛𝑠𝑜𝑟∈R2∗3∗4数学中的张量 tensor∈R^(2∗3∗4) : 2个3*4矩阵 3个2*4 或4个2*3

二、导数——基本概念

常见函数的导数：

导数的四则运算

复合函数求导：g(h)是外函数 h(x)是内函数。先对外函数求导，再对内函数求导

三、向量和矩阵 – 向量运算

向量是有大小和方向

向量基运算

向量矩阵转置 Transpose

四、向量和矩阵 – 范数Norm

范数(norm)是数学中的一种基本概念，具有长度的意义

四、向量和矩阵 – 矩阵 Matrix 

矩阵是数学中的一种基本概念，表达m行n列的数据等

矩阵在机器学习中的表达

矩阵加法和减法

矩阵乘法 ：对应行列元素相乘，然后再加和再一起

矩阵转置

矩阵*矩阵的转置

方阵：一种特殊的矩阵，其行数=列数

对称方阵：一种特殊的方阵，沿着主对角线，其元素对称  aij= aji

单位阵：一种特殊的方阵 符号E 或者 I   主对角线为1，其他为0

矩阵乘法的性质

矩阵的乘法不满足交换律：A×B≠B×A

矩阵的乘法满足结合律。即：A×（B×C）=（A×B）×C

矩阵与单位矩阵相乘等于矩阵本身

矩阵的逆

矩阵转置的性质

五、总结

1.标量、向量、矩阵、张量概念

2.导数 Derivative 

•函数上某一个点求切线就是导数。瞬时速度变化率

3 导数的求解方法 

•常数、指数函数、幂指数、正弦余弦都有自己的导函数，会查表应用

•特别注意复合函数求导：先对外函数求导，在对内函数求导

4 利用导数求极值

•导数为0的位置即为极值点

5 偏导数 

•U是关于x、y、z的函数，记为u(x, y, z)，只在x分量上求导，则为求偏导。

•各个分量上求偏导，会形成一个向量(𝜕𝑢𝜕𝑥∂u/∂x, 𝜕𝑢𝜕𝑦∂u/∂y, 𝜕𝑢𝜕𝑧∂u/∂z ),这就组成了导数

6 向量的基本运算

•1范数(L1范数)-向量中各个元素绝对值之和

•2范数(L2范数)-向量的模长，每个元素平方求和，再开平方根

•𝑥𝑇x^T x  与 x22是一样的‖x‖_2^2 是一样的

7 矩阵的运算