1. 机器学习的工作流程
收集数据→ 清洗数据→ 输入模型→ 生成可视化报告→ 做出决定
2. 激活函数（Sigmoid、Relu、softmax）
2.1 Sigmoid函数（非线性）
2.2 Relu函数（线性/非线性）
2.3 softmax函数
2.4 sigmoid函数与softmax函数的区别
（1）sigmoid 针对二分类任务；softmax 针对多分类任务。
（2）sigmoid 输出单个值，概率总和相加不等于1；softmax 输出多个值，概率总和相加等于1。
3. 一元线性回归寻参最优解
3.1 最小二乘法（OLS）
目标：找到β0∗和β1∗，使得残差平方和最小。
思路：通过最小化 “实际值与预测值的差异平方和”，找到最贴合数据的线性模型。
3.2 极大似然估计（Likelihood）
目标：找到β0∗和β1∗，使得样本出现的 “似然性” 最大。
思路：“似然” 衡量的是 “在给定参数β0,β1时，观察到当前样本的概率”。极大似然就是找 “最有可能产生这些样本的参数”。
3.3 基于正态分布的极大似然（对数似然）
进一步假设：误差项εi服从均值为 0、方差为σ2的正态分布，即εi∼N(0,σ2)。此时似然函数可转化为正态分布的概率密度乘积，为了计算方便，通常对似然取对数（对数似然）。
采取对数似然的原因：
（1）函数平滑可导，不存在陡然上升或下降
（2）涵盖全部值域范围，寻参更多，且都有相应的敏感度
上图是正态分布的概率密度曲线（均值μ=0），表示误差项的分布假设；
下图是对数似然函数的形状，通过最大化这个函数来估计参数。
4. Z-score、F-score、F1-score的区别
（1）Z-score：是对数据进行标准化处理。
（2）F-score：泛化的模型评估指标，精准度（P）和召回率（R）。
（3）F1-score：平衡精准度和召回率的对称指标，是 F-score 的特殊情况。
5. ROC曲线（Receiver Operator Characteristic）
真正例率TPR：真实正类中被预测为正类的样本数占所有真实正类的比例
假正例率FPR：真实负类中被预测为正类的样本数占所有真实负类的比例
为什么TPR+FPR≠1？
两者分母不同，相加自然不等于1。
6. SVM支持向量机
支持向量机（support vector machines，SVM）是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。
支持向量中向量的含义
支持成为向量的点：通过散点到一个超平面形成的向量。
目的：找到一个超平面到任意散点的距离最大（最大化间隔）。
依然是一个线性模型，可加入核函数处理非线性问题。
核函数的核心作用：隐式升维 + 简化计算。
7. PCA主成分分析
主成分分析（Principal Component Analysis，简称PCA）是一种用于数据降维的技术，旨在通过线性变换将原始数据映射到一个新的坐标系中。
PCA的最终目标是通过线性变换找到一个新的坐标系，使得在新坐标系中数据的方差最大。
PCA和传统特征筛选的区别：
传统特征筛选是筛选原有特征，不创造新特征；PCA 是合成全新特征，不保留原有特征形式。
8. K-Means的两个缺点
（1）默认所有聚类大小、尺寸、密度都是相同的
（2）默认聚类都是圆形的
9. GMM高斯混合模型
高斯混合模型（Gaussian Mixture Model，GMM），是一种业界广泛使用的 聚类 算法，该方法使用 高斯分布 作为参数模型，并使用 期望最大（Expectation Maximization，简称 EM）算法 进行训练。
其中，参数 μ 表示均值，参数 σ 表示标准差。
解释上述公式参数的含义：
（1）N：数据集中样本的数量
（2）xi：第i个样本
（3）K：高斯分量的个数
（4）πk：第k个高斯分量的混合系数
（5）N(xi;μk,Σk)：第k个多元高斯概率密度函数
（6）μk：第k个高斯分布的均值（向量）
（7）Σk：第k个高斯分布的协方差矩阵
问：左边N是全局样本数，右边局部最优，两边矛盾吗？
不矛盾，局部最优是全局最优的一个组成部分。全局最优一定构成局部最优；局部最优不一定构成全局最优。因为计算每个数据点对于每个聚类的相对权重。
10. Lasso回归和Ridge回归
LASSO（Least Absolute Shrinkage and Selection Operator）回归模型。
LASSO 回归的参数估计图：
Ridge 回归（岭回归）是一种使用 2-范数作为惩罚项改造线性回归损失函数的模型。
Ridge 回归的参数估计图：
Lasso和Ridge最大的区别：
（1）惩罚项不同，Lasso使用L1范数，Ridge使用L2范数。
（2）Lasso参数可取到0，Ridge取不到0。
10.1 Lasso特性
（1）许多参数将恰好为零
（2）很少包含相关特征
（3）稀疏的特征集使解释更容易
（4）如果有n个样本，则最多只能包含n个特征
10.2 Ridge特性
（1）将大多数不相关特征的影响降至最优
（2）在某种程度上使用所有特征
11. IDF逆文档频率
IDF 是 Inverse Document Frequency 的缩写，中文意思是逆文档频率。它是一种用于信息检索和文本挖掘的重要权重计算方法，通常与 TF (Term Frequency，词频) 结合使用，形成 TF-IDF 算法，用于评估一个词语在一个文档集中的重要程度。
IDF值越高说明相关单词数越少
IDF公式中3个1的作用：
（1）整个对数外的 +1主要目的：保证IDF为非负值
（2）分母中的 +1主要目的：避免分母为0，分式没有意义
（3）分子中的 +1主要目的：保证log里面的值≥1
word index
word2 vector
12. 如何定义缺失数据
（1）MCAR（完全随机缺失）
每个缺失值都是完全任意的，切换缺失值不会在统计上影响任何内容。
（2）MAR（随机缺失）
数据缺失的概率只和其他已观测到的特征相关，和自身缺失的真实值无关。
（3）MNAR（非随机缺失）
数据缺失的概率和自身未观测到的真实值直接相关。
13. Matrix矩阵填补方法
保证收敛到局部最优，W和S相互依赖
不足：第一步的随机化，如果第一步走错后面也跟着走错。
如何找到全局最优，即解决算法局部最优问题（局部陷阱）的流程机制：
14. 监督学习和非监督学习
（1）监督学习：逻辑回归、KNN（近邻）、Lasso、Ridge
（2）非监督学习：K-means、GMM（高斯混合模型）、强化学习
3702
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
