统计学——参数估计与假设检验

zhh_2017

关注

原创最新推荐文章于 2025-07-14 22:42:46 发布 1.6w 阅读 AI 写同款· GEO 优化 ›

数理统计基础：参数估计与假设检验 在学习机器学习的过程中，我充分感受到概率与统计知识的重要性，熟悉相关概念思想对理解各种人工智能算法非常有意义，从而做到知其所以然。因此打算写这篇笔记，先好好梳理一下参数估计与假设检验的相关内容。先从整体结构上进行一个把握。数理统计的主要任务是通过样本的信息推断总体的信息，即统计推断工作。统计推断主要有两大类问题：参数估计和假设检验。它们都建立在抽样分布理论的基础之上，但角度不同。参数估计是利用样本信息推断未知的总体参数；而假设检验是先对总体参数提出一个假设值，然后利用样本信息判断这一假设是否成立。参数. 阅读详情

统计学(第六版)贾俊平读书笔记

第 7 章参数估计

7.1 参数估计的基本原理

参数估计就是用样本统计量去估计总体的参数。比如，用样本均值估计总体均值，用样本比例估计总体比例。

在参数估计中，用来估计总体参数的统计量称为估计量。样本均值、样本比例、样本方差等都可以是一个估计量。而根据一个具体的样本计算出来的估计量的数值称为估计值。

参数估计的方法有点估计和区间估计两种。点估计就是中样本统计量的某个取值直接作为总体参数的估计值。由于样本是随机的，抽出一个具体的样本得到的估计值很可能不同于总体真值。区间估计是在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到。

由样本均值的抽样分布，可知在重复抽样或无限总体抽样的情况下，样本均值的数学期望等于总体均值，即E(x’) = μ，样本均值的方差为σx’ ² = σ²/n，由此可求样本均值x’落在总体均值μ的两侧任何一个抽样标准差范围内的概率。但实际估计时，x’是已知的，μ是未知的，也是真要估计的。由于x’与μ的距离是对称的，如果某个样本的平均值落在μ的两个标准差范围之内，反过来，μ也就被包括在以x’为中心左右两个标准差的范围之内。因此约有95%的样本均值会落在μ的两个标准差的范围之内，也就是说，约有95%的样本均值所构造的两个标准差的区间会包括μ。

在区间估计中，由样本统计量所构造的总体参数的估计区间称为置信区间。由于统计学家在某种程度上确信这个区间会包含真正的总体参数，因此给它取名为置信区间。如果将构造置信区间的步骤重复多次，置信区间中包含总体参数真值的次数所占的比例称为置信水平，也称为置信度或置信系数。
常用置信水平的z值

如果用某种方法构造的所有区间中有95%的区间包含总体参数的真值，5%的区间不包含总体参数的真值，那么，用该方法构造的区间称为置信水平为95%的置信区间。
总体参数的真值是固定的、未知的，而用样本构造的区间则是不固定的。
置信区间的概率不是用来描述某个特定区间包含总体参数真值的可能性，一个特定的区间“总是包含”或“绝对不包含”参数的真值，不存在“以多大的概率包含总体参数”的问题。但是，用概率可以知道在多次抽样得到的区间中大概有多少个区间包含了参数的真值。

7.2 一个/两个总体参数的区间估计

研究一个总体时，所关心的参数主要有总体均值μ、总体比例π和总体方差σ²。
下图总结了一个总体参数估计的不同情形及其所使用的分布：一个总体参数的估计及所使用的分布
对于两个总体，所关心的参数主要有两个总体均值之差μ₁ - μ₂、两个总体的比例之差π₁ - π₂、两个总体的方差比σ₁² - σ₂²。
下图总结了两个总体参数估计的不同情形及所使用的分布：
在这里插入图片描述

第 8 章假设检验

参数估计和假设检验是统计推断的两个组成部分，它们都是利用样本对总体进行某些推断，但推断的角度不同。参数估计讨论的是用样本统计量估计总体参数的方法，总体参数μ在估计前是未知的。而在假设检验中，则是先对μ的值提出一个假设，然后利用样本信息去检验这个假设是否成立。

8.1 假设检验的基本问题

假设的表达式如下：
H₀ : μ = μ₀ 或 H₀ : μ - μ₀ = 0
H₀表示原假设，μ是我们要检验的参数。如果原假设不成立，就要拒绝原假设，选择备择假设。原假设与备择假设互斥，肯定原假设，意味着放弃备择假设。
假设检验中给中可能结果的概率
双侧检验示意图
进行假设检验利用的是小概率原理，小概率原理是指发生概率很小的随机事件在一次实验中几乎不可能发生的。英国统计学家费希尔把小概率的标准定为0.05。
如果原假设成立，那么在一次试验中z统计量落入图两侧拒绝域的概率只有0.05。
假设检验的决策准则
前面进行检验的程序是根据检验统计量落入的区域作出是否拒绝原假设的决策。在确定α以后，拒绝域的位置也就相应确定了，但根据不同的样本结果进行决策，面临的风险事实上是有差别的，为了精确地反映决策的风险度，可以利用P值进行决策。
P值就是原假设为真时所得到的样本观察结果或更极端结果出现的概率。如果P值很小，说明这种情况发生的概率很小，而如果出现了，我们就有理由拒绝原假设。
P值是通过计算得到的，P值的大小取决于三个因素：样本数据与原假设之间的差异、样本量、被假设参数的总体分布。P值的长处是它反映了观察到的实际数据与原假设之间不一致的概率值，与传统的拒绝域范围相比，P是一个具体的值，这样就提供了更多的信息。

在双侧检验中，只要μ<μ₀或μ>μ₀二者之中有一个成立，就可以了拒绝原假设。在另一些情况下，我们关心的假设问题带有方向性，需要进行单侧检验。左单侧检验也被称为下限检验，希望所考察的数值越大越好；右单侧检验被称为上限检验，则希望所考察的数值越大越好。

8.2 一个/两个总体参数的检验

根据假设检验的不同内容和进行检验的不同条件，需要采用不同的检验统计量，在一个总体参数的检验中，用到的检验统计量主要有三个：z统计量，t统计量，卡方统计量。
样本大小是选择检验统计量的一个要素。在样本量大的条件下，如果总体为正态分布，样本统计量服从正态分布，如果总体为非正态分布，样本统计量渐进服从正态分布。

在假设检验中，通常把α称为显著性水平，它的含义是当原假设正确时却被拒绝的概率或风险。检验的结论是建立在概率的基础上的。不能拒绝H₀并不一定能保证H₀为真，只是在规定的显著性水平上不能拒绝原假设。
两个参数检验统计量的确定