朴素贝叶斯分类器（Naive Bayesian Classifier）

关注

VIP免费原创最新推荐文章于 2024-12-31 10:25:24 发布 6w 阅读 AI 写同款· GEO 优化 ›

机器学习-朴素贝叶斯分类器 贝叶斯分类器是一种基于贝叶斯定理的概率模型，常用于文本分类、垃圾邮件过滤、情析等任务。该分类器基于特征之间的条件独立性假设，即给定类别下特征之间相互独立。它的工作原理是通过计算给定特征条件下类别的概率，并选择具有最高概率的类别作为预测结果。在本次的实验中，主要涉及朴素贝叶斯分类器，朴素贝叶斯分类器，它假设每个特征对于类别的影响是相互独立的，即使这在实际情况中并不成立。常见的朴素贝叶斯分类器包括多项式朴素贝叶斯、伯努利朴素贝叶斯和高斯朴素贝叶斯，它们分别适用于不同类型的特征分布。阅读详情

写作本博文只为学习与分享知识。所以如果本系列教程对你有帮助，麻烦不吝在github的项目上点个star吧！非常感谢！

本博客是基于对周志华教授所著的《机器学习》的“第7章贝叶斯分类器”部分内容的学习笔记。

朴素贝叶斯分类器，顾名思义，是一种分类算法，且借助了贝叶斯定理。另外，它是一种生成模型（generative model），采用直接对联合概率P(x,c)建模，以获得目标概率值的方法。

预备知识

先验概率与后验概率

先验概率（摘自维基百科）：

In Bayesian statistical inference, a prior probability distribution, often simply called the prior, of an uncertain quantity is the probability distribution that would express one's beliefs about this quantity before some evidence is taken into account.

翻译：在贝叶斯统计推断论中，一个未确定数目的先验概率分布（一般简称为先验）是一种表达了某人对于该数目的信仰的一种概率分布，这种信仰是没有考虑到一些（当前的）证据的。

解释：通俗来说，对于某一个概率事件，我们都会有基于自己已有的知识，对于这个概率事件会分别以什么概率出现各种结果会有一个预先的估计，而这个估计并未考虑到任何相关因素。

举例来说，假如你考试没及格，老师要求大家拿卷子回家给爸妈签字，按照你已有的对爸妈脾气的了解，以及他们对自己成绩的要求，你在不考虑其它任何因素的情况下，自己已经有了一个对把卷子拿回家给他们签字的后果预估（先验）：

被胖揍一顿：70%
被简单地数落一下：20%
被温情地鼓励：10%

暂停，让我们再来看看后验概率是什么：

In Bayesian statistics, the posterior probability of a random event or an uncertain proposition is the conditional probability that is assigned after the relevant evidence or background is taken into account.  "Posterior", in this context, means after taking into account the relevant evidence related to the particular case being examined.

翻译：在贝叶斯推断中，一个随机事件的后验概率是指：当与事件相关的一些证据或背景也被考虑进来时的条件概率。“后验”在这个语境下即指的是在考虑了与要被检验的特定事件相关的证据。

所以后验概率就是在先验概率的基础上加了一层“考虑”：结合我们已有的知识，将与待检验事件（即我们正在估计概率的随机事件）相关的因素也考虑进去后，我们对随机事件的概率的预估。

回到卷子签字的例子。

假设，你惶恐地拿着卷子回到家中，还没开口说考试的事，就看到爸爸妈妈在那儿雀跃，好似疯了一样。你一问，他们告诉你说家里中了1亿的大奖，以后就直接过上荣华富贵的生活啦！

这时，你小眼珠子一转，根据当前家里中了亿元大奖的情况，对把不及格试卷给爸妈签字的后果有了新的预估（后验）：

被胖揍一顿：0%
被简单地数落一下：0%
被温情地鼓励：100%

没错，因为你觉得按现在家里的情况来看，爸妈会觉得你这一次考试没及格算个屁，以后直接花钱把你送到国外去留学，回来继承家产就是了，什么考试啥的见鬼去吧~~

这就是先验概率和后验概率的区别：先验概率基于已有知识对随机事件进行概率预估，但不考虑任何相关因素(P( c ))。后验概率基于已有知识对随机事件进行概率预估，并考虑相关因素(P(c|x))。

贝叶斯定理（Bayesian Theorem）

贝叶斯定义（摘自维基百科）：

In probability theory and statistics, Bayes’ theorem (alternatively Bayes’ law or Bayes’ rule) describes the probability of an event, based on prior knowledge of conditions that might be related to the event. For example, if cancer is related to age, then, using Bayes’ theorem, a person’s age can be used to more accurately assess the probability that they have cancer, compared to the assessment of the probability of cancer made without knowledge of the person’s age.

翻译：在概率论与统计学中，贝叶斯定理（或称贝叶斯法则、贝叶斯规则）描述了一个事件的可能性，这个可能性是基于了预先对于一些与该事件相关的情况的知识。举例来说，如果癌症和年龄有关，那么使用贝叶斯定理的话，相比根本不了解关于此人的任何其他信息，知道了它的年龄的话就可以用来更准确地帮助评估它得癌症与否的概率。

那么其实很明显了，这里的“可能性”也是考虑了与随机事件相关的因素的，所以贝叶斯定理所阐述的也就是后验概率的获得方法。

用数学公式来表述贝叶斯定理：

$P(c|x)=\frac{P(c)P(x|c)}{P(x)}=\frac{P(x,c)}{P(x)}$

c表示的是随机事件发生的一种情况。x表示的就是证据（evidence）\状况(condition)，泛指与随机事件相关的因素。

P(c|x)：在x的条件下，随机事件出现c情况的概率。（后验概率）
P( c )：（不考虑相关因素）随机事件出现c情况的概率。（先验概率）
P(x|c)：在已知事件出现c情况的条件下，条件x出现的概率。（后验概率）
P(x)：x出现的概率。（先验概率）

那么，落实到实际的问题当中，我们想获得的核心结果其实也就是P(c|x)，即我们想知道，在考虑了一些现有的因素后，随机事件会以多大概率出现各种情况，通过参考这个结果，我们针对性地作出决策。

而从计算上来说，我们需要同时知道P( c ),P(x|c)和P(x)才能算出目标值P(c|x)，而P(x)由于是c无关，而且作为共同的分母，在我们计算c的各种取值的可能性时并不会对各结果的相对大小产生影响。因此可以忽略。

比如c可取值 $c_1,c_2,c_3$ ，并假设已知 $p(c_1)=o,p(c_2)=p,p(c_3)=q，P(x|c_1)=a,P(x|c_2)=b,P(x|c_3)=c,p(x)=m$ ，那么最后计算p(c|x)时，分别会得到结果 $p(c_1|x)=\frac{o*a}{m},p(c_2|x)=\frac{p*b}{m},p(c_3|x)=\frac{q*c}{m}$ ，由于 $p(c_1|x)+p(c_2|x)+p(c_3|x)$