人工智能学习（九）：贝叶斯网路——墨大版

原创

已于 2022-05-30 14:40:47 修改 · 5.2k 阅读

于 2022-05-21 14:52:48 首次发布

本文深入解析贝叶斯网络的基本概念，包括其构造方法、条件独立关系、精确推理技巧，以及在具体问题如推荐信案例中的应用。理解变量独立性和条件独立性区别，掌握变量消元算法，提升推理效率。

9.4.1 联合概率为什么可以表示为局部条件概率表的乘积？

9.4.1.1 变量独立性 vs 条件独立性

9.4.1.2 概率影响的流动性

9.4.1.3 贝叶斯网络中的独立性

9.4.2 贝叶斯网络推理的直观理解

9.1 什么是贝叶斯网络

贝叶斯网络是一个有向图，其中每个结点都标注了定量的概率信息。其完整的说明如下：

每个结点对应一个随机变量（变量可以是离散的或者连续的）。

一组有向边或箭头连接结点对。如果有从结点X指向结点Y的箭头，则称X是Y的一个父结点。

图中没有有向回路（因此被称为有向无环图，或简写为DAG）。

每个结点X，有一个条件概率分布 $P(X_{i} |Parents(X_{i}))$ ，量化其父结点对该结点的影响。

一个简单例子：

由Toothache、Cavity、Catch以及Weather构成的简单世界。我们认为Weather 独立于其他变量，而且给定Cavity后Toothache和Catch是条件独立的。

一个稍微复杂的例子：

情景：你在家里安装了一个新防盗报警器。这个报警器探测盗贼很可靠，偶尔也对小地震有反应。你还有两个邻居John和Mary，他们承诺在你工作时如果听到警报声就给你打电话。John有时候会把电话铃声当成警报声，然后给你打电话。Mary 特别喜欢大声听音乐，因此有时根本听不见警报声。给定了他们是否给你打电话的证据，我们希望估计有人入室行窃的概率。

变量：盗贼（B），地震（E），警报（A），JohnCalls（J），MaryCalls（M）。

这个问题域的贝叶斯网络显示在下图中：

网络拓扑结构反映了“因果”知识：

窃贼可以触发警报
地震可以触发警报
警报可会导致玛丽打电话来
警报会导致约翰打电话来

网络结构显示盗贼和地震直接影响到警报的概率，但是John或者Mary是否打电话只取决于警报声（他们不直接感知盗贼，也不会注意到轻微的地震，并且他们不会在打电话之前交换意见）。

条件概率表（conditional probability table，CPT）：

图中的条件概率分布是用条件概率表给出的。

CPT中的每一行包含了结点的每个取值对于一个条件事件（conditioning case）的条件概率。条件事件就是所有父结点的一个可能的取值组合。

每一行的概率加起来的和必须为1，因为每一行中的条目代表了对应变量的所有的取值情况组成的集合。

对于布尔变量，一旦你知道了它为真的概率为 $p$ ，那么它为假的概率就是 $1-p$ 。因此，我们经常省略第二个数值。

一般而言，一个具有 $k$ 个布尔父结点的布尔变量的条件概率表中有 $2^{k}$ 个可独立指定的概率。而对于没有父结点的结点而言，它的概率分布表只有一行，表示该变量可能取值的先验概率。

如果每个变量有不超过 $k$ 个父变量。完整的网络需要 $O(n\cdot 2^{k})$ 个数字。

9.2 贝叶斯网路的语义

从“语法”上看，贝叶斯网络是一个每个结点都附有数值参数的有向无环图。定义贝叶斯网语义的一一种方法是定义它对所有变量的具体的联合分布的表示方式。为此，我们首先需要暂时收回对每个结点所关联的参数的一些说法：我们说过这些参数对应于条件概率 $P(X_{i}|Parents(X_{i})$ ；这种说法是正确的，但在我们从整体上对网络赋予语义之前，我们应该仅仅把它们看作是数值 $\Theta (X_{i}|Parents(X_{i}))$ 。

联合分布中的一个一般条目是对每个变量赋一个特定值的合取概率，比如 $P(X_{1}=x_{1}\wedge ...\wedge X_{n}=x_{n})$ 。我们用符号 $P(x_{1},...,x_{n})$ 作为这个概率的简化表示。这个条目的值可以由下面的公式给出：

即：

所以对于上一部分，给定了他们是否给你打电话的证据，我们希望估计有人入室行窃的概率是：

9.2.1 种构造贝叶斯网络的方法

公式：

这个公式蕴含了一定的条件独立关系，这些条件独立关系可以用于指导知识工程师们构造网络的拓扑结构。首先，我们利用乘法规则基于条件概率重写联合概率分布：

然后我们重复这个过程，把每个合取概率归约为更小的条件概率和更小的合取概率。最后我们得到一个大的乘法式：

这个等式称为链式规则（chain rule），它对于任何一个随机变量集合都是成立的。将它与公式进行比较就会看到联合分布的详细描述等价于一般断言：对于网络中的每个变量 $X_{i}$ ，倘若 $Parents(X_{i})\subseteq\left \{ X_{i-1}, ..,X_{1} \right \}$ ，则