朴素贝叶斯分类器详解

算法参考: https://wizardforcel.gitbooks.io/dm-algo-top10/content/naive-bayes.html

分类问题定义

已知集合： $C=\{y_1, y_2, ..., y_n\}$ 和 $I=\{x_1, x_2, ..., x_m\}$ ，确定映射规则 $y=f(x)$ , 使得任意 $x_i\in I$ 有且仅有一个 $y_j\in C$ 使得 $y_j=f(x_i)$ 成立。

条件概率： $P(A|B)$ 表示事件B发生的前提下事件A发生的概率——条件概率。计算方式： $P(A|B)=\frac{P(AB)}{P(B)}$

贝叶斯定理定义如下：

P(B|A)=\frac{P(A|B)P(B)}{P(A)}

定义如下：

主要过程在于如何计算第三步中的条件概率，如下：

P\left(a_{1} | y_{1}\right), P\left(a_{2} | y_{1}\right), \ldots, P\left(a_{m} | y_{1}\right) ; P\left(a_{1} | y_{2}\right), P\left(a_{2} | y_{2}\right), \ldots, P\left(a_{m} | y_{2}\right) ; \ldots, P\left(a_{1} | y_{n}\right), P\left(a_{2} | y_{n}\right), \ldots, P\left(a_{m} | y_{n}\right)

P\left(y_{i} | x\right)=\frac{P\left(x | y_{i}\right) P\left(y_{i}\right)}{P(x)}

因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：

P\left(x | y_{i}\right) P\left(y_{i}\right)=P\left(a_{1} | y_{i}\right) P\left(a_{2} | y_{i}\right) \ldots P\left(a_{m} | y_{i}\right) P\left(y_{i}\right)=P\left(y_{i}\right) \prod_{j=1}^{m} P\left(a_{j} | y_{i}\right)

g(x, \eta, \sigma)=\frac{1}{\sqrt{2 \pi} \sigma} e^{-} \frac{(x-\eta)^{2}}{2 \sigma^{2}}

则条件概率为：

P\left(a_{k} | y_{i}\right)=g\left(a_{k}, \eta_{y_{i}}, \sigma_{y_{i}}\right)

当训练样本中某个类别没出现过某种特征， $P\left(a_i | y_k\right)=0$ ？
解决这个问题的办法是给每个特征和类别的组合加上给定个数的虚假样本（“hallucinated” examples）。
假设特征 $a_i$ 的取值有 $J$ 个，并假设为每个 $x_i$ 对应的概率增加 $s$ 个虚假样本，这样得到的估计称为平滑估计（smoothed estimate）: