因果推理之霍克斯过程 Hawkes process

背景

在统计学和概率论中，点过程 (Point process) 或点场 (Point field) 是随机位于数学空间（如实线或欧氏空间）上的数学点的集合。点过程可以用来作为现象或物体的数学模型，在某种类型的空间中可以用点表示。

点过程方法主要解决的问题是对连续时间上的离散事件（discrete events in continuous time）构建模型，用以分析历史事件序列对未来事件的因果关系。

举例说明，Amazon 对于某一个用户，给定用户以往的购买记录（什么时候买了什么东西），如何来预测该用户什么时候再次登录购买以及下次登录会买什么？给定一个病人以外的生病记录（哪天得到了怎样的诊断），如何预测该病人之后可能在什么时候需要怎样的治疗？

点过程建模方法非常多，此处简单学习下常用的霍克斯过程 Hawkes process。

霍克斯过程

自/互激励过程（self/mutual-exciting process），亦称为霍克斯过程（Hawkes processes，以 1971 年提出者 Hawkes 教授姓氏命名），主要思想：发生的历史事件对于未来事件的发生有激励作用（正向作用），并且假设历史事件对未来的影响是单调指数递减的，然后以累加的形式进行叠加。

对于 $U$ 维霍克斯过程 $N_t$ 中的事件类型 $u\in \mathcal{C}=\{1,2, \ldots, U\}$ ，其条件强度函数可以表示为

$\lambda_u(t)=\mu_u(t)+\sum_{v\in \mathcal{C}}\sum_{t_{i}<t} \kappa_{uv}\left(t-t_{i}\right)$

其中 $\kappa: \mathbb{R}^{+} \rightarrow \mathbb{R}^{+}$ 是一个核函数，表示过去的事件 $T_i$ 对当前事件类型 $\lambda(t)$ 的时间衰减效应； $\mu_u(t)$ 表示特定事件 $u$ 的基本强度 (background intensity)，表示在时间 $t$ 自发事件的概率； $\left\{t_{i}: t_{i}<t_{i+1}\right\} \in \mathbb{R}$ 表示第 $i$ 个事件的发生时间。

核函数最常用的形式是指数核函数，计算公式如下

$\kappa_{uv}(t)=\alpha_{uv} e^{-\beta_{uv}(t)}$

其中 $\alpha_{uv}$ 表示事件类型 $v$ 对事件类型 $u$ 的影响程度， $\beta_{uv}$ 控制衰减率。

通过以上形式可以看出：假设每个历史事件对未来的影响都是正向的（positive），线性累加的（linearly additive）且指数单调衰减的（decay）。

但实际上事件类型间的影响可能不是这种单调的，因此后续有论文提出了基于 LSTM 网络学习的模型 The Neural Hawkes Process: A Neurally Self-Modulating Multivariate Point Process，此处就不再详细介绍。

参数求解

霍克斯过程中的参数一般都是通过最优化对数似然函数进行求解。

假设 $\mu =(\mu_u)\in R^U$ 表示是时间基本强度， $A=(\alpha_{uv})\in R^{U\times U}$ 为事件类型间的影响矩阵，可以表示事件间的因果关系。

对于事件序列集合 $\mathcal{S}=\left\{S_{1}, S_{2}, \ldots, S_{m}\right\}$ ，每个事件序列 $S_i=\{(a_{ij}, t_{ij})\}_{j=1}^{n_i}$ 为时间区间 $[0, T_i]$ 观测到的事件集合，其中每个事件 $(a_{ij}, t_{ij})$ 表示事件类型 $a_{ij}$ 的发生时间为 $t_{ij}$ 。霍克斯过程模型参数 $\Theta=\{\mu, A\}$ 对应的对数似然为

$\mathcal{L}(\mu, A)=\sum_{i=1}^{m}\left(\sum_{j=1}^{n_{i}} \log \lambda_{a_{i j}}\left(t_{i j}\right)-\sum_{u=1}^{U} \int_{0}^{T_{i}} \lambda_{u}(t) d t\right)$