adaptive kalman filter variational Bayes Kullback-Leibler

相对熵Kullback-Leibler

变分贝叶斯算法的基础

Posted by Joker Hook on May 10, 2022

定义

对于离散变量 $P$ 与 $Q$ ，定义两者散度为

$D_{KL}(P||Q) = -\sum_i P(i)Ln\frac{Q(i)}{P(i)} \geq 0$

标注

根据定义知，
$D_{KL}(P||Q) \neq D_{KL}(Q||P)$
因此在实际使用中，将P作为真实值，Q作为预测值。