定义
对于离散变量$P$与$Q$，定义两者散度为
\[D_{KL}(P||Q) = -\sum_i P(i)Ln\frac{Q(i)}{P(i)} \geq 0\]标注
根据定义知，
\[D_{KL}(P||Q) \neq D_{KL}(Q||P)\]因此在实际使用中，将P作为真实值，Q作为预测值。
对于离散变量$P$与$Q$，定义两者散度为
\[D_{KL}(P||Q) = -\sum_i P(i)Ln\frac{Q(i)}{P(i)} \geq 0\]标注
根据定义知，
\[D_{KL}(P||Q) \neq D_{KL}(Q||P)\]因此在实际使用中，将P作为真实值，Q作为预测值。
