当前位置：网站首页>衡量两个分布的差距的工具：交叉熵和KL散度

衡量两个分布的差距的工具：交叉熵和KL散度

2022-07-16 03:25:00 【Wsyoneself】

  1. 交叉熵：
    1. 熵=最佳平均编码
    2. 熵在信息论中反应事件的不确定度，熵越大，事件越不确定，可能性越分散，则信息就必须越长
    3. 把来自一个分布q的消息使用另一个分布p的最佳代码传达的平均消息长度成为交叉熵。
    4. p和q的长度越不相同，p相对于q的交叉熵将越大于p的熵
    5. 交叉熵常用来作为分类器的损失函数

  2. KL散度：熵和交叉熵之间的差，如果两个分布相同，则差为0，这个差就是KL散度：

  3. 似然函数就是我们的目标函数。如果在它前面加上负号，它就转变成损失函数。

原网站

版权声明
本文为[Wsyoneself]所创，转载请带上原文链接，感谢
https://blog.csdn.net/weixin_45647721/article/details/125803816

边栏推荐

猜你喜欢

随机推荐