人工智能学习

【人工智能导论:模型与算法】信息熵 交叉熵

本文主要是介绍【人工智能导论:模型与算法】信息熵 交叉熵,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

【人工智能导论:模型与算法】

P124 交叉熵;梯度下降法;学习率

P127 信息熵;信息增益

这几个知识点需要科普一下。


 

交叉熵:度量两个概率分布间的差异性信息。

信息熵:系统有序化程度的一个度量。香农用信息熵的概念来描述信源的不确定度。


 

信息熵:表示随机变量的不确定性。

条件熵:在一个条件下,随机变量的不确定性。

信息增益:熵 - 条件熵。表示在一个条件下,信息不确定性减少的程度。

信息增益到底怎么理解呢? - 知乎 (zhihu.com)

这篇关于【人工智能导论:模型与算法】信息熵 交叉熵的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!