8.4. 循环神经网络 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai)
主要内容:
对隐状态使用循环计算的神经网络。
隐状态可以捕获直到当前时间步序列的历史信息。
参数数量不会随着时间步的增加而增加。
可以使用循环神经网络创建字符级语言模型。
可以使用困惑度来评价语言模型的质量。
作者讲的清晰易懂,读完之后感觉很通透。
由于对信息论不太熟悉,对困惑度这个概念有些困惑。。。
推荐一篇博客:从交叉熵角度理解困惑度(perplexity)_Training.L的博客-CSDN博客_困惑度和交叉熵
本节的代码比较简单,验证了一个运算:
隐状态中