RNN的SoftmaxWithLoss层

需要注意的点

• 通过索引的方式求交叉损失
• 损失求和后除以总数，求平均

RNN论文索引

[1] Recurrent Neural Network Regularization (<https://arxiv.org/abs/1409.2329>)
		#在纵向实现dropout,从而使得每一层RNN仍然能够记忆之前的隐藏层含义
[2] Using the Output Embedding to Improve Language Models (<https://arxiv.org/abs/1608.05859>)
[3] Tying Word Vectors and Word Classifiers (<https://arxiv.org/pdf/1611.01462.pdf>)

                                                                          RNN结构

困惑度的计算方式（对交叉熵损失求指数）

需要注意的点

• RNN的Batch输入需要通过截断实现（仅截断反向传播）

由于使用了截断的方式，因此进行学习时，还是会受到文本长度的限制，只能记忆有限的模式