周岭在《认知觉醒》一书中提到写作能够帮助我们快速的成长和改变，因为写作的过程就是运用“费曼技巧”的过程。无论学习什么东西或者收获了什么见解，都要努力琢磨它们究竟在讲什么，它们的实际意义是什么，然后用自己的话将其重新讲出来，这就是“费曼技巧”。于是想写一篇随笔，记录下最近通过阅读收获的感悟，希望能用自己的话把这件事讲的明白。

RNN存在环路，虽然能够记忆一些过去的信息，但是实际的效果并不是特别好，在许多情况下RNN都无法很好地学习到时序数据的长期依赖关系，这是因为RNN在反向传播时会出现梯度消失和梯度爆炸的问题。为了能让神经网络学习到时序数据的长期依赖关系，便发展出了LSTM（Long ShortTerm Memory，长短期记忆网络），LSTM在RNN的基础上增加了“门”结构，从而可以学习到时序数据的长期依赖关系，本文先介绍一下RNN存在的问题，然后分别介绍了LSTM的原理和实现，最后介绍了LSTM的使用。

前面介绍的几个神经网络都是前馈型神经网络，前馈的意思是网络的传播方向是单向的。但是在NLP任务中，输入可能是一句话，词在句子中具有位置信息，即句子是时序数据，前馈神经网络无法充分学习时序数据的性质，而RNN（Recurrent Neural Network，循环神经网络）则可以较好的处理时序数据。

在NLP任务中，最细粒度的单位是词，词组成句子，句子组成段落，段落组成篇章，因此在做NLP任务的时候，需要用某种形式来把词表示出来，word2vec用向量来表示词语，能够来表征词与词的映射关系，举一个例子来说，word2vec能够发现man - woman = king - queen的关系， word2vec的本质其是一个双层的浅神经网络，那么word2vec到底是如何实现的呢？

上一节介绍了ANN，ANN可以说是最简单的神经网络了，但是ANN却包含了神经网络需要的基础框架，之后的网络都是在此基础上删删补补。本节介绍CNN（Convolutional Neural Network，卷积神经网络），CNN常被用于图像识别、语音识别等各种场合。