引言前面我们学习过LSTM、GRU，它们都可以挖掘序列之间的某种联系。举个简单的例子——I saw a saw（我看见了一把锯子），句中两个saw无论在词义还是词性中都有所不同。如果将这句话简单做词向量处理，然后丢进一个全连接模型的话，那么

写在前面：这个部分主要记录一些关于深度学习相关论文的阅读，由于个人还是刚接触深度学习不久，所以前面需要补充一些很早的论文以巩固自己知识的不足。今天记录最近学的一篇论文Sequence to Sequence Learning with Ne

门控循环单元（gated recurrent units, GRU）于2014被Cho等人提出。GRU和LSTM一样有专门的机制来确定应该何时更新隐状态，以及应该何时重置隐状态，但GRU没有单独的存储单元，即LSTM的记忆元。GRU是LST

LSTM长短期记忆神经网路（long short-term memory，LSTM）是一种RNN特殊类型，现在我们见到的RNN模型除了特别强调，一般都是LSTM。LSTM的设计灵感来源于计算机的逻辑门，它引入了记忆元（memory cell

假设某个序列我们可以使用$x_{t-1},…,x_{t-\tau}$而不是$x_{t-1},…,x_{1}$来估计$x_{t}$，我们就说该序列满足马尔可夫条件。用数学公式表示为：$$P(x_{1},…,x_{T})=\underset{t

首先，我们介绍n维数组，也称为张量（tensor）。在python中数组通过调用Numpy计算包实现，但在pyTorch中为Tensor。虽然这两者相似，但Tensor比Numpy多一些重要的功能：①GPU算力比CPU高，而Numpy仅支持

typora设置打开typora，选择：文件 - 偏好设置 - 图像 - 插入图片，做如下更改： 该设置会使得当你插入图片时，会生成一个和文件名相同的文件夹，并将图片存入这个文件夹内。 Hexo设置 更换插件 用插件 Hexo-ren

前言GAN的全称为Generative Adversarial Network，翻译成中文就是生成式对抗网络。 在github有个GAN Zoo，它记录了GAN的发展并提供了相关GAN的论文来源和部分GAN模型的实现。下图为GAN的论文数量