小叶の博客
Transformer Transformer
在前面我们学习过自注意力模型，自注意力模型拥有CNN并行运算和RNN挖掘序列中的关系两大优势。因此，使用自注意力模型来设计深度架构是很有吸引力的。对比之前仍然依赖RNN来实现输入表示的类似注意力模型，Transformer模型完全基于自注意
2022-04-11 深度学习笔记
NLP Seq2Seq Transformer
Seq2Seq代码实现 Seq2Seq代码实现
在这章节，我们将用RNN搭建一个seq2seq模型(sequences to sequences)，实现英文到中文的翻译，数据集应用的是由Tatoeba项⽬的双语句⼦对114组成的“英-中文”数据集。 数据预处理原始语料需要进行预处理，所以
2022-04-11 深度学习笔记
NLP Seq2Seq
基于GAN的多水库径流序列的随机生成 基于GAN的多水库径流序列的随机生成
基于GAN的多水库径流序列的随机生成 该文将DCGAN和WGAN结合起来组成一个新的方法DC-WGAN，并用于径流序列的随机生成。该方法可以同时捕捉径流序列在时间和空间维度上的相关性，解决了传统方法（如Copula等）在径流序列随机生成中
2022-04-04 论文阅读笔记
GAN 径流序列的随机生成
自注意力模型 自注意力模型
引言前面我们学习过LSTM、GRU，它们都可以挖掘序列之间的某种联系。举个简单的例子——I saw a saw（我看见了一把锯子），句中两个saw无论在词义还是词性中都有所不同。如果将这句话简单做词向量处理，然后丢进一个全连接模型的话，那么
2022-04-02 深度学习笔记
attention
Seq2Seq Seq2Seq
写在前面：这个部分主要记录一些关于深度学习相关论文的阅读，由于个人还是刚接触深度学习不久，所以前面需要补充一些很早的论文以巩固自己知识的不足。今天记录最近学的一篇论文Sequence to Sequence Learning with Ne
2022-03-29 论文阅读笔记
NLP
门控循环单元 门控循环单元
门控循环单元（gated recurrent units, GRU）于2014被Cho等人提出。GRU和LSTM一样有专门的机制来确定应该何时更新隐状态，以及应该何时重置隐状态，但GRU没有单独的存储单元，即LSTM的记忆元。GRU是LST
2022-03-25 深度学习笔记
GRU
长短期记忆网络 长短期记忆网络
LSTM长短期记忆神经网路（long short-term memory，LSTM）是一种RNN特殊类型，现在我们见到的RNN模型除了特别强调，一般都是LSTM。LSTM的设计灵感来源于计算机的逻辑门，它引入了记忆元（memory cell
2022-03-22 深度学习笔记
LSTM 文本分类
序列模型 序列模型
假设某个序列我们可以使用$x_{t-1},…,x_{t-\tau}$而不是$x_{t-1},…,x_{1}$来估计$x_{t}$，我们就说该序列满足马尔可夫条件。用数学公式表示为：$$P(x_{1},…,x_{T})=\underset{t
2022-03-20 机器学习笔记
序列模型
数据操作 数据操作
首先，我们介绍n维数组，也称为张量（tensor）。在python中数组通过调用Numpy计算包实现，但在pyTorch中为Tensor。虽然这两者相似，但Tensor比Numpy多一些重要的功能：①GPU算力比CPU高，而Numpy仅支持
2022-03-18 PyTorch学习笔记
pytorch
Hexo插入图片 Hexo插入图片
typora设置打开typora，选择：文件 - 偏好设置 - 图像 - 插入图片，做如下更改： 该设置会使得当你插入图片时，会生成一个和文件名相同的文件夹，并将图片存入这个文件夹内。 Hexo设置 更换插件 用插件 Hexo-ren
2022-03-17 生命在于折腾
Hexo
生成式对抗网络 生成式对抗网络
前言GAN的全称为Generative Adversarial Network，翻译成中文就是生成式对抗网络。 在github有个GAN Zoo，它记录了GAN的发展并提供了相关GAN的论文来源和部分GAN模型的实现。下图为GAN的论文数量
2022-03-16 深度学习笔记
GAN
6 / 6