Seq2Seq模型及注意力机制介绍
本文介绍了循环神经网络RNN中的一种常用架构:Seq2Seq,通常使用编码器-解码器 (Encoder-Decoder) 架构对其进行搭建;此外,本文还介绍了注意力机制,并通过一个实例展示了如何将注意力机制引入到Seq2Seq模型中
本文介绍了循环神经网络RNN中的一种常用架构:Seq2Seq,通常使用编码器-解码器 (Encoder-Decoder) 架构对其进行搭建;此外,本文还介绍了注意力机制,并通过一个实例展示了如何将注意力机制引入到Seq2Seq模型中
循环神经网络RNN主要用于处理序列数据,本文第一部分介绍了RNN的基础结构;为解决RNN的梯度消失问题,增强其处理长序列的能力,本文第二部分介绍了它的两个变体:LSTM、GRU;最后本文介绍了可以同时考虑序列前后依赖的Bidirectional RNN
本文主要介绍了Residual Network以及Inception Network的特点与基本结构,并使用这些基本结构搭建了ResNet50以及GoogLeNet (Inception V1)模型
Residual Network和Inception Network网络架构介绍 Read More »