当前位置：网站首页>Vision Transformer(1):Self-attention Multi-head Self-attention

Vision Transformer(1):Self-attention Multi-head Self-attention

2022-07-17 02:25:00 【@BangBang】

论文：Transformer: Attention Is All You Need
在这里插入图片描述

Transformer它的提出最开始是针对NLP领域的，在次之前大家主要用的是RNN，LSTM这类时序网络。像RNN这类网络其实它是有些问题的，首先它的记忆的长度是有限的，特别像RNN它的记忆长度就比较短，所以后面就有提出LSTM。但是他们还有另外一个问题就是无法并行化，也就是说我们必须先计算 $t_0$

原网站

版权声明
本文为[@BangBang]所创，转载请带上原文链接，感谢
https://blog.csdn.net/weixin_38346042/article/details/125818844