Java教程

Transformer学习资源&顺序推荐

本文主要是介绍Transformer学习资源&顺序推荐,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

因为我个人不喜欢听一个老师重复讲而喜欢听多位老师讲同一个东西所以整理了一下这份清单,我觉得比我自己的学习顺序要好一些!

attention本质还是权重(?

  1. (可选)前置知识:词嵌入、表征(文章):完全没接触NLP的我觉得它讲的真的挺清楚
  2. (可选)了解transformer的基本结构(视频):看这个封面真的没想到讲的这么好,刻板印象害人。用很符合直觉的方式讲了一遍【为什么要】以及【核心架构】
  3. (建议)李沐老师论文逐段讲解(视频):李沐老师对论文的讲解绝对是非常非常细致清楚的,补充了很多知识,讲的非常非常好;李宏毅老师的据说讲的更直白,但是两个半小时我实在懒得(?
  4. (建议)手推 attention(视频):对手推公式的人我一向只有敬意,而且这位讲的真的很清楚,相当于顺了一遍,在看代码之前就能知道每一部分的具体表现应该是什么
  5. (可选但比较建议)再看transformer(文章):讲解内容倒是和2的视频差不太多,补充了很多图例;主要是评论区很多问题是共通的,挺精彩
  6. 代码实现1:把重点结构逐个拆开来写了
  7. 代码实现2:但是上面那个需要自己组装(?)这个复制粘贴就好,感觉很爽
这篇关于Transformer学习资源&顺序推荐的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!