Updated Mar/12/2024 by

Transformer

論文 Attention Is All You Need
論文 Pre-Trained Bidirectional Temporal Representation for Crowd Flows Prediction in Regular Region
論文 Analysis of Self-Attention Head Diversity for Conformer-based Automatic Speech Recognition
論文 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
論文 Scaling Laws for Neural Language Models
論文 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer ← 2019 ごろまでの transformer の研究の流れがわかる

Youtube (日本語)

【速習！】Attentionから始めるTransformer超入門 AGIRobots ← 最初にざっくりと視聴しておくとよい。既知の話は飛ばし飛ばしでも可。39:30以降だけでも聞くとよいかも。
【Transformerの基礎】Multi-Head Attentionの仕組み AGIRobots
トランスフォーマー（VisionTransformer ViT）　～ディープラーニングの新しいかたち～ビジョンセンサーチャンネル
トランスフォーマー（ViT）の中身　~ Multi-Head Attentionを画像処理で解説ビジョンセンサーチャネル
トランスフォーマー（ViT）による物体検出　ざっくり解説ビジョンセンサーチャネル
【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】 AIcia Solid Project
【深層学習】忙しい人のための Transformer と Multi-Head Attention【ディープラーニングの世界 vol.29 】 AIcia Solid Project
【深層学習】Transformer - Multi-Head Attentionを理解してやろうじゃないの【ディープラーニングの世界vol.28】 AIcia Solid Project
【深層学習】BERT - 実務家必修。実務で超応用されまくっている自然言語処理モデル【ディープラーニングの世界vol.32】 AIcia Solid Project
【深層学習】Scaling Law - 大きい Transformer は強い【ディープラーニングの世界vol.38】 AIcia Solid Project
Deep Learning入門：Attention（注意） Neural Network Console
今話題のTransformer徹底解説【Vol.1】 Ridge-i
Transformerの詳細を解説【Vol.2】 Ridge-i
【8分で分かる】ChatGPTなどのベースとなっているTransformerとは！？スタビジ【誰でもAIデータサイエンス】
【5分で分かる】vision transformerとは！？スタビジ【誰でもAIデータサイエンス】
Deep Learning入門: Attention (注意) @ Neural Network Console
機械学習入門：ChatGPTのコア技術「GPT」を理解する @ Japan Oracle Developers

Youtube (English)

3Blue1Brown

Deep learning

But what is GPT? Visual intro to transformers | Chapter 5 Deep Learning (日本語翻訳版)
Attention is transformers, visually explained | Chapter 6, Deep Learning

Transformer from scratch + pre-trained and transfer learning with BERT/GPT

Yoshihisa Nitta

http://nw.tsuda.ac.jp/

Transformer

関連情報

Youtube (日本語)

Youtube (English)