AI/データサイエンス 【ディープラーニング】Transformerとは何か – ChatGPTの元ネタを解説
ChatGPTが世界中で話題になっています。ChatGPTの"GPT"はGenerative Pre-trained Transformerです。今回はChatGPTの元ネタであるTransformerについて解説します。
Attention
AI/データサイエンス 
AI/データサイエンス 【Transformer】Multi-Head Attentionを徹底解説
今後、ChatGPTの元ネタであるTransformerについて解説記事を掲載しますが、今回はその準備としてMulti-Head Attentionを解説します。
AI/データサイエンス 【ディープラーニング】Attention機構とは何か – GPTの元となったTransformerの構成要素
ディープラーニングにおけるアテンション機構とは、系列データ処理において、入力データの一部に選択的に着目するための技術を指します。ここでいう"入力の一部に着目する"というのは、例えば英仏翻訳タスクにおいてそれぞれの単語を訳す時にどの単語をどのくらい参照して翻訳するかを明示しています。