AI/データサイエンス 【ディープラーニング】ChatGPTの”GPT”とは何か？ – Generative Pretrained Transformer
GPT(Generative Pretrained Transforme)はOpenAIが2018年に公開した自然言語処理(NLP)のモデルです。GPTは事前学習済のTransformerベースのモデルで、ファインチューニングすることで生成タスクに用いることができます。
自然言語処理
AI/データサイエンス 
AI/データサイエンス 【ディープラーニング】Transformerとは何か – ChatGPTの元ネタを解説
ChatGPTが世界中で話題になっています。ChatGPTの"GPT"はGenerative Pre-trained Transformerです。今回はChatGPTの元ネタであるTransformerについて解説します。
AI/データサイエンス 【Transformer】Multi-Head Attentionを徹底解説
今後、ChatGPTの元ネタであるTransformerについて解説記事を掲載しますが、今回はその準備としてMulti-Head Attentionを解説します。
AI/データサイエンス 【ディープラーニング】Attention機構とは何か – GPTの元となったTransformerの構成要素
ディープラーニングにおけるアテンション機構とは、系列データ処理において、入力データの一部に選択的に着目するための技術を指します。ここでいう"入力の一部に着目する"というのは、例えば英仏翻訳タスクにおいてそれぞれの単語を訳す時にどの単語をどのくらい参照して翻訳するかを明示しています。
AI/データサイエンス 【ディープラーニング】seq2seq 言語モデル (エンコーダ・デコーダモデル)とは何か
eq2seq 言語モデル(sequence-to-sequence language model)は、機械翻訳、要約、対話生成などの自然言語処理タスクで使用されるディープラーニングモデルの一種です。その名の通り、ある系列データ(sequence)を別の系列データに変更します。
AI/データサイエンス 【人工知能】言語モデルとは何か
言語モデル(Language Model)は、自然言語処理の分野において文章生成、穴埋め問題、機械翻訳、質問応答などのタスクに応用される確率分布です。
AI/データサイエンス 【ディープラーニング】RNN(リカレントニューラルネットワーク)とは何か
今回は、シーケンシャルなデータに対して用いられるAIであるRNN(Recurrent Neural Network, 再帰的ニューラルネットワーク)について解説します。