AI/データサイエンス 【ディープラーニング】ChatGPTの”GPT”とは何か？ – Generative Pretrained Transformer
GPT(Generative Pretrained Transforme)はOpenAIが2018年に公開した自然言語処理(NLP)のモデルです。GPTは事前学習済のTransformerベースのモデルで、ファインチューニングすることで生成タスクに用いることができます。
Transformer
AI/データサイエンス 
AI/データサイエンス 【ディープラーニング】Transformerとは何か – ChatGPTの元ネタを解説
ChatGPTが世界中で話題になっています。ChatGPTの"GPT"はGenerative Pre-trained Transformerです。今回はChatGPTの元ネタであるTransformerについて解説します。
AI/データサイエンス 【Transformer】Positional Encodingを徹底解説
2022年末にリリースされたOpenAIのサービスChatGPTが世界中で話題になっています。ChatGPTはGPT-3.5という言語モデルを使ったサービスですが、GPTというのはGenerative Pre-trained Transfo...
AI/データサイエンス 【Transformer】Multi-Head Attentionを徹底解説
今後、ChatGPTの元ネタであるTransformerについて解説記事を掲載しますが、今回はその準備としてMulti-Head Attentionを解説します。
AI/データサイエンス 【ディープラーニング】Attention機構とは何か – GPTの元となったTransformerの構成要素
ディープラーニングにおけるアテンション機構とは、系列データ処理において、入力データの一部に選択的に着目するための技術を指します。ここでいう"入力の一部に着目する"というのは、例えば英仏翻訳タスクにおいてそれぞれの単語を訳す時にどの単語をどのくらい参照して翻訳するかを明示しています。
AI/データサイエンス ディープラーニング(深層学習)とは何か
今回は機械学習の1分野であるディープラーニングについて、その概要を解説します。過去の記事でも紹介した通り、ディープラーニング(深層学習)とは、ニューラルネットワークを活用した機械学習の手法です。そして機械学習というのは、AI・人工知能の一部です。