AI/データサイエンス 【ディープラーニング】事前学習・ファインチューニング・転移学習とは何か、どう違うのか
事前学習（Pretraining）、ファインチューニング（Finetuning）、そして転移学習（Transfer Learning）という技術が何であるか、そしてそれぞれの違いは何なのかを解説していきます。
データサイエンス
AI/データサイエンス 
AI/データサイエンス 【ディープラーニング】ChatGPTの”GPT”とは何か？ – Generative Pretrained Transformer
GPT(Generative Pretrained Transforme)はOpenAIが2018年に公開した自然言語処理(NLP)のモデルです。GPTは事前学習済のTransformerベースのモデルで、ファインチューニングすることで生成タスクに用いることができます。
AI/データサイエンス 【ディープラーニング】Transformerとは何か – ChatGPTの元ネタを解説
ChatGPTが世界中で話題になっています。ChatGPTの"GPT"はGenerative Pre-trained Transformerです。今回はChatGPTの元ネタであるTransformerについて解説します。
AI/データサイエンス 【機械学習】バッチ学習とオンライン学習 – バッチ勾配降下法と確率的勾配降下法の違いは何か？
過去の記事で勾配降下法について解説しました。今回は、バッチ学習とオンライン学習を説明した上で、確率的勾配降下法、バッチ勾配降下法、ミニバッチ勾配降下法を解説し、さらに関連事項としてバッチ正規化についても説明します。
AI/データサイエンス 【Transformer】Positional Encodingを徹底解説
2022年末にリリースされたOpenAIのサービスChatGPTが世界中で話題になっています。ChatGPTはGPT-3.5という言語モデルを使ったサービスですが、GPTというのはGenerative Pre-trained Transfo...
AI/データサイエンス 【Transformer】Multi-Head Attentionを徹底解説
今後、ChatGPTの元ネタであるTransformerについて解説記事を掲載しますが、今回はその準備としてMulti-Head Attentionを解説します。
AI/データサイエンス 【ディープラーニング】Attention機構とは何か – GPTの元となったTransformerの構成要素
ディープラーニングにおけるアテンション機構とは、系列データ処理において、入力データの一部に選択的に着目するための技術を指します。ここでいう"入力の一部に着目する"というのは、例えば英仏翻訳タスクにおいてそれぞれの単語を訳す時にどの単語をどのくらい参照して翻訳するかを明示しています。
AI/データサイエンス 【ディープラーニング】seq2seq 言語モデル (エンコーダ・デコーダモデル)とは何か
eq2seq 言語モデル(sequence-to-sequence language model)は、機械翻訳、要約、対話生成などの自然言語処理タスクで使用されるディープラーニングモデルの一種です。その名の通り、ある系列データ(sequence)を別の系列データに変更します。
AI/データサイエンス 【人工知能】言語モデルとは何か
言語モデル(Language Model)は、自然言語処理の分野において文章生成、穴埋め問題、機械翻訳、質問応答などのタスクに応用される確率分布です。
AI/データサイエンス 【ディープラーニング】GRU(Gated Recurrent Unit)とは何か
GRUはGated Recurrent Unitの略で、RNNセルの一種です。GRUはLSTMに代わるより計算効率の高いアーキテクチャとして2014年に提案されました。