AI/データサイエンス 【Transformer】Positional Encodingを徹底解説
2022年末にリリースされたOpenAIのサービスChatGPTが世界中で話題になっています。ChatGPTはGPT-3.5という言語モデルを使ったサービスですが、GPTというのはGenerative Pre-trained Transfo...
AI/データサイエンス
AI/データサイエンス 
AI/データサイエンス 【Transformer】Multi-Head Attentionを徹底解説
今後、ChatGPTの元ネタであるTransformerについて解説記事を掲載しますが、今回はその準備としてMulti-Head Attentionを解説します。
AI/データサイエンス 【ディープラーニング】Attention機構とは何か – GPTの元となったTransformerの構成要素
ディープラーニングにおけるアテンション機構とは、系列データ処理において、入力データの一部に選択的に着目するための技術を指します。ここでいう"入力の一部に着目する"というのは、例えば英仏翻訳タスクにおいてそれぞれの単語を訳す時にどの単語をどのくらい参照して翻訳するかを明示しています。
AI/データサイエンス 【ディープラーニング】seq2seq 言語モデル (エンコーダ・デコーダモデル)とは何か
eq2seq 言語モデル(sequence-to-sequence language model)は、機械翻訳、要約、対話生成などの自然言語処理タスクで使用されるディープラーニングモデルの一種です。その名の通り、ある系列データ(sequence)を別の系列データに変更します。
AI/データサイエンス 【人工知能】言語モデルとは何か
言語モデル(Language Model)は、自然言語処理の分野において文章生成、穴埋め問題、機械翻訳、質問応答などのタスクに応用される確率分布です。
AI/データサイエンス 【ディープラーニング】GRU(Gated Recurrent Unit)とは何か
GRUはGated Recurrent Unitの略で、RNNセルの一種です。GRUはLSTMに代わるより計算効率の高いアーキテクチャとして2014年に提案されました。
AI/データサイエンス 【ディープラーニング】LSTM(Long Sort-Term Memory)とは何か
今回はRNNの一種であるLSTM(Long Short-Term Memory)について解説します。LSTM(Long Short-Term Memory)は文章・音声・時系列のようなシーケンシャルなデータの長期的な依存関係を扱うように設計されています。
AI/データサイエンス 【ディープラーニング】RNN(リカレントニューラルネットワーク)とは何か
今回は、シーケンシャルなデータに対して用いられるAIであるRNN(Recurrent Neural Network, 再帰的ニューラルネットワーク)について解説します。
AI/データサイエンス 【データサイエンス】主成分分析 (PCA) とは何か
主成分分析(PCA:Principal Component Analysis)を解説します。主成分分析は次元削減ために用いられる統計的手法で、元のデータの中で最も大きな変動を捉える主成分(PC)と呼ばれる無相関の変数を新たに見つけることで、データセットの次元を小さくします。
AI/データサイエンス 【ディープラーニング】誤差逆伝播法(バックプロパゲーション)とは何か
今回はディープラーニングにおいては重みを更新する際に用いられる誤差逆伝播法(バックプロパゲーション)という手法について解説します。前回までに説明したニューラルネットワーク・パーセプトロン・活性化関数については他の記事を参照ください。