AI/データサイエンス 【ディープラーニング】Attention機構とは何か – GPTの元となったTransformerの構成要素
ディープラーニングにおけるアテンション機構とは、系列データ処理において、入力データの一部に選択的に着目するための技術を指します。ここでいう"入力の一部に着目する"というのは、例えば英仏翻訳タスクにおいてそれぞれの単語を訳す時にどの単語をどのくらい参照して翻訳するかを明示しています。
RNN
AI/データサイエンス 
AI/データサイエンス 【ディープラーニング】seq2seq 言語モデル (エンコーダ・デコーダモデル)とは何か
eq2seq 言語モデル(sequence-to-sequence language model)は、機械翻訳、要約、対話生成などの自然言語処理タスクで使用されるディープラーニングモデルの一種です。その名の通り、ある系列データ(sequence)を別の系列データに変更します。
AI/データサイエンス 【ディープラーニング】GRU(Gated Recurrent Unit)とは何か
GRUはGated Recurrent Unitの略で、RNNセルの一種です。GRUはLSTMに代わるより計算効率の高いアーキテクチャとして2014年に提案されました。
AI/データサイエンス 【ディープラーニング】LSTM(Long Sort-Term Memory)とは何か
今回はRNNの一種であるLSTM(Long Short-Term Memory)について解説します。LSTM(Long Short-Term Memory)は文章・音声・時系列のようなシーケンシャルなデータの長期的な依存関係を扱うように設計されています。
AI/データサイエンス 【ディープラーニング】RNN(リカレントニューラルネットワーク)とは何か
今回は、シーケンシャルなデータに対して用いられるAIであるRNN(Recurrent Neural Network, 再帰的ニューラルネットワーク)について解説します。
AI/データサイエンス ディープラーニング(深層学習)とは何か
今回は機械学習の1分野であるディープラーニングについて、その概要を解説します。過去の記事でも紹介した通り、ディープラーニング(深層学習)とは、ニューラルネットワークを活用した機械学習の手法です。そして機械学習というのは、AI・人工知能の一部です。