きほんせっけい 基本設計 preliminary design
基本設計
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/06/26 03:45 UTC 版)
「Transformer (機械学習モデル)」の記事における「基本設計」の解説
Transformer 以前に発明されたモデルと同様に、Transformer はエンコーダ・デコーダ構造である。 エンコーダは、入力を次々と繰り返し処理する一連のエンコード層で構成され、デコーダは、エンコーダの出力に対して同じことを行う一連のデコード層で構成される。 各エンコード層の機能は、入力のどの部分が互いに関連しているかに関する情報を含め、入力を処理してエンコーディングを生成することである。各エンコード層は一連のエンコーディングを次のエンコーダ層に入力として渡す。 各デコーダーレイヤーは行うことはこの逆であり、すべてのエンコーディングを取得して処理し、組み込まれたコンテキスト情報を使用して出力シーケンスを生成する。 これを実現するために、各エンコーダ層とデコーダ層はアテンション機構を利用する。アテンション機構は、各入力について、他のすべての入力との関連性で重み付けし、情報を引き出し、出力を生成する。各デコーダ層には、エンコーディングからの情報を取得するより前に、前のデコーダ層からの情報を取得するためのアテンション機構がある。エンコーダ層とデコーダ層の両方に、出力をさらに処理するためのフィードフォワードニューラルネットワークがあり、残りの接続と層の正規化手順が含まれている。
※この「基本設計」の解説は、「Transformer (機械学習モデル)」の解説の一部です。
「基本設計」を含む「Transformer (機械学習モデル)」の記事については、「Transformer (機械学習モデル)」の概要を参照ください。
「基本設計」の例文・使い方・用例・文例
基本設計と同じ種類の言葉
- 基本設計のページへのリンク