大域的最適化手法
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/11/16 07:46 UTC 版)
「回帰型ニューラルネットワーク」の記事における「大域的最適化手法」の解説
ニューラルネットワークにおける重みの訓練は、非線形大域的最適化（英語版）問題としてモデル化できる。目的関数は、以下のように特定の重みベクトルの適合度または誤差を評価するために作ることができる。第一に、ネットワークの重みは重みベクトルにしたがって設定される。次に、ネットワークは訓練配列に対して評価される。典型的には、予測値と訓練配列中で指定される目標値との間の差分二乗和が現在の重みベクトルの誤差を表わすために使われる。任意の大域的最適化技法を次に目的関数を最小化するために使うことができる。 RNNを訓練するための最も一般的な大域的最適化手法は遺伝的アルゴリズムである（特に非構造化ネットワークにおいて）。 最初に、遺伝的アルゴリズムは染色体中の1つの遺伝子が1つの重み結合を表わす所定のやり方でニューラルネットワーク重みを使ってエンコードされる。全ネットワークは単一の染色体として表わされる。適応度関数（英語版）は以下のように評価される。 染色体中にコードされた個々の重みはネットワークの個別の重み結合へと割り当てられる。 訓練セットは入力シグナルを前向きに伝播するネットワークへと提示される。 平均二乗誤差（英語版）が適応度関数に返される。 この関数が遺伝的選択過程を駆動する。 多くの染色体が集団を作り上げる。しあたがって、多くの異なるニューラルネットワークは停止基準が満されるまで進化する。一般的な停止スキームは、 ニューラルネットワークが訓練データの一定のパーセンテージを学習した時、または 平均二乗誤差の最小値が満された時、または 訓練世代の最大値に逹した時 である。停止基準は、訓練中の個々のネットワークからの平均二乗誤差の逆数を得る適応度関数によって評価される。したがって、遺伝的アルゴリズムの目標は適応度関数を最大化する（これによって平均二乗誤差が減少する）ことである。 焼きなまし法または粒子群最適化といった他の大域的（と進化的の両方またはいずれか一方）最適化技法を良い重みのセットを探すために使うことができる。
※この「大域的最適化手法」の解説は、「回帰型ニューラルネットワーク」の解説の一部です。
「大域的最適化手法」を含む「回帰型ニューラルネットワーク」の記事については、「回帰型ニューラルネットワーク」の概要を参照ください。
- 大域的最適化手法のページへのリンク
