ニューラルスケーリング則

ウィキペディア

ニューラルスケーリング則

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/10/22 10:22 UTC 版)

機械学習において、ニューラルスケーリング則（ニューラルスケーリングそく、英: neural scaling law）は、ニューラルネットワークのパラメータに関するスケーリング則である。

概要

一般的に、ニューラルネットワークモデルは、モデルの大きさ、訓練データセットの大きさ、訓練コスト、訓練後の性能という４つのパラメータにより特徴付けられる。４つのパラメータは実数として正確に定義することができ、また単純な統計則に従うことが経験的に知られている。これらのパラメータは通常、 $N,D,C,L$