線形回帰
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/04/21 07:58 UTC 版)
| 統計学 |
| 回帰分析 |
|---|
 |
| モデル |
|
| 推定 |
|
|
| 背景 |
|
線形回帰（せんけいかいき、英: linear regression）とは、説明変数（独立変数ともいう）に対して目的変数（従属変数、あるいは反応変数ともいう）が線形またはそれから近い値で表される状態。線形回帰は統計学における回帰分析の一種であり、非線形回帰と対比される。
線形回帰のうち、説明変数が1つの場合を線形単回帰（simple linear regression）や単純線形回帰や単変量線形回帰（univariate linear regression）、2つ以上の場合を線形重回帰（multiple linear regression）や多重線形回帰や多変量線形回帰（multivariate linear regression）と呼ぶ。単回帰と呼んだ場合、単変量の回帰のことであるが、多くの場合は非線形を含めずに線形単回帰の事を指す。
概要
線形回帰では，データから推定される線形予測関数を用いて関係性がモデル化される。このようなモデルは線形モデルと呼ばれる。 説明変数（または予測変数）に対して目的変数の条件付き期待値は、アフィン写像で与えられる。（通常は条件付き期待値だが、条件付メジアンまたは他の分位数を用いることもある。）
線形回帰が非線形回帰に比べて用いられる頻度が高いのは、未知のパラメータに線形に依存するモデルの方が、パラメータに非線形に依存するモデルよりもフィッティングが容易で、推定値の統計的性質を決定しやすいためである。
線形回帰が取り扱う範囲は、予測変数の値を与えられた応答の条件付き確率分布に限る。 全ての変数の同時確率分布は多変量解析の領域として、ここでは扱わない。
線形回帰の用途
線形回帰は多くの実用的な用途があり、大まかには以下の二種類の用途に分類される。
○予測、予想、またはエラーの削減を目的とする。 →線形回帰は、応答変数と説明変数の値の観測されたデータセットに予測モデルを適合させるために使用できる。 説明変数の追加値が収集された場合、このモデルから応答変数を予測できる。
○説明変数の変動に起因する応答変数の変動を説明することを目的とする。 →線形回帰分析を適用して、応答と説明変数の関係の強さを定量化できる。 これにより各説明変数が応答と全く線形関係を持たないかどうかを判断したり、説明変数のどのサブセットに応答に関する冗長な情報が含まれているかを特定できる。
線形モデルのフィッティング方法
線形回帰モデルは多くの場合、最小二乗法を用いてフィッティングされる。 それ以外のフィッティング方法としては、最小絶対値法や、リッジ回帰（L2ノルムペナルティ）やラッソ回帰（L1ノルムペナルティ）のように、最小二乗コスト関数のペナルティ付きバージョンを最小化する方法などがある。 逆に最小二乗法は、線形モデルではないモデルのフィットにも使用できる。 このように、「最小二乗法」と「線形モデル」という言葉は密接に関連しているが、同義ではない。
基本モデル
線形回帰モデルは、目的変数[注釈 1] Y と説明変数[注釈 1] Xi, i = 1, ..., p および擾乱項[注釈 2] ε の関係を以下のようにモデル化したものである。
線形回帰
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/10/21 00:49 UTC 版)
求めたいガラス特性が結晶化や相分離に関係がない場合（たとえば液相線温度）、3次までの一般化多項式[訳語疑問点]を使った線形回帰を利用できる。下は2次式の例である。C は%またはその他の単位によるNa2OやCaOのようなガラス成分の濃度、b は係数、n はガラス成分の数である。すべての成分を合計すると100%になるため変数が過剰になるので、ガラスの主成分であるシリカ(SiO2)は下の式からはずす。下式の多くの項は相関と有意性の分析に基づいて無視することができる。図に見られるような系統誤差はダミー変数によって定量化される。さらなる詳細とその他の例はFluegelのオンライン・チュートリアルで見ることができる。 Glass Property = b 0 + ∑ i = 1 n ( b i C i + ∑ k = i n b i k C i C k ) {\displaystyle {\mbox{Glass Property}}=b_{0}+\sum _{i=1}^{n}\left(b_{i}C_{i}+\sum _{k=i}^{n}b_{ik}C_{i}C_{k}\right)}
※この「線形回帰」の解説は、「ガラス特性の計算」の解説の一部です。
「線形回帰」を含む「ガラス特性の計算」の記事については、「ガラス特性の計算」の概要を参照ください。
線形回帰
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/11/16 07:46 UTC 版)
「回帰型ニューラルネットワーク」の記事における「線形回帰」の解説
線形回帰（英: linear recurrence）は非線形活性化関数を持たない回帰モジュール・レイヤーである。 RNNを含むニューラルネットワークは定義としては非線形活性化関数を必要としない。しかし実践的にはほぼ必ずシグモイド関数などの非線形変換を導入している。ゆえに状態 h t − 1 {\displaystyle h_{t-1}} が回帰する際、 h t − 1 {\displaystyle h_{t-1}} は非線形変換されたうえで f ( x t , h t − 1 ) {\displaystyle f(x_{t},h_{t-1})} へ回帰していることになる。この系列・時間方向への非線形変換を無くし線形回帰とするモジュール・レイヤーが提案されている。
※この「線形回帰」の解説は、「回帰型ニューラルネットワーク」の解説の一部です。
「線形回帰」を含む「回帰型ニューラルネットワーク」の記事については、「回帰型ニューラルネットワーク」の概要を参照ください。
線形回帰
「線形回帰」に関係したコラム
-
FXやCFDの線形回帰とは、価格の散らばりを1つの線にまとめて表したテクニカル指標のことです。線形回帰は統計学などで用いられます。線形回帰の求め方はいくつかありますが、一般的にはある期間の価格と線との...
-
FXやCFDの相場のトレンドは、さまざまなテクニカル指標により知ることができます。その中でよく用いられる線形回帰トレンドを例に、相場のトレンドを見てみることにします。上の図は、大豆先物の1時間足に線形...
-
FXやCFDの線形回帰リバースとは、価格が下降すれば-1、上昇すれば+1の値になり、直前の価格よりも安くなるか高くなると数値が反転するテクニカル指標のことです。上の図はAUD/JPYの分足に線形回帰リ...
-
FXやCFDの線形回帰スロープとは、線形回帰の傾きを1本の線で表したテクニカル指標のことです。線形回帰スロープは、Linear Regression Slopeともいいます。線形回帰スロープの描く線は...
-
FXやCFDの線形回帰トレンドとは、2つの期間におけるトレンドのラインを描画するテクニカル指標のことです。線形回帰トレンドは指定した期間の価格の中心ラインを通ります。上の図は日経平均株価（日経225）...
-
線形回帰チャネルとは、線形回帰分析の1つで線形回帰線の上部と下部に線を引いたものです。一般的にFXやCFDなどで取引される銘柄の価格は、線形回帰チャネル内に収まりながら推移します。線形回帰チャネルは、...
- 線形回帰のページへのリンク
