かいき‐しき〔クワイキ‐〕【回帰式】
回帰分析
(回帰式 から転送)
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2025/08/15 14:20 UTC 版)
|
出典は列挙するだけでなく、脚注などを用いてどの記述の情報源であるかを明記してください。
|
| 統計学 |
| 回帰分析 |
|---|
 |
| モデル |
|
| 推定 |
|
|
| 背景 |
|
回帰で使われる、最も基本的なモデルは 
非線形
- k近傍法
- 回帰木
- ランダムフォレスト
- ニューラルネットワーク
- サポートベクター回帰
- 射影追跡回帰
- 多変量適応的回帰スプライン
最小二乗法による推定
パラメータを推定する代表的な方法として、最小二乗法がある。これは、二乗和誤差を最小化する最尤推定法の一つである。
最小二乗法の概要は次の通りである。初めに回帰式（目的変数を説明変数で計算する式）を設定する。次に、回帰式の係数を求めるが、「従属変数の測定値と、独立変数の測定値および回帰式を用いて求めた推定値の差の二乗和誤差」が最小になるように求める。線形モデルの場合、回帰式の係数で推定値の差の2乗平均を微分し0と置いた連立方程式を解いて求められる。
また、初めから外れ値と判明しているデータについては、除外してから最小二乗法を用いるケースもある。その他の外れ値への対応策はこちらを参照されたり[4]。
独立変数同士の相関
マーケティングやアンケートでよく使う一般的な重回帰の場合、複数の説明変数同士は強い相関がないという仮定が入っている。そのため、一般化線形モデルで説明変数同士が関連性の高いものを使うと係数が妙な値になることがあるので注意する必要がある（これは多重共線性と呼ばれる）。
- 例：小学校での定期テスト得点から重回帰で分析する場合に、理科の点数を従属変数に、算数と国語を説明変数にした場合、算数が増えると理科の点数が多く、国語の点数が高ければ理科の点数が減るといった意味の係数が出ることがある。これは算数と国語の点数に強い相関が両者にあるからである。この場合は算数と国語の平均点と、算数と国語の得点の差というように和と差に数字を加工すると、この2つは相関が大抵低く、かつ解釈しやすい。算数と国語の得点の差は、算数の方が高い生徒の方が理科の点数が高い傾向があるというように理解できるからである。
これは、線形モデルの問題であるため、線形モデルが不適切ならば、非線形モデルを使用すればよい。また、共分散構造分析という重回帰より複雑な関係を適切に説明できるモデルもある。
語源
回帰は語源的には回帰効果（平均への回帰）に由来する。回帰効果は相関（直線的な関係）が低い場合に顕著に現れる。しかし回帰分析では必ずしも直線的関係を仮定しない。また「目的変数yを説明変数xに回帰する」といい、「回帰」という言葉が由来とは異なる意味に使われている。
解析ソフト
- NAG
- IMSL
- R言語 - 統計解析言語。回帰分析ほか多くの統計関数を標準装備したフリーウェア。『モデル式』でモデル記述や当てはめが容易。他アプリケーションのファイル取込やODBC接続対応。FDA公認。CRANという仕組みで世界の膨大なソフトを無償利用可能。可視化機能に優れ、日本語対応。マルチプラットフォーム。
- Stata
- Gretl
脚注
- ^ 『統計学入門』(東京大学出版会)、257頁
- ^ Stanton, Jeffrey M. (2001-01). “Galton, Pearson, and the Peas: A Brief History of Linear Regression for Statistics Instructors” (英語). Journal of Statistics Education 9 (3). doi:10.1080/10691898.2001.11910537. ISSN 1069-1898.
- ^ Anscombe, F. J. (1973). “Graphs in Statistical Analysis”. The American Statistician 27 (1): 17–21.
- ^ “外れ値とロバスト推定(2)”. Qiita (2022年1月11日). 2025年4月6日閲覧。
参考文献
- 『統計学入門』東京大学出版会、1991年。
- J. R. Taylor 著、林茂雄、馬場凉（訳） 編『計測における誤差解析入門』東京化学同人、2000年。
- 蓑谷千凰彦『回帰分析のはなし』東京図書、1985年。
教科書など
(拡充予定)
- 宮川雅巳：「統計的因果推論：回帰分析の新しい枠組み」、朝倉書店（シリーズ 予測と発見の科学 1）、ISBN 978-4-254-12781-2 (2004年3月25日).
関連項目
|
|
|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 標本調査 | |||||||||||||||
| 記述統計学 |
|
||||||||||||||
| 推計統計学 |
|
||||||||||||||
| ベイズ統計学 |
|
||||||||||||||
| 相関 |
|
||||||||||||||
| モデル | |||||||||||||||
| 回帰 |
|
||||||||||||||
| 分類 |
|
||||||||||||||
| 教師なし学習 |
|
||||||||||||||
| 統計図表 | |||||||||||||||
| 生存時間分析 | |||||||||||||||
| 歴史 |
|
||||||||||||||
| 応用 | |||||||||||||||
| 出版物 |
|
||||||||||||||
| 全般 | |||||||||||||||
| その他 | |||||||||||||||
 カテゴリ |
|||||||||||||||
- 回帰式のページへのリンク
