最小自乗法
さいしょう‐じじょうほう〔サイセウジジヨウハフ〕【最小自乗法／最小▽二乗法】
最小二乗法
(最小自乘法 から転送)
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2025/08/01 05:03 UTC 版)
| 統計学 |
| 回帰分析 |
|---|
 |
| モデル |
|
| 推定 |
|
|
| 背景 |
|
最小二乗法（さいしょうにじょうほう、さいしょうじじょうほう；最小自乗法とも書く、英: least squares method）は、誤差を伴う測定値の処理において、その誤差の二乗の和を最小にするようにし、最も確からしい関係式を求める方法である。測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差平方和を最小とするような係数を決定する方法[1][2][3]、あるいはそのような方法によって近似を行うことである[1][2][3]。
歴史
はじめて最小二乗法の概念が発表されたのは1806年にアドリアン＝マリ・ルジャンドルが出版した『彗星軌道の決定のための新方法』である。しかし、1809年にカール・フリードリヒ・ガウスが出版した『天体運動論』の中で1795年頃から最小二乗法を用いて天体の軌道を計算していることを述べた（実際に1801年大晦日、小惑星セレスの軌道をガウスは当てている）ため、その後ドイツとフランスで最小二乗法の先見者の激しい論争が起こった。[4]
ルジャンドルは現在広く知られている正規方程式を作り出すなどの功績を残した。ガウスは最小二乗法の発見後、1797年から1798年の二年間、誤差の確率分布の研究に専念し、正規分布を発見した。さらに、もし誤差が正規分布に従うならば、最小二乗法によって推定された回帰係数が最尤推定値に一致することを証明している。[5] このような功績から（ルジャンドルの研究には確率論的な要素が不足していることもあり）最小二乗法を確立したのはガウスとされるのが一般的である。[6]
また、1812年にラプラスは『確率の解析的理論』において最小二乗法の確率論的根拠を論じており、独立な誤差の和の確率分布が正規分布に従うこと（中心極限定理）を証明している。[7]
計算の概要
前提条件
最小二乗法では測定データ 
脚注
注釈
- ^
要購読契約) - ^ a b c Björck, Åke (1996). Numerical Methods for Least Squares Problems. Society for Industrial and Applied Mathematics. doi:10.1137/1.9781611971484
- ^ 高増潔「精密測定における最小二乗法の使い方」『精密工学会誌』2010年、76巻10号、p.1130
- ^ 末吉俊幸「最小絶対値法による回帰分析」『Journal of the Operations Research』1997年、40巻2号、p.262
- ^ 高増潔「精密測定における最小二乗法の使い方」『精密工学会誌』2010年、76巻10号、p.1130
- ^ 長岡一夫「ド・モルガンの『確率論』ーラプラスの『確率の解析的理論』の再生」『科学史研究』31巻181号、1992年、p.34
- ^ a b 山本哲朗『数値解析入門』（増訂版）サイエンス社〈サイエンスライブラリ 現代数学への入門 14〉、2003年6月。 ISBN 4-7819-1038-6。
- ^ Hansen, Per Christian (1987). “The truncated SVD as a method for regularization”. BIT Numerical Mathematics (Springer) 27: 534-553. doi:10.1007/BF01937276. (要購読契約)
- ^ 安川章. (2017). 科学実験/画像変換の近似計算に便利な 「疑似逆行列」 入門 できる人が使っている最小二乗法の一発フィット. インターフェース= Interface, 43(8), 142-146.
- ^ Weisstein, Eric W. "Chi-Squared Distribution." From MathWorld--A Wolfram Web Resource. mathworld
.wolfram .com /Chi-SquaredDistribution .html - ^ MAGREÑÁN, Alberto; Argyros, Ioannis (2018). A contemporary study of iterative methods: convergence, dynamics and applications. Academic Press
- ^ Weisstein, Eric W. "Levenberg-Marquardt Method." From MathWorld--A Wolfram Web Resource. mathworld
.wolfram .com /Levenberg-MarquardtMethod .html - ^ a b Moré Jorge J. (1978). “The Levenberg-Marquardt algorithm : Implementation and theory”. Lecture Notes in Mathematics 630: 105-116. doi:10.1007/BFb0067700. (要購読契約)
- ^ a b Yu, H., & Wilamowski, B. M. (2011). Levenberg-marquardt training. Industrial electronics handbook, 5(12), 1.
- ^ a b Ranganathan, Ananth (2004). “The levenberg-marquardt algorithm” (PDF). Tutoral on LM algorithm 11 (1): 101-110.
- ^ 山下信雄, 福島雅夫「Levenberg-Marquardt法の局所収束性について (最適化の数理科学)」『数理解析研究所講究録』第1174巻、京都大学数理解析研究所、2000年10月、161-168頁、 CRID 1050001201691367552、 hdl:2433/64462、 ISSN 1880-2818。
- ^ Michele Rienzner (2020). Find Outliers with Thompson Tau (www
.mathworks ), MATLAB Central File Exchange. Retrieved May 17, 2020..com /matlabcentral /fileexchange /27553-find-outliers-with-thompson-tau - ^ Van Huffel, S., & Vandewalle, J. (1991). The total least squares problem: computational aspects and analysis (Vol. 9). SIAM.
- ^ Golub, Gene H; Van Loan, Charles F (1980). “An analysis of the total least squares problem”. SIAM journal on numerical analysis (SIAM) 17 (6): 883-893. doi:10.1137/0717073.
- ^ Drygas, H. (2012). The coordinate-free approach to Gauss-Markov estimation (Vol. 40). Springer Science & Business Media.
- ^ Motulsky, H., & Christopoulos, A. (2004). Fitting models to biological data using linear and nonlinear regression: a practical guide to curve fitting. Oxford University Press.
| 典拠管理データベース: 国立図書館 |
|---|
- 最小自乘法のページへのリンク
