最小二乗法
【英】：least-squares method
実験値と計算値の残差の二乗和を最小にするように未知パラメータを決定する方法。結晶構造解析や分光スペクトルの波形分離などに利用されている。未知パラメータの線形結合（Σai・xi + b）によって残差の二乗和を最小化する場合を（線形）という。フィッティングに非線形関数を用いる場合を非線形という。関数を仮定せず数値計算によって未知パラメータのフィッティングを行う場合も非線形である。たとえば、収束電子回折図形の強度と結晶構造モデルから計算される強度との残差二乗和の値を最小にするような構造パラメータ（原子位置、温度因子）を求めるのに使われる。ある構造パラメータの組について残差二乗和を求め、残差二乗和の各パラメータに対する微分が負になるような構造パラメータの組を発生させ、それらの値に対する残差二乗和を計算する。この過程を繰り返して残差二乗和の最小値に到達する。
実験値と計算値の残差の二乗和を最小にするように未知パラメータを決定する方法。結晶構造解析や分光スペクトルの波形分離などに利用されている。未知パラメータの線形結合（Σai・xi + b）によって残差の二乗和を最小化する場合を（線形）という。フィッティングに非線形関数を用いる場合を非線形という。関数を仮定せず数値計算によって未知パラメータのフィッティングを行う場合も非線形である。たとえば、収束電子回折図形の強度と結晶構造モデルから計算される強度との残差二乗和の値を最小にするような構造パラメータ（原子位置、温度因子）を求めるのに使われる。ある構造パラメータの組について残差二乗和を求め、残差二乗和の各パラメータに対する微分が負になるような構造パラメータの組を発生させ、それらの値に対する残差二乗和を計算する。この過程を繰り返して残差二乗和の最小値に到達する。
- 最小二乗法
最小二乗法
| 統計学 |
| 回帰分析 |
|---|
 |
| モデル |
|
| 推定 |
|
|
| 背景 |
|
最小二乗法（さいしょうにじょうほう、さいしょうじじょうほう；最小自乗法とも書く、英: least squares method）は、誤差を伴う測定値の処理において、その誤差の二乗の和を最小にするようにし、最も確からしい関係式を求める方法である。測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差平方和を最小とするような係数を決定する方法[1][2][3]、あるいはそのような方法によって近似を行うことである[1][2][3]。
歴史
1805年にアドリアン＝マリ・ルジャンドルが出版したのが初出である。しかし、1809年にカール・フリードリヒ・ガウスが出版した際に1795年には最小二乗法を考案済みだったと主張したことで、最小二乗法の発明者が誰であるかについては不明になっている。
計算の概要
前提条件
最小二乗法では測定データ 
ウィキメディア・コモンズには、最小二乗法に関連するカテゴリがあります。
脚注
注釈
- ^
要購読契約)
- ^ a b c Björck, Åke (1996). Numerical Methods for Least Squares Problems. Society for Industrial and Applied Mathematics. doi:10.1137/1.9781611971484
- ^ a b 山本哲朗『数値解析入門』（増訂版）サイエンス社〈サイエンスライブラリ 現代数学への入門 14〉、2003年6月。ISBN 4-7819-1038-6。
- ^ Hansen, Per Christian (1987). “The truncated SVD as a method for regularization”. BIT Numerical Mathematics (Springer) 27: 534-553. doi:10.1007/BF01937276. (要購読契約)
- ^ 安川章. (2017). 科学実験/画像変換の近似計算に便利な 「疑似逆行列」 入門 できる人が使っている最小二乗法の一発フィット. インターフェース= Interface, 43(8), 142-146.
- ^ Weisstein, Eric W. "Chi-Squared Distribution." From MathWorld--A Wolfram Web Resource. mathworld
.wolfram .com /Chi-SquaredDistribution .html - ^ MAGREÑÁN, Alberto; Argyros, Ioannis (2018). A contemporary study of iterative methods: convergence, dynamics and applications. Academic Press
- ^
Weisstein, Eric W. "Levenberg-Marquardt Method." From MathWorld--A Wolfram Web Resource. mathworld
.wolfram .com /Levenberg-MarquardtMethod .html - ^ a b Moré Jorge J. (1978). “The Levenberg-Marquardt algorithm : Implementation and theory”. Lecture Notes in Mathematics 630: 105-116. doi:10.1007/BFb0067700. (要購読契約)
- ^ a b Yu, H., & Wilamowski, B. M. (2011). Levenberg-marquardt training. Industrial electronics handbook, 5(12), 1.
- ^ a b Ranganathan, Ananth (2004). “The levenberg-marquardt algorithm” (PDF). Tutoral on LM algorithm 11 (1): 101-110.
- ^ 山下信雄, 福島雅夫「Levenberg-Marquardt法の局所収束性について (最適化の数理科学)」『数理解析研究所講究録』第1174巻、京都大学数理解析研究所、2000年10月、161-168頁、CRID 1050001201691367552、hdl:2433/64462、ISSN 1880-2818。
- ^ Michele Rienzner (2020). Find Outliers with Thompson Tau (www
.mathworks ), MATLAB Central File Exchange. Retrieved May 17, 2020..com /matlabcentral /fileexchange /27553-find-outliers-with-thompson-tau - ^ Van Huffel, S., & Vandewalle, J. (1991). The total least squares problem: computational aspects and analysis (Vol. 9). SIAM.
- ^ Golub, Gene H; Van Loan, Charles F (1980). “An analysis of the total least squares problem”. SIAM journal on numerical analysis (SIAM) 17 (6): 883-893. doi:10.1137/0717073.
- ^ Drygas, H. (2012). The coordinate-free approach to Gauss-Markov estimation (Vol. 40). Springer Science & Business Media.
- ^ Motulsky, H., & Christopoulos, A. (2004). Fitting models to biological data using linear and nonlinear regression: a practical guide to curve fitting. Oxford University Press.
| 典拠管理データベース: 国立図書館 |
|---|
