最小二乘法，又叫做最小平方法，外文名叫做ordinary least squares，是一種在誤差估計、不確定度、系統辨識及預測、預報等數據處理諸多學科領域得到廣泛應用的數學工具。提出時間1806年，提出者是馬裏·勒讓德。
示例
數據點(紅色)、使用最小二乘法求得的最佳解(藍色)、誤差(綠色)。
某次實驗得到了四個數據點 ( x , y ) {displaystyle (x,y)} ： ( 1 , 6 ) {displaystyle (1,6)} 、 ( 2 , 5 ) {displaystyle (2,5)} 、 ( 3 , 7 ) {displaystyle (3,7)} 、 ( 4 , 10 ) {displaystyle (4,10)} (右圖中紅色的點)。我們希望找出一條和這四個點最匹配的直線 y = β β --> 1 + β β --> 2 x {displaystyle y=beta _{1}+beta _{2}x} ，即找出在某種“最佳情況”下能夠大致符合如下超定線性方程組的 β β --> 1 {displaystyle beta _{1}} 和 β β --> 2 {displaystyle beta _{2}} ：
最小二乘法採用的手段是儘量使得等號兩邊的方差最小，也就是找出這個函數的最小值：
最小值可以通過對 S ( β β --> 1 , β β --> 2 ) {displaystyle S(beta _{1},beta _{2})} 分別求 β β --> 1 {displaystyle beta _{1}} 和 β β --> 2 {displaystyle beta _{2}} 的偏導數，然後使它們等於零得到。
如此就得到了一個只有兩個未知數的方程組，很容易就可以解出：
也就是說直線 y = 3.5 + 1.4 x {displaystyle y=3.5+1.4x} 是最佳的。
簡介
歷史背景
最小二乘法發展於天文學和大地測量學領域，科學家和數學家嘗試爲大航海探索時期的海洋航行挑戰提供解決方案。準確描述天體的行爲是船艦在大海洋上航行的關鍵，水手不能再依靠陸上目標導航作航行。
這個方法是在十八世紀期間一些進步的集大成：
不同觀測值的組合是真實值的最佳估計;多次觀測會減少誤差而不是增加，也許在1722年由Roger Cotes首先闡明。
在相同條件下采取的不同觀察結果，與只嘗試記錄一次最精確的觀察結果是對立的。這個方法被稱爲平均值方法。托馬斯·馬耶爾(Tobias Mayer)在1750年研究月球的天平動時，特別使用這種方法，而拉普拉斯(Pierre-Simon Laplace)在1788年他的工作成果中以此解釋木星和土星的運動差異。
在不同條件下進行的不同觀測值組合。該方法被稱爲最小絕對偏差法，出現在Roger Joseph Boscovich在1757年他對地球形體的著名作品，而拉普拉斯在1799年也表示了同樣的問題。
評定對誤差達到最小的解決方案標準，拉普拉斯指明瞭誤差的概率密度的數學形式，並定義了誤差最小化的估計方法。爲此，拉普拉斯使用了一雙邊對稱的指數分佈，現在稱爲拉普拉斯分佈作爲誤差分佈的模型，並將絕對偏差之和作爲估計誤差。他認爲這是他最簡單的假設，他期待得出算術平均值而成爲最佳的估計。可相反地，他的估計是後驗中位數。
最小二乘法
高斯
1801年，意大利天文學家朱賽普·皮亞齊發現了第一顆小行星穀神星。經過40天的跟蹤觀測後，由於穀神星運行至太陽背後，使得皮亞齊失去了穀神星的位置。隨後全世界的科學家利用皮亞齊的觀測數據開始尋找穀神星，但是根據大多數人計算的結果來尋找穀神星都沒有結果。時年24歲的高斯也計算了穀神星的軌道。奧地利天文學家海因裏希·奧伯斯根據高斯計算出來的軌道重新發現了穀神星。
高斯使用的最小二乘法的方法發表於1809年他的著作《天體運動論》中，而法國科學家勒讓德於1806年獨立發現“最小二乘法”，但因不爲世人所知而默默無聞。兩人曾爲誰最早創立最小二乘法原理發生爭執。
1829年，高斯提供了最小二乘法的優化效果強於其他方法的證明，見高斯-馬爾可夫定理。
方法
人們對由某一變量 t {displaystyle t} 或多個變量 t 1 {displaystyle t_{1}} …… t n {displaystyle t_{n}} 構成的相關變量 y {displaystyle y} 感興趣。如彈簧的形變與所用的力相關，一個企業的盈利與其營業額，投資收益和原始資本有關。爲了得到這些變量同 y {displaystyle y} 之間的關係，便用不相關變量去構建 y {displaystyle y} ，使用如下函數模型
q {displaystyle q} 個獨立變量或 p {displaystyle p} 個係數去擬合。
通常人們將一個可能的、對不相關變量t的構成都無困難的函數類型稱作函數模型(如拋物線函數或指數函數)。參數b是爲了使所選擇的函數模型同觀測值y相匹配。(如在測量彈簧形變時，必須將所用的力與彈簧的膨脹係數聯繫起來)。其目標是合適地選擇參數，使函數模型最好的擬合觀測值。一般情況下，觀測值遠多於所選擇的參數。
其次的問題是怎樣判斷不同擬合的質量。高斯和勒讓德的方法是，假設測量誤差的平均值爲0。令每一個測量誤差對應一個變量並與其它測量誤差不相關(隨機無關)。人們假設，在測量誤差中絕對不含系統誤差，它們應該是純偶然誤差(有固定的變異數)，圍繞真值波動。除此之外，測量誤差符合正態分佈，這保證了偏差值在最後的結果y上忽略不計。
確定擬合的標準應該被重視，並小心選擇，較大誤差的測量值應被賦予較小的權。並建立如下規則：被選擇的參數，應該使算出的函數曲線與觀測值之差的平方和最小。用函數表示爲：
min b → → --> ∑ ∑ --> i = 1 n ( y m − − --> y i ) 2 . {displaystyle min _{ ec {b}}{sum _{i=1}^{n}(y_{m}-y_{i})^{2}}.}
用歐幾里得度量表達爲：
min b → → --> ∥ ∥ --> y → → --> m ( b → → --> ) − − --> y → → --> ∥ ∥ --> 2 . {displaystyle min _{ ec {b}}|{ ec {y}}_{m}({ ec {b}})-{ ec {y}}|_{2} .}
最小化問題的精度，依賴於所選擇的函數模型。
線性函數模型
典型的一類函數模型是線性函數模型。最簡單的線性式是 y = b 0 + b 1 t {displaystyle y=b_{0}+b_{1}t} ，寫成矩陣式，爲
直接給出該式的參數解：
其中 t ¯ ¯ --> = 1 n ∑ ∑ --> i = 1 n t i {displaystyle {bar {t}}={ rac {1}{n}}sum _{i=1}^{n}t_{i}} ，爲t值的算術平均值。也可解得如下形式：
簡單線性模型 y = b0 + b1t 的例子
隨機選定10艘戰艦，並分析它們的長度與寬度，尋找它們長度與寬度之間的關係。由下面的描點圖可以直觀地看出，一艘戰艦的長度(t)與寬度(y)基本呈線性關係。散點圖如下：
以下圖表列出了各戰艦的數據，隨後步驟是採用最小二乘法確定兩變量間的線性關係。
仿照上面給出的例子
t ¯ ¯ --> = ∑ ∑ --> i = 1 n t i n = 1678 10 = 167 . 8 {displaystyle {bar {t}}={ rac {sum _{i=1}^{n}t_{i}}{n}}={ rac {1678}{10}}=167{.}8} 並得到相應的 y ¯ ¯ --> = 18 . 41 {displaystyle {bar {y}}=18{.}41} .
然後確定b1
可以看出，戰艦的長度每變化1m，相對應的寬度便要變化16cm。並由下式得到常數項b0：
在這裏隨機理論不加闡述。可以看出點的擬合非常好，長度和寬度的相關性大約爲96.03%。 利用Matlab得到擬合直線：
一般線性情況
