最小二乗法（直線）の簡単な説明
最小二乗法の基礎的な話です。直線フィッティングの式の導出，簡単な例題，共分散との関係など。
平均と分散は， μ X = 5 , μ Y = 7 , σ X 2 = 26 3 \mu_X=5,\mu_Y=7,\sigma_X^2=\dfrac μ X = 5 , μ Y = 7 , σ X 2 = 3 26 共分散は， C o v ( X , Y ) = E [ X Y ] − μ X μ Y = 133 3 − 35 = 28 3 \begin\mathrm(X,Y)&=E[XY]-\mu_X\mu_Y\\&=\dfrac-35\\&=\dfrac\end Cov ( X , Y ) = E [ X Y ] − μ X μ Y = 3 133 − 35 = 3 28
- 傾き： A = C o v ( X , Y ) σ X 2 = 14 13 A=\dfrac=\dfracA = σ X 2 Cov ( X , Y ) = 13 14
- 切片： B = μ Y − A μ X = 7 − 14 13 ⋅ 5 = 21 13 B=\mu_Y-A\mu_X=7-\dfrac\cdot 5=\dfracB = μ Y − A μ X = 7 − 13 14 ⋅ 5 = 13 21
よって，求める直線の方程式は y = 14 13 x + 21 13 y=\dfracx+\dfrac y = 13 14 x + 13 21
確かに ( 2 , 3 ) (2,3) ( 2 , 3 ) や ( 4 , 7 ) , ( 9 , 11 ) (4,7),(9,11) ( 4 , 7 ) , ( 9 , 11 ) は全てこの直線に近い点になっています。
もっともらしい直線の式を y = A x + B y=Ax+B y = A x + B とおくと， ( x i , y i ) (x_i,y_i) ( x i , y i ) とその直線との y y y 方向の誤差（ズレ）は， ∣ y i − A x i − B ∣ |y_i-Ax_i-B| ∣ y i − A x i − B ∣ です。 この誤差の二乗和が最小になるのが一番もっともらしい直線である と考えるのが最小二乗法です。
つまり， ∑ ( y i − A x i − B ) 2 \sum (y_i-Ax_i-B)^2 ∑ ( y i − A x i − B ) 2 を最小化するような A , B A,\:B A , B を求める問題となりました。変数が A , B A,B A , B でそれ以外は定数である（データによって与えられている）ことに注意して下さい。
∑ ( y i − A x i − B ) 2 = A 2 ∑ x i 2 + n B 2 + ∑ y i 2 − 2 A ∑ x i y i − 2 B ∑ y i + 2 A B ∑ x i \begin&\sum(y_i-Ax_i-B)^2\\ &=A^2\sum x_i^2+nB^2+\sum y_i^2\\ &\:\:\:-2A\sum x_iy_i-2B\sum y_i+2AB\sum x_i\end ∑ ( y i − A x i − B ) 2 = A 2 ∑ x i 2 + n B 2 + ∑ y i 2 − 2 A ∑ x i y i − 2 B ∑ y i + 2 A B ∑ x i
A A A で偏微分： 2 A ∑ x i 2 − 2 ∑ x i y i + 2 B ∑ x i = 0 2A\sum x_i^2-2\sum x_iy_i+2B\sum x_i=0 2 A ∑ x i 2 − 2 ∑ x i y i + 2 B ∑ x i = 0
B B B で偏微分： 2 n B − 2 ∑ y i + 2 A ∑ x i = 0 2nB-2\sum y_i+2A\sum x_i=0 2 n B − 2 ∑ y i + 2 A ∑ x i = 0
これは A A A と B B B に関する二元一次連立方程式なので解ける。頑張って解いて計算すると冒頭の式を得る。
傾き： A = C o v ( X , Y ) σ X 2 A=\dfrac A = σ X 2 Cov ( X , Y )
切片： B = μ Y − A μ X B=\mu_Y-A\mu_X B = μ Y − A μ X
- A μ X + B = μ Y A\mu_X+B=\mu_Y A μ X + B = μ Y より，最小二乗法による直線は ( μ X , μ Y ) (\mu_X,\mu_Y) ( μ X , μ Y ) を通ります。
- 共分散が正 ⟺ \iff ⟺ 最小二乗法による直線の傾きが正 であることが分かります。これにて「無相関なら（相関係数が 0 0 0 なら）直線的な関係がない」という説明が数学的にきちんとできたことになります。→独立と無相関の意味と違いについて
- 物理の実験でも最小二乗法は登場します。例えば，あるバネのバネ定数を測りたいとき，フックの法則 F = k x F=kx F = k x という直線的な関係があるので以下のように考えることができます： x x x と F F F の組をいくつか測ってプロットする。最小二乗法で直線を引いてその傾きが k k k である。
- 最小二乗法を行列を用いて定式化することもできます。→最小二乗法の行列表現（単回帰，多変数，多項式）
東京大学大学院情報理工学系研究科修了／2014年にWebサイト『高校数学の美しい物語』を立ち上げ／著書累計 50,000部突破／「わかりやすいこと」と「ごまかさないこと」の両立を意識している。 →著者情報・書籍一覧を見る