$(x_j, t_j) \in \R^2,\ 1 \leq j \leq N$ の $N$ 個のデータがあるとして、直線 $y = \alpha x + \beta$ で近似したい。内容的には統計勉強ノート(3) - らんだむな記憶で端折った部分である。
最小二乗法を使うとすると、問題は
\begin{align}
\mathop{\rm arg~max}\limits_{\alpha,\beta} \sum_{j=1}^N (y_j - t_j)^2 \quad\quad\quad (1)
\end{align}
を求めることになる。ここで $y_j = \alpha x_j + \beta$ である。 $\ell = \sum_{j=1}^N (y_j - t_j)^2$ とおく。
この問題は 1 つの解法としては
\begin{align}
\frac{1}{2} \frac{\del \ell}{\del \alpha} &= \left(\sum x_j^2\right) \alpha + \left(\sum x_j\right) \beta - \sum x_j t_j = 0, \\
\frac{1}{2} \frac{\del \ell}{\del \beta} &= \left(\sum x_j\right) \alpha + N \beta - \sum t_j = 0
\end{align}
を解けばよく、 $\bar{x} := \frac{\sum x_j}{N}$ とおいた時 $\sum x_j^2 - N \bar{x}^2 = \sum \left(x_j - \bar{x}\right)^2$ 或いは一般に $\sum x_j t_j - N \bar{x} \bar{t} = \sum \left(x_j - \bar{x}\right)\left(t_j - \bar{t}\right)$ になることに注意すると、
\begin{align}
\alpha &= \frac{\sum \left(x_j - \bar{x}\right)\left(t_j - \bar{t}\right)}{\sum \left(x_j - \bar{x}\right)^2}, \quad\quad\quad\quad\quad\quad\quad (2) \\
\beta &= \bar{t} - \frac{\bar{x} \sum \left(x_j - \bar{x}\right)\left(t_j - \bar{t}\right)}{\sum \left(x_j - \bar{x}\right)^2} = \bar{t} - \alpha \bar{x}
\end{align}
が解として求まる。
もう 1 つの解法は偏微分を使わずに直接計算で求める方法であり、 $\ell$ を式変形することにより求まる。まず $\beta$ に関して整理すると、
\begin{align}
\ell &= \sum_{j=1}^N (y_j - t_j)^2 \\
& = N \beta^2 -2 N \left( \bar{t} - \bar{x} \alpha \right) \beta +\left(\sum x_j\right) \alpha^2 - 2 \left(\sum x_j t_j\right) \alpha + \sum t_j^2 \\
&= N\big( \beta - \left(\bar{t} - \bar{x} \alpha \right) \big)^2 + \sum (x_j - \bar{x})^2 \alpha^2 -2 \sum \left(x_j - \bar{x}\right)\left(t_j - \bar{t}\right) \alpha + \sum \left(t_j - \bar{t}\right)^2 \\
&= N\big( \beta - \left(\bar{t} - \bar{x} \alpha \right) \big)^2 + \sum \left(x_j -\bar{x}\right)^2\left( \alpha - \frac{\sum \left(x_j - \bar{x}\right)\left(t_j - \bar{t}\right)}{\sum \left(x_j - \bar{x}\right)^2} \right)^2 + \text{const.} \quad\quad (3)
\end{align}
が求まる。ここで最後に省略した定数項は
\begin{align}
- \frac{\big(\sum \left(x_j - \bar{x}\right)\left(t_j - \bar{t}\right)\big)^2}{\sum \left(x_j - \bar{x}\right)^2} + \sum \left( t_j - \bar{t}\right)^2
\end{align}
であり、 $\ell$ の最小値であるがここではあまり興味はない。
式 (3) の形からこれを最小にするような $\alpha$ および $\beta$ は式 (2) で与えられ、これが式 (1) の答えであることは明らかである。
