normal equation？聞いたことない...。
最小二乗法を適用する場面で、$A \in \mathrm{Mat}(n,\mathbb{R}),\ b \in \mathbb{R}^n$として、2次方程式
\begin{equation}
J(x) = |Ax - b|^2,\ x \in \mathbb{R}^n
\end{equation}
を最小にする$x$を求める方法らしい。
1次元なら微分して0と等しいと置いて極小値を求めたら良いけど、行列だから気ぃつけましょう的なものらしい。
Linear least squares - Wikipediaに具体的な計算が書いてあってなるほどなぁと。
http://www.amazon.com/dp/0387310738/でもp.142で登場するが、なんか高尚なセッティングの最中に出てきているようだ...。もっと優しい本を読みましょうということだね。
結論としては、おらよっと、
\begin{equation}
x_{ML} = (A^T A)^{-1}A^T b
\end{equation}
という形で求まるとな。($A^T A$の部分が実正規行列になるから "正規" 方程式なのかね？)
ここで$A^T$は行列$A$の転置行列。細かい計算はさて置いて、$A$が普通の非0なスカラーだと思うことにすると、$x_{ML} = A^{-1}b$なので、なんとなく雰囲気的にはそれっぽいことは分かる。
この$(A^T A)^{-1}A^T$は$A^T A$が可逆の場合、ムーア-ペンローズの擬似逆行列(Moore–Penrose pseudoinverse)とかいうやつになっているようだ。普通に基礎的な線型代数している範囲で出てこない(と思うのだが)ので知らんな。
Moore–Penrose inverse - Wikipediaに色々書いてある。
―――――・・・
どうでもいいけど、ペンローズ(Roger Penrose)と聞くと何故かマッシュルームを想起してしまう。
Illumination Problem -- from Wolfram MathWorldの
In 1958, a young Roger Penrose used the properties of the ellipse to describe a room with curved walls that would always have dark (unilluminated) regions
のとこのやつだと思う。
http://www.amazon.co.jp/dp/4000054104/のp.5に日本語ともっとざっくりした絵でさらさらっと書いてあるけど、散乱問題において、技巧的に作られたマッシュルーム状の物体は、散乱データから形状を一意に決定できません(逆問題が解けませんとか書けばいいのか？)、というものらしい。
なお、p.216に出てくるRichard B. Melrose先生のついての話題がレベルが高すぎて困る...。ここに出てくる「散乱理論はよく分からなかった」は小平先生の「ボクは算数しか出来なかった」(http://www.amazon.co.jp/dp/4006030606/)と同じにおいがする...。(「ボクは～」も超人勢ぞろいの素晴らしい本で、読んでると顔が引き攣りそうなタノシイ本である)
散乱理論と井川先生とMelrose先生とくるとhttp://www.amazon.com/dp/0521498104/の邦訳のhttp://www.amazon.co.jp/dp/4320017307/も思いつくのだが、これがまた大変高度な本で、数ページで震え上がってしまった...。興味のある単語で溢れているが、早10年ほどお蔵入りにしてしまった本だ...。どうも散乱理論は憧れだけでとっつけない...。
準古典解析のほうがとっつけそうと思いながらもこっちも進まないなぁ(涙)
