1.最小二乗法の基礎

初めに

• 最小二乗法とは、多くのデータ（誤差を伴う）の処理において、最も最適な解を得る数学的手法です。
• 計算過程で、確率的な成分の入らない条件の計算結果は、必ず同じになります。
• また、最小二乗法の計算結果は、確率（確からしさ）によって評価されます。

昨今のAIとの比較

• AIと最小二乗法の計算手法の違いを筆者は知りませんが、計算結果の評価は、双方ともに同じものだと筆者は理解しています。
• 双方ともに、確からしいデータからは、確からしい計算結果が産まれます。
• 但し、AIは、同じ条件で計算しても、同じ結果になるとは限りません。

最小二乗法の計算手法の基礎

方程式の数

• 厳密解を得るための連立方程式は、未知数と方程式の数が同じですが、最小二乗法は、計算過程において、未知数より多い方程式の数を扱います。
• これを、条件方程式とか観測方程式とか呼びます。
• 最小二乗法は、条件方程式や観測方程式から正規方程式を導き出しますが、詳細は後続の記事で説明します。

正規方程式

• 正規方程式は、未知数と方程式の数が同じです。
• 正規方程式で、得られた未知数の値を条件方程式や観測方程式に代入すると、ほぼ必ず値の差が産まれます。これを誤差と呼びます。
• 誤差が、期待より大きければ、条件方程式や観測方程式を作る時に使ったデータに疑惑が向けられます。
• 全ての誤差が期待範囲ならば、全てのデータが確からしいとされ、未知数も確からしい値として利用できます。

例

• ３辺の値があれば、三角形の形が決定します。
• しかし、もう１辺の値があった時、三角形の形は決定しないので、最小二乗法によって、データ（４辺の値）が評価され、最も確からしい三角形を導き出します。
• この手法によって、日本の三角点や世界の測量が行われました。
• 実際には、たくさんの三角形により、三角網が組まれたわけですが、2点間の距離を測る測距儀が誕生するまでは、測量のほとんどが角度の計測によって行われました。

ルジャンドルとガウス

• 最小二乗法の産みの親は、ルジャンドルかガウスかと言われてますが、どっちも凄いでいいのではないかと思います。
• ルジャンドル（1752-1833）もガウス（1777-1855）も1８世紀の後期から１９世紀の初頭に最小二乗法の概念を発表しています。現在も使われ続けているのは、ほとんど奇跡に近いと思います。

最後に

• 皆さんがAIを学ぶ機会があったなら、最小二乗法の学びは基礎学問として役に立つと思われます。
• 筆者は、40年も前に最小二乗法を学びましたが、ほとんど役に立ったことはありませんでした。
• それなのに、最近AIのプログラミングをする時、どれほど役に立ったか。