高斯（Gauss）是大神级的科学家，“数学王子”。他对最小二乘法的发现堪称传奇。

    十九世纪初期，当时，欧洲的一些天文学家及天文爱好者正热衷于观测一颗小行星。结果有一段时间，观测不到这颗行星了。它去哪了呢？于是，关于这颗小行星的历史观测数据被公布出来。一时间，整个欧洲的科学界都关注这件事。一些大科学家，如高斯、拉普拉斯等也加入这场“找星星”的活动中。

    过了一段时间，高斯给出了这颗小行星那时应该在的位置。人们果然在高斯说的位置观测到了这颗小行星。

    高斯确定小行星位置的方法就是自己创立的最小二乘法。

    在此十年之后，这一方法才正式公之于众。

    在此期间，有些心急的人，竟然向法院起诉高斯。告他会巫术，理由是如果他不会巫术，为什么不告诉人们他是如何找到小行星的？这个小插曲也为高斯带来了额外的声誉。

     那么，高斯为什么十年之后才公布这一方法呢？原因是，高斯虽然发明了这个方法，但其中有些理论问题尚待解决。在此之前，高斯不愿发布一个理论依据不明确的东西。

    （他没有发论文的压力啊！）

    下面对最小二乘法相关问题做点说明。

    1.最小二乘法的原理

    如上图所示，观测到的点是（ti，bi），但实际的轨迹的可能方程是f(t)。最小二乘法就要根据观测点拟合出方程。那么，最符合这些观测点的方程就是使得所有观测点到方程上相应的点的误差（εi）的和最小的那个，即总误差最小。

    由于误差（距离）会用到绝对值，不方便，因此，采用距离平方的和最小（Least Squares），即总的误差平方的和最小。

    在上式中，观测点已知，系数α，β未知。当上式取最小值时，对应的系数即为所求。这是一个凸的、无约束的极值问题，其驻点就是极值点，故分别对系数求导，并令导数为零。解相应的方程组即可得到系数，得出f(t)。

    这个关于驻点的方程组就是线性代数中的正则方程（normal equation），                    

    2.为什么误差是εi，而不用点到直线距离？

    高斯认为，小行星的观测时间ti是准确的，也就是说，这个观测值是在什么时间点进行观测的，这个时间点是准确的，没有问题。而观测到的位置bi，由于距离太过遥远，即使观测者训练有素，这个值很可能是不准的。

    那么，当ti是准确的，bi是不准的，在图上表示出来的误差只能沿着竖直的时间线（ti）上下移动，也就是εi。

    后来，尽管自变量也可能是随机变量，也不见得准，但由于这种形式的误差表示有很好的数学性质，最小二乘法仍然一直沿用高斯的做法，没有改变误差的表示形式。

    3.高斯在这十年中发现了什么？

    高斯重点研究了误差项的性质，这个性质也就是最小二乘法的性质，原因是误差项包含了所有未考虑的因素。其发现概括如下：

    （1）最小二乘法具有BLUE的性质，即最小二乘法得到的估计方程f(t)是最好（Best）、线性（Linear）、无偏（Unbiased）的估计（Estimator）。这是最小二乘法得到如此广泛应用的理论基础。

    （2）误差项服从均值为0，方差恒定的正态分布。正态分布不是高斯最先发现的，但由于高斯对误差项的研究，引起了人们对正态分布的重视。也因此正态分布又叫高斯分布。现在，当人们一碰到有误差存在的情形，几乎总是假设误差服从均值为0，方差为δ的正态分布，正是源于自高斯。现代误差理论也是从这里开始起步的。

    4.为什么是高斯发现了最小二乘法？

    最小二乘法现在看起来好像很简单，觉得自己努努力也能想到。

    前面说过，很多科学家都曾参与“找星星”活动，包括法国大数学家拉普拉斯。为什么是高斯发现了最小二乘法，而不是其他人？

    先声明，本人对拉普拉斯这样的大神级人物绝无任何不敬之意。拉他出来，一是所说是事实，二是为了说清问题。

    当时，欧洲乃至整个科学界普遍存在一种观念，认为宇宙如同一架走时精准的时钟，其中不存在任何不确定性，就如同牛顿三大定律一样，完美。科学研究的目的就是发现宇宙中固有的规律。

    至于如掷骰子事前不能准确知道结果等情形，那是因为出手的力度、角度、空气流动、骰子和桌面的摩擦等因素不清楚。如果都清楚了，那么掷骰子的结果就是确定的。不确定性是不存在的。

    受这种观念的限制，绝大多数人都不会认为观测数据本身有问题（存在误差），那么，自然也就找不到符合数据的“完美”的方程。

最小二乘法突破了人们固有的认识。在此之后，科学界开始正视不确定性。最小二乘法在科学史上都有其地位，应用范围广只是人们所常见的一面。背后对固有认识的突破才是更重要的原因。

    5.其它

    从高斯对最小二乘法的发现，能看到一些现代科学知识的源头。不愧是大神。

    高斯也因为这项工作做过一段时间的哥廷根天文台台长。

    最小二乘法也可以拟合曲线，讲原理的示意图为了方便用了直线。如今，最小二乘法在系统辨识及预测、机器学习等诸多学科领域得到广泛应用，且发展出几种形式。

    法国科学家勒让德独立发明了“最小二乘法”，在公布时间上早于高斯（实际发现时间很可能晚于高斯）。但由于高斯更有名，贡献更大，人们把最小二乘法的发明归于高斯。

    有名真好！

    有实力更好。