非线性回归的目标是调整模型参数的值，以找到能根据X最好地预测Y的曲线。更准确地说，回归的目标是将各点到曲线的垂直距离的平方和最小化。

为什么要把距离的平方和最小化？为什么不直接将实际距离的总和最小化呢？

如果随机散布服从高斯分布，那么出现两个中等大小的偏差（例如各5个单位）的可能性，远大于出现一个小偏差（1个单位）和一个大偏差（9个单位）的可能性。 如果采用使距离绝对值之和最小化的方法，那么一条距离两个点各5单位的曲线，与一条距离一个点1单位、另一个点9单位的曲线相比，将无法体现出优劣之分。 在每种情况下，距离之和（更准确地说，是距离绝对值之和）均为 10 个单位。 一种旨在使距离平方和最小的方法，会更倾向于与两个点各偏离5个单位（平方和=50），而不是与一个点偏离1个单位、与另一个点偏离9个单位（平方和=82）。 如果数据分布呈高斯分布（或近似高斯分布），则通过最小化平方和确定的曲线最有可能正确。