线性回归的工作原理是拟合一个模型，该模型可用于根据给定的X值确定Y的实际值。该模型揭示了这两个变量之间的关系，并回答了以下问题：当X发生变化时，Y的值会发生多大变化？ 换言之，利用一个能很好地描述数据的线性回归模型，仅凭预测因子的值，就能相当准确地预测因变量的值。相比之下，逻辑回归则是在给定预测因子值的情况下，对观察到成功结果的概率进行建模。以下数据为例：

在此图中，所有数据点均取值为 0（不及格）或 1（及格）。逻辑回归拟合曲线是一条 S 形曲线，它将成功概率建模为学习时长的函数。 在本示例中，教师们会很高兴地发现，学习4小时的学生中很少有人考试不及格。事实上，对于学习了4小时的学生，模型预测其通过概率约为70%。

S 形曲线是逻辑斯蒂函数估算概率方式的副产品。 请注意，概率的取值范围在0到1之间，这合乎逻辑：事件发生的概率不可能为“负数”，而大于100%的概率也没有意义。因此，S曲线的上界和下界也受这些值的限制。 但这意味着——与线性回归不同——我们从模型中获得的数值并不能直接估计期望值。当 X = 4 时，模型的预测值为 0.704。 然而，对于我们在 X = 4 处进行的任何观测，结果只会是 0 或 1；观察值绝不会是 0.704。该模型仅仅告诉我们，在 X = 4 时，我们预计约 70% 的结果为 1。这是理解逻辑回归的关键点。

如果我们将逻辑回归模型与线性回归模型应用于同一组数据进行比较，就会很快明白为什么简单线性回归模型根本不适用于这类数据。

我们的数据仍然是0和1，但与逻辑回归模型不同，线性模型并非在预测成功的概率。 相反，它预测的值可能小于0或大于1。例如，该模型预测，学习时间少于约0.9小时的学生，其通过考试的估计值为负值。 在某些情况下，线性模型可用于二元独立变量以进行简单的分类。然而，这些方法无法提供系数的可解释性、显著性检验和置信区间。对于此类结果（当因变量为二元时），请使用逻辑回归。