逻辑回归是多元线性回归的扩展。逻辑回归用于对具有二元响应(如“是/否”或“存在/不存在”)的因变量进行建模。逻辑回归的目标是针对给定的一组自变量(X)值,对观测到0或1的概率进行预测或推断。下文中,我们将Y=1的概率记为P(Y=1)。
逻辑回归是将线性回归模型拟合到对数几率上。几率在数学上定义为 P(Y=1) / P(Y=0)。人们常在博彩中见到几率的应用。例如,3 比 1 的几率就是另一种说法,表示 P(Y=1) 为 0.75。因此,对数几率即为几率的自然对数 (Ln)。
为何不直接拟合多元线性回归(MLR)而非多元对数回归?主要有两个原因:
1.多逻辑回归的标准统计检验(拟合优度、参数估计、标准误差等)假设残差服从高斯分布。而这一假设在此情境下不成立。
2.出于可解释性的考虑,讨论观察到“成功”或“失败”的概率更为理想。逻辑回归可以实现这一点,而线性回归则无法做到。
这本质上是一种数学上的技术手段,使我们能够沿用为多元逻辑回归模型开发的大部分框架。概率值受限于0到1之间,而几率可以是任意正数,因此对数几率的取值范围就是任意实数。 因此,我们可以采用一种熟悉的模型方程形式:对数几率 (Y) = β0 + β1*X1 + β2*X2 + ... 随后,我们可以根据需要对估计值进行反变换,从而推断几率或预测概率。