7.2 逻辑回归

经典的分类算法

🎯 学习目标

  • 理解逻辑回归的原理
  • 掌握Sigmoid函数
  • 学会多分类逻辑回归
  • 了解逻辑回归的应用场景

📐 Sigmoid函数

将线性输出映射到概率

σ(z) = 1 / (1 + e⁻ᶻ) # 输出范围: (0, 1) # 可解释为概率
Sigmoid

💻 sklearn实现

from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, classification_report # 二分类数据 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) # 训练模型 model = LogisticRegression() model.fit(X_train, y_train) # 预测类别 y_pred = model.predict(X_test) # 预测概率 y_proba = model.predict_proba(X_test) # 评估 print(f"准确率: {accuracy_score(y_test, y_pred):.2%}") print(classification_report(y_test, y_pred))

📊 多分类逻辑回归

# One-vs-Rest (默认) model = LogisticRegression(multi_class='ovr') # 多项式 (softmax) model = LogisticRegression(multi_class='multinomial', solver='lbfgs') # 训练和预测 model.fit(X_train, y_train) y_pred = model.predict(X_test)

📝 本节小结

✅
  • • 逻辑回归通过Sigmoid输出概率
  • • 虽然叫"回归"但用于分类
  • • 输出可解释性强
  • • 是二分类的基准模型
← 上一节 下一节 →