Day 15: 复习

原创已于 2025-07-17 23:56:35 修改 · 989 阅读

9 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

Python60天打卡

于 2025-07-17 23:54:47 首次发布

一、数据预处理与特征工程

1.1 数据探索与清洗

首先进行数据的初步探索，了解数据的基本特征：

import pandas as pd
import numpy as np

# 读取数据
data = pd.read_csv('./data/heart.csv')

# 查看数据基本信息
print(data.info())
print(data.describe())

# 检查缺失值
na_num = data.isna().sum()
print("缺失值情况:")
for col in data.columns:
print(f"{col}缺失数量: {na_num[col]}")

1.2 标签编码与连续变量处理

字典映射编码

对于分类数据，可以使用字典映射进行编码：

示例：性别特征编码

data['sex'] = data['sex'].map({0: 'female', 1: 'male'})

标准化与归一化

标准化(Standardization)：

$z_i = \frac{x_i - \mu}{\sigma}$

其中：

$z_i$ 为标准化后的值
$\mu$ 为原始数据的均值
$\sigma$ 为原始数据的标准差

归一化(Normalization)：

$z_i = \frac{x_i - x_{min}}{x_{max} - x_{min}}$

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# 标准化
scaler = StandardScaler()
data_scaled = scaler.fit_transform(data[['feature1', 'feature2']])

# 归一化
normalizer = MinMaxScaler()
data_normalized = normalizer.fit_transform(data[['feature1', 'feature2']])

重要提醒：在实际项目中，应先划分数据集，然后在训练集上进行标准化/归一化操作，避免数据泄露。测试集和验证集需要使用训练集的标准化参数。

二、数据可视化

2.1 热力图绘制

热力图用于显示特征之间的相关性：

import matplotlib.pyplot as plt
import seaborn as sns

# 计算相关系数矩阵
correlation_matrix = data.corr()

# 绘制热力图
plt.figure(figsize=(12, 10))
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm', vmin=-1, vmax=1)
plt.title('Feature Correlation Heatmap')
plt.show()

热力图的关键参数：

annot=True: 在格子中显示数值
cmap='coolwarm': 蓝红配色方案
vmin=-1, vmax=1: 设置颜色范围

2.2 子图绘制

使用matplotlib的subplots创建多个子图：

# 方法1：循环实现

features = ['age', 'sex', 'trestbps', 'cp', 'chol']
fig, axes = plt.subplots(2, 3, figsize=(15, 10))

for i in range(len(features)):
row = i // 3
col = i % 3
axes[row, col].boxplot(data[features[i]])
axes[row, col].set_title(f'Boxplot of {features[i]}')

plt.tight_layout()
plt.show()

# 方法2：使用enumerate函数
for i, feature in enumerate(features):
row = i // 3
col = i % 3
axes[row, col].boxplot(data[feature])
axes[row, col].set_title(f'Boxplot of {feature}')

2.3 enumerate函数详解

enumerate(iterable, start=0)函数用于同时获取索引和值：

基本用法

for i, value in enumerate(['a', 'b', 'c']):
print(f"Index: {i}, Value: {value}")

设置起始索引

for i, value in enumerate(['a', 'b', 'c'], start=1):
print(f"Index: {i}, Value: {value}")

三、机器学习建模与评估

3.1 数据集划分

使用train_test_split进行数据集划分：

from sklearn.model_selection import train_test_split

# 分离特征和标签
X = data.drop(['target'], axis=1)
y = data['target']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42
)

3.2 多种算法建模

支持向量机(SVM)


from sklearn.svm import SVC
from sklearn.metrics import classification_report, confusion_matrix

# 创建并训练模型
svm_model = SVC(random_state=42)
svm_model.fit(X_train, y_train)

# 预测
svm_pred = svm_model.predict(X_test)

# 评估
print(classification_report(y_test, svm_pred))
print(confusion_matrix(y_test, svm_pred))

随机森林

from sklearn.ensemble import RandomForestClassifier

rf_model = RandomForestClassifier(random_state=42)
rf_model.fit(X_train, y_train)
rf_pred = rf_model.predict(X_test)

其他算法

逻辑回归: LogisticRegression()
朴素贝叶斯: GaussianNB()
决策树: DecisionTreeClassifier()
XGBoost: XGBClassifier()
LightGBM: LGBMClassifier()

3.3 模型评估指标

主要评估指标包括：

from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score

# 计算评估指标
accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"准确率: {accuracy:.4f}")
print(f"精确率: {precision:.4f}")
print(f"召回率: {recall:.4f}")
print(f"F1值: {f1:.4f}")

四、模型调参优化

4.1 调参方法概述

常见的调参方法包括：

网格搜索(GridSearchCV): 遍历所有参数组合
随机搜索(RandomizedSearchCV): 随机采样参数组合
贝叶斯优化(BayesSearchCV): 基于概率模型的智能搜索

4.2 网格搜索实例

from sklearn.model_selection import GridSearchCV
import time

# 定义参数网格
param_grid = {
'n_estimators': ,
'max_depth': [None, 10, 20, 30],
'min_samples_split': ,
'min_samples_leaf': 
}

# 创建网格搜索对象
grid_search = GridSearchCV(
estimator=RandomForestClassifier(random_state=42),
param_grid=param_grid,
cv=5, # 5折交叉验证
n_jobs=-1, # 并行计算
scoring='accuracy'
)

# 执行搜索
start_time = time.time()
grid_search.fit(X_train, y_train)
end_time = time.time()

print(f"网格搜索耗时: {end_time - start_time:.4f} 秒")
print("最佳参数:", grid_search.best_params_)

# 使用最佳模型预测
best_model = grid_search.best_estimator_
best_pred = best_model.predict(X_test)

4.3 调参策略选择

根据计算资源选择合适的调参方法：[4]

计算资源充足: 使用网格搜索
计算资源有限: 使用贝叶斯优化
随机搜索: 实际应用中较少使用

4.4 交叉验证与数据划分

如果使用交叉验证，可以省略验证集的划分：

# 三分割：训练集、验证集、测试集
X_train, X_temp, y_train, y_temp = train_test_split(X, y, test_size=0.3, random_state=42)
X_val, X_test, y_val, y_test = train_test_split(X_temp, y_temp, test_size=0.5, random_state=42)

五、实战经验总结

5.1 数据预处理要点

缺失值处理: 根据数据特性选择删除、填充或插值
异常值检测: 使用统计方法或可视化识别异常值
特征编码: 类别特征选择合适的编码方式
数据标准化: 确保不同特征具有相似的尺度

5.2 模型选择建议

小数据集: 朴素贝叶斯、逻辑回归
结构化数据: 随机森林、XGBoost、LightGBM
高维数据: 支持向量机、正则化线性模型
解释性要求高: 决策树、线性模型

5.3 评估指标选择

准确率: 样本均衡时的整体性能
精确率: 关注误报率
召回率: 关注漏报率
F1值: 精确率和召回率的调和平均

5.4 避免过拟合

交叉验证: 使用k折交叉验证评估模型
正则化: 添加L1或L2正则化项
特征选择: 去除冗余和噪声特征
集成方法: 使用多个模型的组合

六、代码实践建议

6.1 编程规范

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report
import warnings
warnings.filterwarnings('ignore')

# 设置中文字体
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

6.2 时间记录

使用time库记录训练时间：

import time

start_time = time.time()

# 模型训练代码
model.fit(X_train, y_train)
end_time = time.time()

print(f"训练耗时: {end_time - start_time:.4f} 秒")

七、总结

本周涵盖了Python机器学习的核心知识点：

数据预处理: 包括数据清洗、特征编码、标准化等
数据可视化: 热力图、子图等可视化技术
机器学习建模: 多种算法的使用和评估
模型调参: 网格搜索、贝叶斯优化等方法

通过系统学习这些内容，可以建立完整的机器学习知识体系，为实际项目应用打下坚实基础。在实践中，要注意数据质量、模型选择、参数调优和结果解释等关键环节，确保模型的有效性和可靠性。

@浙大疏锦行

标签

#信息可视化 #机器学习 #python