机器学习:特征缩放
特征缩放(Feature Scaling)
在梯度下降算法中,当有多个特征的情况下,如果我们能将这些不同的特征都限制在一个相近的范围内,那么梯度下降的等高线分布会更均匀,即可以更快地收敛。
一般地,我们执行特征缩放时的目的是为了将各个特征的取值都约束在 [-1, 1] 内(这要根据实际情况来确定,更普遍的范围是 [-3, 3])。
我们一般规定
要强调的是,[-1, 1] 只是一个比较理想的范围,你所选取的范围可以略大或者略小,但一定不能过大(如 [-100, 100])或过小(如 [-0.0001, 0.0001])。
总的来说,不需要严格地要求我们所有的特征都在完全相同的区间内,只要它们的范围类似接近,我们的梯度下降法就会更好地进行工作。
均值归一化(Mean Normalization)
将特征
对于
总结
一般来说,特征缩放和均值归一化是同时进行的。对于一般的特征值,我们可以直接套用下述公式。
最大最小值归一化(Min-Max Scaling)
特点:
- 将数据缩放到 [0, 1] 区间
- 对异常值敏感
- 适用于数据边界明确的情况
均值标准差归一化(Z-score Standardization)
其中:
:特征的均值 :特征的标准差
特点:
- 数据服从标准正态分布(均值为 0,标准差为 1)
- 对异常值不敏感
- 适用于数据分布未知或有异常值的情况
更一般的特征缩放
机器学习习题中常用的方法:
其中
三种方法的对比
| 方法 | 公式 | 输出范围 | 适用场景 |
|---|---|---|---|
| Min-Max | [0, 1] | 数据边界明确 | |
| Z-score | 无界 | 有异常值时 | |
| 一般缩放 | 约 [-1, 1] | 通用场景 |
注意事项
- 训练集和测试集要使用相同的缩放参数(均值、标准差、最大最小值等)
- 不要在交叉验证前进行缩放,应在每个折叠内独立进行
- 某些算法不需要特征缩放:
- 树模型(决策树、随机森林、XGBoost)
- 基于规则的算法
参考资料
- Title: 机器学习:特征缩放
- Author: Gingko
- Created at : 2023-01-31 14:01:39
- Updated at : 2026-04-26 21:33:08
- Link: https://g1nkgo7.github.io/2023/01/31/机器学习-特征缩放/
- License: This work is licensed under CC BY-NC-SA 4.0.
Comments