机器学习:特征缩放

Gingko True love prevails.

特征缩放(Feature Scaling)

在梯度下降算法中,当有多个特征的情况下,如果我们能将这些不同的特征都限制在一个相近的范围内,那么梯度下降的等高线分布会更均匀,即可以更快地收敛。

一般地,我们执行特征缩放时的目的是为了将各个特征的取值都约束在 [-1, 1] 内(这要根据实际情况来确定,更普遍的范围是 [-3, 3])。

我们一般规定 的值总是 1,已经落在我们想要进行特征缩放后的范围内了,不需要进行处理。对于其他特征,我们可以通过减去某一个数(均值归一化)后再除以某一个数的方式来实现特征缩放,使它们处于同一范围内。

要强调的是,[-1, 1] 只是一个比较理想的范围,你所选取的范围可以略大或者略小,但一定不能过大(如 [-100, 100])或过小(如 [-0.0001, 0.0001])。

总的来说,不需要严格地要求我们所有的特征都在完全相同的区间内,只要它们的范围类似接近,我们的梯度下降法就会更好地进行工作。


均值归一化(Mean Normalization)

将特征 用 来替代( 为特征 所取的范围大小的平均值),这样我们新的特征值将存在为 0 的平均值,便于我们更好地处理数据。

对于 ,它的值总是等于 1 的,所以它的平均值永远不可能为 0,不需要对它进行处理。


总结

一般来说,特征缩放和均值归一化是同时进行的。对于一般的特征值,我们可以直接套用下述公式。

最大最小值归一化(Min-Max Scaling)

特点:

  • 将数据缩放到 [0, 1] 区间
  • 对异常值敏感
  • 适用于数据边界明确的情况

均值标准差归一化(Z-score Standardization)

其中:

  • :特征的均值
  • :特征的标准差

特点:

  • 数据服从标准正态分布(均值为 0,标准差为 1)
  • 对异常值不敏感
  • 适用于数据分布未知或有异常值的情况

更一般的特征缩放

机器学习习题中常用的方法:

其中 为特征的均值。


三种方法的对比

方法 公式 输出范围 适用场景
Min-Max [0, 1] 数据边界明确
Z-score 无界 有异常值时
一般缩放 约 [-1, 1] 通用场景

注意事项

  1. 训练集和测试集要使用相同的缩放参数(均值、标准差、最大最小值等)
  2. 不要在交叉验证前进行缩放,应在每个折叠内独立进行
  3. 某些算法不需要特征缩放:
    • 树模型(决策树、随机森林、XGBoost)
    • 基于规则的算法

参考资料

  • Title: 机器学习:特征缩放
  • Author: Gingko
  • Created at : 2023-01-31 14:01:39
  • Updated at : 2026-04-26 21:33:08
  • Link: https://g1nkgo7.github.io/2023/01/31/机器学习-特征缩放/
  • License: This work is licensed under CC BY-NC-SA 4.0.
Comments