7.2 KiB
| title | localeTitle |
|---|---|
| Feature Engineering | 特色工程 |
特色工程
机器学习最适合格式良好的数据。特征工程描述了某些技术，以确保我们正在使用我们收集的数据的最佳表示。
为什么特征工程有用？
- 特征的数量和质量会影响模型的预测能力。更高质量的功能可以产生更好的模型。
- 通过获取您拥有的数据来构建更好的模型，并使用其他地方获得的其他主题相关信息对其进行扩充。
- 新功能可以导致模型预测稳健结果的“突破”。
注意事项以工程为特色
- 基于已知特征的新特征创建可以导致多重共线性，即两个特征线性相关的情况。这相当于模型中的“双重浸渍”并且可能导致过度拟合。
- 更多并不总是更好。添加预测能力较差的功能可以增加计算时间，而不会给模型带来好处。
特征工程的示例：
- 如果您有“日期”功能，请尝试将其子集化为“星期几”，“一年中的某一周”或“一年中的某个月”。同样，从“一天中的时间”创建AM / PM功能。
- 像PCA一样执行数据缩减，然后将PCA中的矢量作为新功能添加到数据中。
- 通过数字转换当前功能来生成新功能。示例是对数转换数据或将分类特征编码为数字（将低/中/高转换为1/2/3）。
- 假设您的数据集包含位置信息（城市，州，县等），请使用人口普查数据创建新功能（例如平均收入）。
以下是两种特征工程技术：缩放和选择。
特征缩放
我们假设您的数据包含人的体重和身高。这两个特征的原始数量差异很大（例如80千克和180厘米，或175磅对5.9英尺），这可能会影响某些机器学习算法的结果。对于使用距离函数的算法尤其如此。
为了解决这个问题，我们将原始数字表示为0到1范围。我们可以使用以下公式实现： (x - xMin) / (xMax - xMin) 。
使用这个公式，我们需要特别注意异常值，因为这些可以通过推高xMax并下推xMin来大大影响结果。这就是为什么在缩放之前经常消除异常值的原因。
特征选择
这一切都是为了确定负责我们在数据中观察到的趋势的特征子集。
我们为什么要关心？ 维度的诅咒是大数据时代的一大敌人。我们不能使用我们所有的数十到数百个功能。这不仅会提高我们数据的维度（2 ^ n，其中n是特征的数量），而且在特定用例中通常也没有任何意义。想象一下，想要预测明天的天气：在这种情况下，最后几天的天气趋势更可能比在最后几天出生的婴儿更重要。所以你可以很容易地消除婴儿特征。
但是现在忘了宝宝，让我们深入了解更多细节。
过滤和包装
这里我们描述两种一般方法。过滤方法独立于您选择的学习算法，包装方法包含您的学习者。
过滤方法在将数据注入ML算法之前选择要素子集。他们使用例如与待预测变量的相关性来识别要选择的特征子集。这些方法的计算速度相对较快，但没有利用学习者的偏见，因为过滤的发生与您选择的ML模型无关。
包装搜索算法确实利用了学习偏差，因为它们包含了您选择的ML模型。这些方法的功能是删除删除时分数变化最小的功能，并重复此过程，直到分数发生显着变化。这意味着一遍又一遍地运行学习算法，这会导致大量的计算时间。这些方法也存在过度拟合的危险，因为您基本上是根据您选择的ML模型优化功能集。
关联
选择特征的另一种方法是使用BOC（贝叶斯最优分类器） 。这里的规则是：
- 如果删除它会降低BOC，则该功能具有很强的相关性
- 如果某项功能不具有很强的相关性，并且与其他功能相结合，则该功能可以提高BOC
- 否则一个功能是无关紧要的
好吧，并非总是如此。这取决于您拥有的数据量和竞争信号的强度。您可以通过事先突出显示它来帮助您的算法“专注”重要事项。
- 来自阈值的指标变量：假设您正在研究美国消费者的酒精偏好，并且您的数据集具有年龄特征。您可以为年龄> = 21创建指标变量，以区分超过法定饮酒年龄的受试者。
- 来自多个功能的指标变量：您正在预测房地产价格，并且您具有n _间卧室和n_间浴室的功能。如果拥有2张床和2个浴室的房屋作为出租房产获得溢价，您可以创建一个指示变量来标记它们。
- 特殊事件的指标变量：您正在为电子商务网站的每周销售建模。您可以为黑色星期五和圣诞节创建两个指标变量。
- 类别组的指标变量：您正在分析网站转换，而您的数据集具有分类功能流量_来源。您可以_通过使用“Facebook广告”或“Google Adwords”的流量来源值标记观察结果_来为付费_流量_创建指标变量_ 。
互动功能
下一类特征工程涉及突出显示两个或多个特征之间的交互。
你有没有听过这句话，“总和大于部分？”嗯，某些功能可以结合起来提供比个人更多的信息。
具体而言，寻找机会获取多个特征的总和，差异，产品或商。
*注意：我们不建议使用自动循环来为您的所有功能创建交互。这导致“特征爆炸”。
- 两个特征的总和：假设您希望根据初步销售数据预测收入。您有销售_蓝色_笔和销售_黑色_笔的功能。如果您只关心整体sales_pens，可以对这些功能进行总结。
- 两个功能之间的区别：您具有房屋_建造_日期和房屋_购买_日期的功能。您可以利用他们的不同来创建特征房屋_年龄_ at_purchase。
- 两个功能的产品：您正在运行定价测试，并且您具有功能价格和指标变量转换。您可以使用他们的产品来创建功能收入。
- 两个功能的商数：您拥有营销广告系列的数据集，其中包含n 次点击和n次_展示。您可以按展示次数除以点击创造点击_率 ，让您在不同体积的运动进行比较。