决策树如何发现特征组合?

从根节点到叶节点,沿途的判断条件构成一条组合规则。绿色路径表示“年龄 ≤ 35 且性别 = 女”。

年龄 ≤ 35?性别 = 女?其他路径满足组合其他组合是否是否

交互演示:调整样本特征

φ₁:年龄 ≤ 35 且性别 = 女0
φ₂:年龄 ≤ 35 且物品类型 = 护肤0
φ₃:用户类型 = 付费 且物品类型 = 食品0
φ₄:用户类型 = 付费 且年龄 ≤ 400
φ(x) =
φ₁0
φ₂0
φ₃0
φ₄0

这四条组合规则可以同时成立。一条样本在同一棵决策树中只会到达一个叶节点;不同决策树生成的叶节点特征可以连接起来,形成多个激活位置。

GBDT + LR 的特征生成过程

输入特征
→
训练 GBDT
→
命中叶节点
→
独热编码
→
逻辑回归

假设有 3 棵树,叶节点数量为 3、2、3。某个样本分别命中第 2、1、3 个叶节点,编码为 (0,1,0 | 1,0 | 0,0,1),共 8 维,其中 3 个位置取值为 1。