决策树如何发现特征组合?
从根节点到叶节点,沿途的判断条件构成一条组合规则。绿色路径表示“年龄 ≤ 35 且性别 = 女”。
φ₁:年龄 ≤ 35 且性别 = 女
φ₂:年龄 ≤ 35 且物品类型 = 护肤
φ₃:用户类型 = 付费 且物品类型 = 食品
φ₄:用户类型 = 付费 且年龄 ≤ 40
φ(x) =
φ₁0
φ₂0
φ₃0
φ₄0
这四条组合规则可以同时成立。一条样本在同一棵决策树中只会到达一个叶节点;不同决策树生成的叶节点特征可以连接起来,形成多个激活位置。
GBDT + LR 的特征生成过程
输入特征
→训练 GBDT
→命中叶节点
→独热编码
→逻辑回归
假设有 3 棵树,叶节点数量为 3、2、3。某个样本分别命中第 2、1、3 个叶节点,编码为 (0,1,0 | 1,0 | 0,0,1),共 8 维,其中 3 个位置取值为 1。