假设您现在已经熟悉了随机森林的工作原理和OOP，现在让我们开始用Python实现我们自己版本的随机森林。然后，我们将把结果与Sci-kit learn的RandomForestRegressor实现进行比较。 　　

　　

　　

步骤1：定义RF类

　　

　　

　　 　　

　　

　　在这里，我们定义了一个名为TreeEnsemble的类。 　　

　　

　　构造函数__init__在每次启动时都会创建一个TreeEnsemble对象。参数描述如下： 　　

　　

　　X:输入X矩阵y:因变量n_trees:n _ trees的个数：Ensemble sample_sz:传递给每棵树的X矩阵的样本大小(减少过拟合，因为每棵树不能访问完整的输入X)min_leaf:停止进一步分裂self的元素个数trees=是Python中的一个列表合成，它创建n _ trees的个数，这是create_tree()方法首先从X矩阵中选择一个等于样本大小的随机索引。然后将这些随机索引传递给决策树。每个决策树接收相同样本大小的不同索引排列。(如果你对我们为什么要把随机索引传递给决策树感到困惑，那么这是为了最小化每个估计量之间的相关性，创建弱分类器，它们共同构成强分类器。)predict()方法返回每行每棵树的预测均值，最终得到随机森林的预测结果。所以调用np.mean(，axis=0)会从len(self.trees)中的每棵树得到预测数，并得到它们的mean()，从而得到树整合的最终预测，也就是随机森林。

第2步：定义决策树

　　

　　

　　你可能已经注意到，在我们自顶向下的方法中，我们假设决策树已经存在。现在，我们将实现一个决策树对象，并一起创建我们的随机森林集。 　　

　　

　　 　　

　　

　　这里，我们定义了类DecisionTree()并将所有参数传递给TreeEnsemble()，只有n_trees是不相关的。 　　

　　

　　决策树构造函数__init__创建了一个决策树实例，它具有与我们的随机森林相同的变量和含义。我们只关心创建分裂和返回每棵树的预测。 　　

　　

　　Self.n，self.c=len(idxs)，shape1，只需在self.n中存储行数，在self.c中存储列数。Self.val是给定节点的预测值，即给定节点所有样本的因变量值的均值()。 　　

　　

　　看看使用Ames Housing机器学习数据集创建的决策树 　　

　　

　　住宅数据 　　

　　

　　在每个节点，从顶部开始，我们有123，250，90，133.样本数，最低节点有67个样本。对于每个节点，决策树的预测值只是节点中每个样本的因变量的平均值。 　　

　　

　　因此，顶部节点的预测值为11.807，底部节点的预测值为12.775。 　　

　　

　　接下来，我们需要一种在决策树中跟踪信息增益的方法，以获得最佳分割。这是使用一个分数变量来完成的，该变量指示分割的好坏。由于所有其他节点leaf_nodes都有分数，而此时我们还没有做任何分割，最初分数是无穷大。 　　

　　

　　接下来，我们继续介绍find_varsplit()方法，该方法为提供最大信息增益或最大错误损失的变量值对找到最佳输出。为此，我们调用find_bettersplit()方法，我们将在本文稍后定义该方法，并首先准备所有其他部分。 　　

　　

　　我们还定义了某些属性，例如： 　　

　　

　　Split_name它返回要拆分的列/变量split_col:这个特定列的值是_leaf返回给定节点是否为叶子的值。

第3步：找到拆分

　　

　　

　　在这个阶段，我们初始化了随机森林类和决策树类。难题的下一部分是定义一个在每个节点上分裂的方法。这是使用find_better_split()方法实现的，如下所述。 　　

　　

　　 　　

　　

　　如果您还记得的话，决策树通过循环遍历每个变量来查找拆分，这是可能的值，并返回变量值具有最高信息增益的对。 　　

　　

　　基于分割条件，分割将样本分割为左和右。Self.n表示观察的行数。因此，对于每个索引，我们遍历每一行，为该行的每个值拆分样本，并基于拆分定义lhs和rhs。 　　

。

　　

如果lhs或rhs中的样本数量大于min_samples_leaf，则继续并存储standard_deviation左侧和右侧各自的值。最小化std偏差与最小化RMSE相同。（为什么？将每个分裂想象成猫和狗之间的二元分裂。我们希望每个分裂在每一侧都有同质的分类，即一侧是猫，另一侧是狗。因此，最小化std_error）

　　

每个值/观察值处的split的curr_score定义为lhs和rhs的平均得分。如果找到一个分数较低的更好的variable-value对，则将该变量传递给var_idx，并将行传递给self.split。我们继续这个过程，直到找到最好的拆分。

　　

步骤4：组合决策树

在这个阶段，我们有一个在每个节点上找到最佳拆分的方法。然而，决策树可能会进一步将该节点分割为更多节点，直到得到最小的std_error。我们还没有在决策树类中定义这个方法。它是通过修改find_varsplit()方法实现的，如下所示。

　　

　　

对于每个观察，树循环遍历每个列self.c到find_better_split。如果节点是is_leaf，我们可以停止该进程，因为不能进一步拆分叶节点。如果它不是叶节点，则将x定义为进行拆分的列，根据拆分值创建lhs和rhs，并在左侧和右侧递归创建决策树，该决策树将被进一步拆分，直到到达叶节点。

　　

第五步：完整Python代码

现在我们拥有构建随机森林集合所需的所有部分。在这一步中，我只是简单地复制了代码，将它们整合在一起。

　　

lass TreeEnsemble(): def __init__(self, x, y, n_trees, sample_sz, min_leaf=5): np.random.seed(42) self.x,self.y,self.sample_sz,self.min_leaf = x,y,sample_sz,min_leaf self.trees = def create_tree(self): idxs = np.random.permutation(len(self.y))<:self.sample_sz> return DecisionTree(self.x.iloc, self.y, idxs=np.array(range(self.sample_sz)), min_leaf=self.min_leaf) def predict(self, x): return np.mean(, axis=0)def std_agg(cnt, s1, s2): return math.sqrt((s2/cnt) - (s1/cnt)**2)class DecisionTree(): def __init__(self, x, y, idxs, min_leaf=5): self.x,self.y,self.idxs,self.min_leaf = x,y,idxs,min_leaf self.n,self.c = len(idxs), x.shape<1> self.val = np.mean(y) self.score = float('inf') self.find_varsplit() def find_varsplit(self): for i in range(self.c): self.find_better_split(i) if self.score == float('inf'): return x = self.split_col lhs = np.nonzero(x<=self.split)<0> rhs = np.nonzero(x>self.split)<0> self.lhs = DecisionTree(self.x, self.y, self.idxs) self.rhs = DecisionTree(self.x, self.y, self.idxs) def find_better_split(self, var_idx): x,y = self.x.values, self.y sort_idx = np.argsort(x) sort_y,sort_x = y, x rhs_cnt,rhs_sum,rhs_sum2 = self.n, sort_y.sum(), (sort_y**2).sum() lhs_cnt,lhs_sum,lhs_sum2 = 0,0.,0. for i in range(0,self.n-self.min_leaf): xi,yi = sort_x,sort_y lhs_cnt += 1; rhs_cnt -= 1 lhs_sum += yi; rhs_sum -= yi lhs_sum2 += yi**2; rhs_sum2 -= yi**2 if i<self.min_leaf-1 or xi==sort_x: continue lhs_std = std_agg(lhs_cnt, lhs_sum, lhs_sum2) rhs_std = std_agg(rhs_cnt, rhs_sum, rhs_sum2) curr_score = lhs_std*lhs_cnt + rhs_std*rhs_cnt if curr_score<self.score: self.var_idx,self.score,self.split = var_idx,curr_score,xi @property def split_name(self): return self.x.columns @property def split_col(self): return self.x.values @property def is_leaf(self): return self.score == float('inf') def __repr__(self): s = f'n: {self.n}; val:{self.val}' if not self.is_leaf: s += f'; score:{self.score}; split:{self.split}; var:{self.split_name}' return s def predict(self, x): return np.array() def predict_row(self, xi): if self.is_leaf: return self.val t = self.lhs if xi<=self.split else self.rhs return t.predict_row(xi)