一、决策树之分类树与回归树
决策树是一种决策分析方法，通过构成决策树来评估项目风险和判断可行性。决策树模型在机器学习中扮演预测模型角色，代表属性与对象值之间的映射关系。决策树基于信息学理论中的熵概念，通过算法 ID3、C4.5 和 C5.0 生成，用于决策分析。
决策树是一种树形结构，其内部节点表示属性测试，分支代表测试结果，叶节点代表类别。它分为分类决策树和回归决策树。分类决策树用于预测类别，回归决策树用于预测实数。
分模姿类决策树在分类问题中，基于特征对实例进行分类，可以视为 if-then 集合，或条件概率分布。决策树构建过程包括特征选择、生成决策树和修剪决策树。分类过程从根节点开始，实例依据特征测试结果分配至子节点，直至叶节点，最终分到对应类中。
决策树学习目标是构建模型对实例进行正确分类，本质是归纳出一组分类规则，通过训练数据集估计条件概率模型。决策树学习涉及损失函数、测试和选择最优决策树。决策树构造通过递归选择最优特征、数据集分割，直至所有数据正确分类。
决策树具有计算复杂度低、易于理解、不敏感于缺失值和处理不相关特征数据的优点，但可能遇到过拟合问题。决策树适用于数值型和标称型数据。构建过程从确定决定性特征开始，通过评估特征将数据集团码型分割为子集，直至数据正确分类或无合适特征。
决策树预测过程包括收集数据、整理数据、分析数据、训练算法和测试算法。数据收集可以使用多种方法，整理和分析数据后，构造决策树进行训练，测试其准确塌猜性。决策树在监督学习中不仅提供预测结果，也帮助理解数据内在含义。
回归决策树预测实数，每片叶输出训练集元素的平均预测值。CART 算法在分类和回归问题中使用相同结构，但预测目标不同。
二、决策树(Decision Tree)：通俗易懂之介绍
决策树是一种用于分类的机器学习方法，其生成算法包括ID3、C4.5和C5.0等。决策树以树形结构展现，每条内部节点代表一个属性上的判断，每条分支代表判断结果的输出，最终的叶节点代表分类结果。这类方法在监管学习中广泛应用，要求已有样本及其分类结果，用于训练决策树，使该树能对新数据进行正确分类。
以一组学生数据为例，包含分数、出勤率、回答问题次数和作业提交率等属性，用于判断学生是否为“好学生”。通过已有数据训练决策树，可生成多种树形结构，如二叉树或更为复杂的树。构建决策树涉及两步：节点分裂与阈值确定。节点分裂选择无法给出准确判断的节点，并将其分为多个子节点；阈值确定选择使分类错误率最小的值。
常用决策树有ID3、C4.5和CART。ID3基于熵原理选择父节点和分裂条件，熵度量分类的不确定性，熵最小表示分类效果最佳。C4.5改进了ID3，避免了过度分割，通过信息增益率平衡分类错误率与分割复杂度。CART是二叉树，用于分类和回归，使用GINI指数选择分裂条件，GINI指数度量类别的杂乱程度。CART通过分析叶节点的均值方差，以终止分裂并简化计算。
决策树训练通常采用交叉验证法，如10折交叉验证，将数据集分为多份，每次选取一部分作为测试集，其余部分作为训练集，计算平均错误率以评估模型性能。决策树的优缺点包括易于理解和解释，但可能过度拟合数据，可通过剪枝等技术进行优化。
三、鹅厂优文 | 决策树及ID3算法学习
决策树及ID3算法学习
决策树是一种在机器学习中用于分类的基本方法，它通过构建树形结构来辅助决策分析和行为研究。决策树以概率为基础，评估项目风险并判断可行性。其结构包含每个内部节点表示属性测试，每个分支表示测试结果，每个叶子节点表示类别。
决策树算法在监督学习中用于预测模型，构建时需要选择最优分支节点条件，以确保关键决策在树的高层。基尼不纯度和信息量是量化决策树纯度的两种方法。基尼不纯度是随机应用结果的预期误差率，信息量描述事件的难易程度。
过度拟合是决策树面临的主要问题，需要通过约束决策树和剪枝来解决。约束决策树包括设置最小样本数、最大深度、最大叶子数量和最大特征数量等。剪枝是在构造决策树后进行调整，通过评估模型预测能力的降低来决定是否剪枝。
决策树算法具有简单易懂、处理数值和类别数据的能力、需要少量训练集、使用白盒模型和处理大数据量的优势，但准确性较低，对连续性字段预测困难，容易过拟合，决策树稳定性不足，且倾向于选择取值多的特征作为分割节点。
ID3算法是构建决策树的一种基本方法，使用信息增益作为分裂标准。信息熵和信息增益用于量化不确定性和信息量。ID3算法对离散型数据有效，但无法处理连续性数据，且倾向于选择取值多的属性。
ID3算法的缺点包括无法处理连续数据、使用ID时可能失效、无法处理训练数据中未出现的情况。针对这些问题，后续出现了C4.5、CART和随机森林等算法。
