回归是通过具有己知值的变量来预测其他变量的值。在最简单的情况下，回归采用的是象线性回归这样的标准统计技术。但在大多数现实世界中的问题是不能用简单的线性回归所能预测的。如商品的销售量、股票价格、产品合格率等，很难找到简单有效的方法来预测，因为要描述这些事件的变化所需的变量以上百计，目这些变量本身往往都是非线性的。为此,人们又发明了许多新的乎段来试图解决这个问题，如逻辑回归、决策树、神经网络等。
一般同一个模型既可用于回归也可用于分类。如CART决策树算法既可以用于建立分类树，也可建立回归树。神经网络也一样。
