系列文章目录：

• 感知机
• 线性回归
• 非线性问题
• 多项式回归
• 岭回归

算法介绍

今天我们来一起学习一个除了线性回归外最最最简单的回归算法：多项式回归；

从线性回归到多项式回归

首先我们一起来学习下多项式回归，事实上与线性回归相比，没有增加任何需要推导的东西，唯一增加的就是对原始数据进行多项式特征转换，这有点类似我们在非线性问题中对特征的处理：将\(x_1\)转换为\(x_1^2\)，之前我们是通过对数据的探索来决定如何进行转换，在多项式回归中，则是简单的指定一个阶，然后对所有列构建N元N次的方程中的所有项即可，这么说有点抽象，下面举个简单的例子：
对有两个特征的数据做三阶的多项式特征转换：\(x_1 + x_2\) 转换为 \(x_1^3 + x_2^3 + x_1^2*x_2 + x_2^2*x_1 + x_1^2 + x_2^2 + x_1*x_2 + x_1 + x_2\)，可以看到，通过做三阶变换，特征数从两个增长到了九个，多项式特征转换是非常简单且实用的构建特征手段之一，它不仅能构建特征自身的高阶版，同时还能构建特征与特征之间的组合特征，通常效果都不错哦；

代码实现

上面说了，多项式回归与线性回归唯一区别就在多项式特征构建上，因此代码部分也主要关注这一点，关于多项式特征构建，大家既可以基于sklearn库中的方法实现，也可以自己实现，都很简单哈；

sklearn实现多项式特征构建

from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degrees)
X = poly.fit_transform(X)

自己实现多项式特征构建

def build_combs(self,elements,times):
    '''
    构建多项式的元组合
    elements 元数
    times 次数
    '''
    x_list = sum([[i]*times for i in range(elements)],[])
    combs = sum([list(set(combinations(x_list,i))) for i in range(1,times+1)],[])
    return [list(comb) for comb in combs]

def polynomial(self,x):
    '''
    x shape = [1 N]
    '''
    fun = lambda x,y:x*y
    return [reduce(fun,x[comb]) for comb in self.combs]

运行结果

全部代码

import numpy as np
from itertools import combinations
from functools import reduce
from 线性回归最小二乘法矩阵实现 import LinearRegression as LR

class PolynomialRegression(LR):
    def __init__(self,X,y,degrees=1):
        self.combs = self.build_combs(X.shape[1],degrees)
        X = np.array([self.polynomial(x) for x in X])
        super(PolynomialRegression,self).__init__(X,y)

    def predict(self,x):
        x = self.polynomial(x)
        return super(PolynomialRegression,self).predict(x)

    def build_combs(self,elements,times):
        '''
        构建多项式的元组合
        elements 元数
        times 次数
        '''
        x_list = sum([[i]*times for i in range(elements)],[]) # 二元二次 [1 1 2 2]
        combs = sum([list(set(combinations(x_list,i))) for i in range(1,times+1)],[]) # 二元二次 [[1 1] [2 2] [1 2] [1] [2]]
        return [list(comb) for comb in combs]

    def polynomial(self,x):
        '''
        x shape = [1 N]
        '''
        fun = lambda x,y:x*y
        return [reduce(fun,x[comb]) for comb in self.combs]

最后

可以看到，实际上多项式回归是非常简单的，实际应用上对于很多简单任务的拟合效果也非常好，解释性也不错；