预测2014年和2015年的财政收入

根据1994-2013年相关财政数据 ，梳理影响地方财政收入的关键特征，对未来几年的财政数据进行预测。

1.概括性分析描述性统计

import numpy as np
import pandas as pd
inputfile = '../data/data.csv' # 输入的数据文件
data = pd.read_csv(inputfile) # 读取数据
# 描述性统计分析
description = [data.min(), data.max(), data.mean(), data.std()]  # 依次计算最小值、最大值、均值、标准差
description = pd.DataFrame(description, index = ['Min', 'Max', 'Mean', 'STD']).T  # 将结果存入数据框
print('描述性统计结果：\n',np.round(description, 2))  # 保留两位小数

2.计算各个变量之间的Pearson相关系数

相关性分析是指对两个或多个具备相关性的特征元素进行分析,从而衡量两个特征因素的相关密切程度。在统计学中,常用Pearson相关系数来进行相关性分析。Pearson相关系数是用来度量两个特征X和Y之间的相互关系(线性相关的强弱) , 是最简单的一种相关系数,通常用r或p表示,取值范围在[-1,1]之间。Pearson相关系数的一个关键的特性就是它不会随着特征的位置或是大小的变化而变化。

# 相关性分析
corr = data.corr(method = 'pearson')  # 计算相关系数矩阵
print('相关系数矩阵为：\n',np.round(corr, 2))  # 保留两位小数

由结果可知，规模以上国有及国有控股工业企业亏损面(x6 )与企业所得税(y)的线性关系不显著，呈现负相关。其余特征均与财政收人呈现高度的正相关关系，但与此同时，各特征之间存在着严重的多重共线性。分析可知，选取的各特征除了x6 外，其他特征与y的相关性很强，可以用作企业所得税预测分析的关键特征，但这些特征之间存在着信息的重复，需要对特征进行进一步筛选。

3.绘制热力图

# 绘制热力图
import matplotlib.pyplot as plt
import seaborn as sns
plt.subplots(figsize=(10, 10)) # 设置画面大小 
sns.heatmap(corr, annot=True, vmax=1, square=True, cmap="Blues") 
plt.title('相关性热力图')
plt.show()
plt.close

4.建立Lasso回归模型

Lasso回归方法属于正则化方法的一种，是压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型，使得它压缩一些系数，同时设定一些系数为零，保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。

原理：Lasso以缩小特征集（降阶）为思想，是一种收缩估计方法。Lasso方法可以将特征的系数进行压缩并使某些回归系数变为0，进而达到特征选择的目的，可以广泛地应用于模型改进与选择。通过选择惩罚函数，借用Lasso思想和方法实现特征选择的目的。这种过程可以通过优化一个“损失”“惩罚”的函数问题来完成。

import numpy as np
import pandas as pd
from sklearn.linear_model import Lasso
inputfile = '../data/data.csv'  # 输入的数据文件
data = pd.read_csv(inputfile)  # 读取数据
lasso = Lasso(1000)  # 调用Lasso()函数，设置λ的值为1000
lasso.fit(data.iloc[:,0:13],data['y'])
print('相关系数为：',np.round(lasso.coef_,5))  # 输出结果，保留五位小数
print('相关系数非零个数为：',np.sum(lasso.coef_ != 0))  # 计算相关系数非零的个数
mask = lasso.coef_ != 0  # 返回一个相关系数是否为零的布尔数组
print('相关系数是否为零：',mask)
outputfile ='../tmp/new_reg_data.csv'  # 输出的数据文件
new_reg_data = data.iloc[:, mask-1]  # 返回相关系数非零的数据
new_reg_data.to_csv(outputfile)  # 存储数据
print('输出数据的维度为：',new_reg_data.shape)  # 查看输出数据的维度

利用Lasso回归方法识别影响财政收人的关键因素是社会从业人数(x1 )、 社会消费品零售总额(x3)、城镇居民人均可支配收人(x4)、 城镇居民人均消费性支出(x5)、年末总人口(x6)全社会固定资产投资额(x7)、地区生产总值(x8)和居民消费水平(x13)。

5.灰色预测法

灰色预测法是一种对含有不确定因素的系统进行预测的方法。在建立灰色预测模型之前，需先对原始时间序列进行数据处理，经过数据处理后的时间序列即称为生成列。灰色系统常用的数据处理方式有累加和累减两种。

思路及步骤：
(1)使用灰色预测模型对各特征在2014年及2015年的值进行预测。
(2)建立支持向量回归预测模型。
(3)对上述建立的企业所得税预测模型进行评价。

import sys
sys.path.append('../code')  # 设置路径
import numpy as np
import pandas as pd
from GM11 import GM11  # 引入自编的灰色预测函数

inputfile1 = '../tmp/new_reg_data.csv'  # 输入的数据文件
inputfile2 = '../data/data.csv'  # 输入的数据文件
new_reg_data = pd.read_csv(inputfile1,index_col=0)  # 读取经过特征选择后的数据
data = pd.read_csv(inputfile2)  # 读取总的数据
new_reg_data.index = range(1994, 2014)
new_reg_data.loc[2014] = None
new_reg_data.loc[2015] = None
l = ['x1', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x13']
for i in l:
  f = GM11(data[i][:20].values)[0] 
  new_reg_data.loc[2014,i] = f(len(new_reg_data)-1)  # 2014年预测结果
  new_reg_data.loc[2015,i] = f(len(new_reg_data))  # 2015年预测结果
  new_reg_data[i] = new_reg_data[i].round(2)  # 保留两位小数
outputfile = 'new_reg_data_GM11.xls'  # 灰色预测后保存的路径
y = list(data['y'].values)  # 提取财政收入列，合并至新数据框中
y.extend([np.nan,np.nan])
new_reg_data['y'] = y
new_reg_data.to_excel(outputfile)  # 结果输出
print('预测结果为：\n',new_reg_data.loc[2014:2015,:])  # 预测结果展示

预测结果为：

6.SVR算法

自定义灰色预测函数

def GM11(x0): #自定义灰色预测函数
  import numpy as np
  x1 = x0.cumsum() #1-AGO序列
  z1 = (x1[:len(x1)-1] + x1[1:])/2.0 #紧邻均值（MEAN）生成序列
  z1 = z1.reshape((len(z1),1))
  B = np.append(-z1, np.ones_like(z1), axis = 1)
  Yn = x0[1:].reshape((len(x0)-1, 1))
  [[a],[b]] = np.dot(np.dot(np.linalg.inv(np.dot(B.T, B)), B.T), Yn) #计算参数
  f = lambda k: (x0[0]-b/a)*np.exp(-a*(k-1))-(x0[0]-b/a)*np.exp(-a*(k-2)) #还原值
  delta = np.abs(x0 - np.array([f(i) for i in range(1,len(x0)+1)]))
  C = delta.std()/x0.std()
  P = 1.0*(np.abs(delta - delta.mean()) < 0.6745*x0.std()).sum()/len(x0)
  return f, a, b, x0[0], C, P #返回灰色预测函数、a、b、首项、方差比、小残差概率

import matplotlib.pyplot as plt
from sklearn.svm import LinearSVR

inputfile = '../tmp/new_reg_data_GM11.xls'  # 灰色预测后保存的路径
data = pd.read_excel(inputfile)  # 读取数据
feature = ['x1', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x13']  # 属性所在列
data_train = data.iloc[0:20].copy()  # 取2014年前的数据建模
data_mean = data_train.mean()
data_std = data_train.std()
data_train = (data_train - data_mean)/data_std  # 数据标准化
x_train = data_train[feature].values  # 属性数据
y_train = data_train['y'].values  # 标签数据

linearsvr = LinearSVR()  # 调用LinearSVR()函数
linearsvr.fit(x_train,y_train)
x = ((data[feature] - data_mean[feature])/data_std[feature]).as_matrix()  # 预测，并还原结果。
data['y_pred'] = linearsvr.predict(x) * data_std['y'] + data_mean['y']
outputfile = '../tmp/new_reg_data_GM11_revenue.xls'  # SVR预测后保存的结果
data.to_excel(outputfile)

print('真实值与预测值分别为：\n',data[['y','y_pred']])

fig = data[['y','y_pred']].plot(subplots = True, style=['b-o','r-*'])  # 画出预测结果图
plt.show()

1）地方财政收入影响因素灰色预测

通过灰色预测算法预测地方财政收入影响因素2014-2015年数据，结果如下：

   2）营业税影响因素灰色预测

通过灰色预测算法预测营业税收入影响因素2014-2015年数据，结果如下：

   3）增值税影响因素灰色预测

通过灰色预测算法预测增值税收入影响因素2014-2015年数据，结果如下：

  4）企业所得税影响因素灰色预测

通过灰色预测算法预测企业所得税收入影响因素2014-2015年数据，结果如下：

 5）个人所得税影响因素灰色预测

通过灰色预测算法预测个人所得税收入影响因素2014-2015年数据，结果如下：

from sklearn.metrics import mean_squared_error        # 均方根误差
from sklearn.metrics import mean_absolute_error       # 平均绝对误差
from sklearn.metrics import r2_score                  # 校正决定系数R方值
from sklearn.metrics import mean_squared_log_error    # 均方根对数误差
from sklearn.metrics import median_absolute_error     # 中位数绝对误差
from sklearn.metrics import explained_variance_score  # 解释回归模型的方差得分
import pandas as pd                                   # 导入pandas模块

data = pd.read_excel('new_reg_data_GM11_revenue.xls')  # 读取数据
y_test = data.loc[0:19, 'y']                          # 已有测试值
y_predict = data.loc[0:19, 'y_pred']                  # 预测值
print('平均绝对误差:', mean_absolute_error(y_test, y_predict))
print('均方根误差:', mean_squared_error(y_test, y_predict))
print('校正决定系数:', r2_score(y_test, y_predict))
print('均方根对数误差:', mean_squared_log_error(y_test, y_predict))
print('中位数绝对误差:', median_absolute_error(y_test, y_predict))
print('解释回归模型的方差得分:', explained_variance_score(y_test, y_predict))

平均绝对误差: 34.27441608673626
均方根误差: 3251.333034114142
校正决定系数: 0.990779799573139
均方根对数误差: 0.02880077518000288
中位数绝对误差: 18.784616662693224
解释回归模型的方差得分: 0.9907862002416017
可以看出平均绝对误差与中位数绝对误差较小，解释回归模型的方差得分与R方值接近于1，表明建立的支持向量回归模型拟合效果优良，模型可以用于预测。