均方误差返回不合理的高数字

安东

我正在尝试预测在IMDb上制作的每部电影的利润。

我的数据框和功能如下:

   Actor1  Actor2  Actor3  Actor4   Day  Director  Genre1  Genre2  Genre3  \
0       0       0       0       0  19.0         0       0       0       0   
1       1       1       1       1   6.0         1       1       1       1   
2       2       2       2       2  20.0         2       0       2       2   
3       3       3       3       3   9.0         3       2       0      -1   
4       4       4       4       4   9.0         4       3       3       3   

   Language  Month  Production  Rated  Runtime  Writer    Year    BoxOffice  

0         1      0           0      0    118.0       0  2007.0   37500000.0  

1         2      1           1      0    151.0       1  2006.0  132300000.0  

2         1      1           2      1    130.0       2  2006.0   53100000.0  

3         1      2           1      0    117.0       3  2007.0  210500000.0  

4         4      3           3      2    117.0       4  2006.0  244052771.0 

而我要预测的值(目标)是BoxOffice。

我正在严格按照sklearn的说明进行操作(http://scikit-learn.org/stable/modules/generation/sklearn.metrics.mean_squared_error.html#sklearn.metrics.mean_squared_error

from sklearn import preprocessing, linear_model
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.model_selection import train_test_split, cross_val_score

X = dataset[:,0:16] # Features
Y = dataset[:,16] #Target

X_train, X_test, Y_train, Y_test = train_test_split(X,Y, test_size=0.33)

regr = linear_model.LinearRegression()
regr.fit(X_train,Y_train)
mean_squared_error(Y_test, regr.predict(X_test))

输出总是类似以下内容:11385650623660550($ 11,385,650,623,660,500.00)

而票房的平均值是:107989121

等等

我尝试了多种不同的方法,交叉验证以及其他模型(keras),感觉就像我已经尝试了一切。

返回的总和非常高,这使我感到疑问,问题不在模型或数据中,而是我所缺少的其他东西。

铁腕

我认为,您的问题与均方误差无关,而是模型本身。

对于您的分类功能,我建议您尝试其他编码方法,例如OneHotEncoder。LabelEncoder不是进行线性回归的好选择。

(有关详细信息,请访问:http : //scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html

https://hackernoon.com/what-is-one-hot-encoding-why-and-when-do-you-have-to-use-it-e3c6186d008f

在训练模型之前,请先看一下数字特征与目标变量之间的相关性,也许其中一些是不相关的,对于分类特征,您可以尝试不同的方法来分析其与目标变量的关系(例如箱线图)

线性回归需要连续的变量,因此您可能还需要尝试其他算法。只需确保您具有足够的背景,然后再应用它们即可。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章