此处我们列举kaggle过往几年中，在回归问题中经常出现的一些评估指标，因为在数据竞赛中我们更多的是考虑在特定评测指标下如何对我们的指标进行优化来提升线上的排名，所以此处我们不对这些指标的合理性进行探讨，有兴趣的可以去google上探讨相应指标在实践生产中的合理性。

在下面的篇章中，我们会给出回归问题类的竞赛中各类评估指标以及Top方案采用的优化方式，便于大家查询，此处仅列举常用的作为参考，很多获奖的选手都是各种Loss的组合并最后做模型stacking得到的，这些我们会在后面系列的文章中慢慢提到。

1. RMSE(Root Mean Square Error)

1.1 定义

其中为测试样本的个数，为第个样本的真实值， 为关于第个样本的预测结果；

1.2 案例

1. New York City Taxi Fare Prediction,2018
2. Predict Future Sales
3. House Prices - Advanced Regression Techniques
4. Restaurant Revenue Prediction
5. BigQuery-Geotab Intersection Congestion
6. Google Analytics Customer Revenue Prediction
7. Tabular Playground Series - Jan 2021
8. Elo Merchant Category Recommendation
9. Tabular Playground Series - Feb 2021

1.3 求解

RMSE可以直接优化的函数，一般默认选用平方损失函数进行优化即可，很多工具包里面也称之为L2损失。

2. MSE(Mean Square Error)

2.1 定义

其中为测试样本的个数，为第个样本的真实值， 为关于第个样本的预测结果；

2.2 案例

• 暂无

2.3 求解

MSE是可以直接优化的函数，所以直接默认选用平方损失函数进行优化即可，很多工具包里面也称之为L2损失。

3. MAE(Mean Absolute Error)

3.1 定义

其中为样本的个数，为第个样本的真实值， 为关于第个样本的预测结果；

3.2 案例

1. Allstate Claims Severity
2. Basic Regression Competition
3. How Much Did It Rain? II

3.3 求解

MAE在诸多工具包中也已经有对应的优化函数，直接使用即可，有些包中也会称之为L1损失函数。

4. RMSLE(Root Mean Squared Logarithmic Error)

4.1 定义

其中为测试样本的个数，为第个样本的预测结果，为第个样本的真实值。

4.2 案例

1. Walmart Recruiting II: Sales in Stormy Weather
2. Machinery Tube Pricing
3. Sberbank Russian Housing Market
4. New York City Taxi Trip Duration

4.3 求解

先对数据做log1p转化，然后使用L2损失函数直接求解即可。

5. MAPE(Mean Absolute Percentage Error)

5.1 定义

5.2 案例

1. Cart Time Series

5.3 求解

如果采用神经网络对此类问题进行优化，可以直接自己定义MAPE的Loss。

1. Choosing the correct error metric: MAPE vs. sMAPE：https://towardsdatascience.com/choosing-the-correct-error-metric-mape-vs-smape-5328dec53fac
2. What is the different MAE, MAPE, MSE, and RMSE:https://www.kaggle.com/learn-forum/52081
3. mape和smape，基于mae的回归评价指标:https://zhuanlan.zhihu.com/p/259662864
4. Model Fit Metrics:https://www.kaggle.com/residentmario/model-fit-metrics