快讯｜大数据挑战赛周周星评选获奖队伍公布，附赛事经验分享！

2024中国高校计算机大赛-大数据挑战赛初赛阶段周周星奖项评选环节开始啦，通过对参赛选手在线提交相关模型文件的系统自动评测得分（以7月3日18:00榜单排名为准），第一周周周星在校生队伍和在职队伍排名榜单已出炉，恭喜获奖的学生队伍！

目前榜单前三名的队伍在参赛中有哪些实战的经验呢，让我们一起听听他们的分享吧！

首先，很荣幸能获得这周的周周星来进行分享，当然首先要声明我目前分数是两个sota模型融合的结果，单模大概是1.0，所以在此抛砖引玉吧，我们主要是将此次比赛分成了四个部分，我们是尝试在以下四个部分去思考，来寻找上分的方法，以下是我们在各个部分的一些思路和做法。

1.数据：

①数据可以操作的空间不多，但是看讨论区聊过的后期可以尝试根据温度等气候筛选中国或者与中国类似的站点，在训练好的模型后进行增量训练

2.模型：

①尝试不同的sota模型，当然这边差距不大，因为很多模型都只是attention机制不同，可以试试叠加attention
②尝试修改模型的decoder，比如加入cnn或者lstm、mlp，我们实测有上分，就是层数要把握好一点，层数太深可能会过拟合。
③增加encoder层数，用不同的encoder叠加
④后期模型融合
⑤刚刚从群里看到的，可以使用多任务训练，也就是同时预测两个变量，这可能是因为两个变量也存在互相影响的关系。
⑥使用两个模型时，两个变量不一定要使用一样的模型，可以根据实际表现对两个模型进行调整。

3.训练

①线下划分验证集进行观察，目前我们也是划分最后的0.1，但是效果不好，可以试试随机站点+随机时间窗。
②bs内存充足可以尝试使用稍大的bs，这样一定程度上应该能够防止模型的过拟合。
③调整超参数（lr,使用学习率调度器）
④模型防过拟合（EMA之类的)
⑤通过对抗训练在训练时添加噪声，一定程度也可以避免过拟合，起到数据增强的效果。

4.后处理

①预测平滑处理，用之前的一些数据进行移动平均防止后面的预测过于激进
②可以试试专门训练一个后处理模型

在具体的一些参数设置上，我们的学习率是0.1，epochs是3

大家好，我是扫地僧团队的队长，以前参加这样打榜的比赛比较少，了解的打榜技巧不是太多，所以想从科研的角度给大家一点分享。

这次比赛主要从以下五个步骤进行：1.数据集构造 2.Baseline选择 3.模型优化 4.模型调参 5.模型集成

1. 数据集构造

官方已经给了数据集，可以尝试根据温度筛选出与中国温度类似的场站，但是不确定是否会有效果：

筛选后温度和风速形状如图所示：

2. Baseline选择

官方Baseline给的是iTransformer，关于iTransformer模型的解读请参考：【PaperInFive-时间序列预测】iTransformer:转置Transformer刷新时间序列预测SOTA(清华)

可以关注近近两年开源的SOTA模型，这里分享一个Github，可以去上面找近年的SOTA模型：https://github.com/ddz16/TSFpaper

3. 模型优化

选好效果好的Baseline后就可以进行模型优化，比如iTransformer只建模了特征信息，那么可以在模型中补充对时序特征的建模，比如进行一些卷积操作，或者在时间维度上进行self-Attention，关于时间维度上的建模大家也可以参考SOTA论文，可以把不同论文里的模块进行一个融合，说不定会有好效果。

4. 模型调参

确定了模型结构后就可以进行模型超参数的调整，比如模型的维度和层数，学习率和batch size等，经过测试增加模型的dimention在一定程度上可以提高模型表现，但是增加层数好像效果不太明显。

学习率方面我初始值为0.01或0.005，每一轮除以2进行衰减。batch size我设为40960。

5. 模型集成

最后可以把不同特征的模型进行集成，比如可以把多个模型的结果取平均，或者可以在训练时采用Mixture of Expert的方式加权求和。

帮助代码

1. 模型测试

加在exp_long_term_forecasting.py里面：

2. 验证集Dataloader

加在data_factory.py里面：

最后

希望大家以赛为友，共同进步，一起分享一些有用的小技巧。

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议。

原文链接：https://blog.csdn.net/cyj972628089/article/details/140163246