中二青年付杰的逆袭故事:从二本生到AI顶会杰出论文奖,我用了20年
共 12725字,需浏览 26分钟
·
2022-06-30 01:08
编辑 | 陈彩娴
二本出身,读了两个硕士才在29岁开始读博,39岁才结束博士后研究的付杰形容,他的20年就像个体与系统的博弈:
在一些机器学习的文章中,研究者会根据训练初始阶段 Training Curve(训练曲线)的模式来判断一个模型是否值得继续投入资源训练。
通常来说,一个机器学习模型在开始阶段的损失下降明显、精度上升明显,最后的结果也往往是优异的;而如果初始阶段的训练损失下降地很缓慢,那么后期结果大概率也不会好转。
当然,也有极少数的例外:一个模型在初始阶段训练不好,但在后期损失会上升,模型的精度也会不断上升。但出于节约资源的考虑,研究者往往会选择在初始阶段就把表现不好的模型「杀死」,然后重新开始。
同样的「大局思维」迁移到社会整体,体现便是:如果存在「上帝之眼」,TA 俯瞰整个社会系统中有潜力推动人工智能发展的种子选手,在可分配资源有限的情况下,类似付杰这样的二本生,在高考结束的那一瞬间,就已经被系统提前淘汰了。
从大局出发,系统的确不应该给予付杰太多的资源去尝试、去试错,因为他在最后大概率也会失败。但是,正如付杰所说:「从个人的角度,我有必须不断尝试的动力:因为那是我的人生。」
虽有点动漫里中二角色台词的味道,倒也很符合他中二少年的气质。
所以,即使路遥多阻,他也要在每次受挫后不断地将自己「重新启动」,去考研,去读博,去争取每一个能让自己变强的机会。在社会的运转中,「系统」与个人无时无刻不在争夺有限的资源。
「很多时候我都是站在一个被淘汰者的角度看着台上的表演。因为我一直失败,也一直在台下,所以我很清醒。」付杰说道。作为被系统淘汰的人,他深知,要想继续向前,只能靠自己的努力,外加因人而异的“适量”运气成分,将模型启动:
「不一定会成功,但坚持是必要的。慢慢来,比较快。」
1
小朋友的科学家梦想
2
二本差生
3
「我好像不是个废物」
4
赶上深度学习的早班车
图注:Brendan McCane教授,付杰在奥塔哥大学的硕士导师
5
元学习:一直失败,从未放弃
图注:新加坡国立大学蔡达成教授
6
回到最初的梦想
图注:MILA实验室Christopher Pal教授
相关论文地址:
https://arxiv.org/pdf/1908.10449.pdf
https://arxiv.org/pdf/2004.14560.pdf
https://arxiv.org/pdf/2006.03535.pdf
图注:2018年图灵奖得主Yoshua Bengio教授
7
后记
END
爱奇艺往事:多少过错,多少错过
离开豆瓣的日子
RISC-V 中国创世记