LeCun点赞华人女科学家——使用能量模型替代Softmax函数!
极市平台
共 3464字,需浏览 7分钟
·
2020-12-17 18:11
极市导读
本文证明了可以将任何预训练神经网络的softmax置信度替换为能量函数! >>明日直播!田值:实例分割创新式突破BoxInst,仅用Box标注,实现COCO 33.2AP!
Softmax置信度得分应该是大家再熟悉不过的加在神经网络最后面的一个操作。
1 论文一作
Sharon Yixuan Li,威斯康星大学麦迪逊分校计算机科学系助理教授,本科就读于上海交通大学,博士毕业于康奈尔大学,博士后一年在斯坦福大学计算机系度过,曾两次在Google AI实习,并在Facebook AI担任过研究科学家。
深度学习中的不确定性估计和分布外检测;
鲁棒数据不规则性和分布外泛化;
在医疗和计算机视觉中具有不确定性的深度学习。
2 什么是能量模型(EBM)
3 能量模型指导下的OOD
能量异常分数
能量分数 VS Softmax分数
能量边界学习
4 实验结果
Softmax对比实验
模型微调实验
5 总结
参考
推荐阅读
评论