视觉Transformer BERT预训练新方式:中科大、MSRA等提出PeCo,优于MAE、BEiT
Python高校
共 3601字,需浏览 8分钟
· 2021-12-11
点击“凹凸域”,马上关注
来自中国科学技术大学、微软亚研等机构的研究者提出了 PeCo,用于视觉 transformer 的 BERT 预训练,在多项任务上实现最高性能。
。 掩码图像建模的目标是从掩码输入中恢复相应的视觉 token,其中一部分输入 token 已被掩码掉。准确地说,令 M 为掩码索引集合,掩码输入表示为:
点击“凹凸域”,马上关注
请点击上方卡片,专注计算机人工智能方向的研究
评论