全球最大规模Deepfake 检测挑战赛揭榜,中科大俞能海张卫明团队获...
新智元报道
编辑:白峰、舒婷
【新智元导读】去年9月,Facebook牵头,Microsoft、Amazon和MIT等知名企业与高校联合创建了「Deepfake检测挑战赛」 ,近日比赛结果正式公布。中科大俞能海教授-张卫明教授团队\WM/荣获第二名,原第一名疑违规成绩被取消,引发网友热议。
全球最大规模Deepfake检测挑战赛结果出炉,最高准确率达 82.56%

数据是深度学习的粮食,此次挑战赛Facebook不仅提供了业界领先的数据集,还提供了丰厚的现金奖励,第一名的奖金高达50万美元,这也是Kaggle平台上迄今为止奖金最高的赛事。
这项赛事去年十二月正式推出以来,共有2265个参赛队伍参加,参赛模型超过35000个,最终得出的最高准确率达 82.56%,整体平均精度为 65.18%。

现在比赛已经结束,官方分享了详细的结果排名,随后还将与获胜者合作,帮助他们发布高性能检测模型的源代码。

鏖战数月,中科大团队喜获第二名

验证和评定的数据集是分开的,其中public test(包含4千个视频)用于参赛模型的性能验证,而private test(包含1万个视频)用于最后的成绩评定,不同于一般的比赛,当参赛队伍提交自己的模型时并不能知道最终的结果如何。 本次比赛最大难点在于数据集不匹配。
由于private test数据集是不公开的,且与作为训练数据集的DFDC数据集可能存在较大的差异,因此参赛队伍只能根据public test推测自己的模型性能,训练的成绩很好,到private test上就不一定了,但这种机制能更好的评估模型的泛化能力。此次中科大荣获第二名,也是实力认证。 中科大俞能海教授张卫明教授科研团队长期从事多媒体安全与AI安全的相关研究,该团队隶属于中科大信息处理中心,在对抗样本、深度学习模型保护、深度伪造与检测等方向硕果累累,在相关领域顶会CVPR、ICCV、AAAI等发表多篇高水准论文,并取得2019年人工智能顶会IJCAI-Alibaba人工智能算法对抗赛防御赛冠军。
检测造假的比赛涉嫌违规?原第一名成绩被取消引热议
关于此次比赛的结果,还引发了一个不小的争议。原排名第一的队伍「All Faces Are Real 」成绩被取消,原因是他们其中几个模型使用了外部数据进行训练,而提交文档时缺乏相关的授权。
主办方认为该队伍违反了「获胜作品提交文档」的有关规定,如果提交文档的任何部分描述、标识或包括了非本次参与者的任何人,则必须提供所描述、标识或包括的个人许可和授权。 「All Faces Are Real 」使用了GitHub上开源的flickrface 数据集(部分),团队认为使用的图像是符合比赛规定的,其他参赛队伍也可以免费使用,并且训练过程符合规范。 还有一部分是自己创建的Youtube 人脸图像数据集,该部分也按照 CC-BY 许可该许可标明了允许用于商业用途。 按照该队伍的描述,他们使用的部分公开数据集,是无法挨个取得个人许可和授权的。官方这一要求太苛刻了。 
参考链接:
https://ai.facebook.com/blog/deepfake-detection-challenge-results-an-open-initiative-to-advance-ai/
https://deepfakedetectionchallenge.ai/
https://mp.weixin.qq.com/s/YlhqnTQxPAI-bWVijJmBeA
评论