01

基于再查询机制的一体化多目标跟踪算法

One More Check: Making “Fake Background” Be Tracked Again

02

从目标中学习: 用于小样本语义分割的双原型网络

作者：Binjie Mao，Xinbang Zhang，Lingfeng Wang，Qian Zhang, Shiming Xiang, Chunhong Pan

DPNet的网络框架图

03

基于模态特定信息增强的多模态行人重识别

作者：Zi Wang, Chenglong Li, Aihua Zheng, Ran He, Jin Tang

04

面向人体活动识别的跨模态联邦学习

作者：Xiaoshan Yang, Baochen Xiong, Yi Huang, Changsheng Xu

05

Evo-ViT：基于快速-慢速双流更新的视觉Transformer动态加速策略

作者：Yifan Xu, Zhijie Zhang, Mengdan Zhang, Kekai Sheng, Ke Li, Weiming Dong, Liqing Zhang, Changsheng Xu, Xing Sun

06

基于图卷积网络及热力图回归的3D人脸关键点检测

07

基于因果关联及混杂因子传递解耦物理动力学的反事实预测

作者：Zongzhao Li, Xiangyu Zhu, Zhen Lei(Corresponding author), Zhaoxiang Zhang

08

基于多相机系统的全局运动平均算法

作者：Hainan Cui, Shuhan Shen

Learning Disentangled Attribute Representations for Robust Pedestrian Attribute Recognition

尽管学界已经提出了各种行人属性识别的方法，但大多数研究都遵循相同的特征学习机制，即学习一个共享的行人图像特征来对多个属性进行分类。然而，这种机制导致了推理阶段的低可信度预测和模型的非稳健性。

在本文中，我们研究了为什么会出现这种情况。我们从数学上发现，核心原因是在最小化分类损失的情况下，最佳共享特征不能同时与多个分类器保持高相似度。此外，这种特征学习机制忽略了不同属性之间的空间和语义区别。

为了解决这些局限性，我们提出了一个新颖的分离属性特征学习（DAFL）框架，为每个属性学习一个分离的特征，该框架利用了属性的语义和空间特征。该框架主要由可学习的语义查询、级联式语义空间交叉注意（SSCA）模块和群体注意合并（GAM）模块组成。具体来说，基于可学习语义查询，级联式SSCA模块迭代地增强了属性相关区域的空间定位，并将区域特征聚合为多个分解的属性特征，用于分类和更新可学习语义查询。GAM模块根据空间分布将属性分成小组，并利用可靠的小组注意力来监督查询注意力图。在PETA、RAPv1、PA100k和RAPv2上的实验表明，所提出的方法与最先进的方法相比表现良好。

QueryProp: Object Query Propagation for High-Performance Video Object Detection

视频物体检测旨找出视频每一帧中包含物体的位置和类别，是一个重要且具有挑战性的任务。传统方法主要聚焦于设计图像级别或者物体框级别的相邻帧信息传播方法，以利用视频时序信息来提升检测器。本文认为，通过更有效和高效的特征传播框架，视频物体检测器可以在准确性和速度方面获得提升。

为此，本文研究了对象级特征传播，并提出了一种用于高性能视频物体检测的对象查询传播（QueryProp）框架。提出的QueryProp包含两种传播策略：1）对象查询从稀疏关键帧传播至密集非关键帧，以减少对非关键帧的冗余计算；2）对象查询从之前的关键帧传播至当前关键帧，以建模时间上下文来提升特征表示。

为了进一步提升查询传播的质量，我们设计了自适应传播门以实现灵活的关键帧选择。我们在视频物体检测的大规模数据集 ImageNet VID 上进行了大量实验。QueryProp 与当前最先进的方法实现了可比的准确性，并在准确性/速度之间取得了不错的平衡。

Towards Fully Sparse Training: Information Restoration with Spatial Similarity

英伟达安培架构发布的2:4结构化稀疏模式，要求连续的四个值至少包含两个零元素，可以使得矩阵乘法的计算吞吐量翻倍。最近的工作主要集中在通过2:4稀疏性来提高推理速度，而忽视了其在训练加速方面的潜力，因为反向传播占据了大约70%的训练时间。然而，与推理阶段不同，由于需要保持梯度的保真度并减少在线执行2:4稀疏的额外开销，用结构化剪枝来提高训练速度是不容易的。

本文首次提出了完全稀疏训练，其中"完全"是指在保持精度的同时，对前向和后向传播的所有矩阵乘法进行结构化修剪。为此，我们从显著性分析开始，研究不同的稀疏对象对结构化修剪的敏感性。基于对激活的空间相似性的观察，我们提出用固定的2:4掩码来修剪激活。此外，我们还提出了一个信息恢复模块来恢复丢失的信息，该模块可以通过有效的梯度移位操作来实现。对准确性和效率的评估表明，在具有挑战性的大规模分类和检测任务中，我们可以实现2倍的训练加速，而准确性的下降可以忽略不计。

Deep Neural Networks Learn Meta-Structures from Noisy Labels in Semantic Segmentatio

关于深度神经网络（DNN）如何从带噪标签中进行学习，大部分研究聚焦于图像分类而不是语义分割。迄今为止，我们对于深度神经网络在噪声分割标签下的学习行为仍然知之甚少。

在本研究中，为填补这一空白，我们研究了生物显微图像的二类语义分割和自然场景图像下的多类语义分割。通过从干净标签中随机抽样一小部分（例如10%）或随机翻转一大部分（例如90%）像素标签，我们合成了信噪比极低的噪声标签。当使用这些低信噪比标签训练DNN时，我们发现模型的分割性能几乎没有下降。这表明DNN在基于监督学习的语义分割中是从标签中学习语义类别的结构信息，而不仅仅是像素信息。我们将上述标签中隐含的结构信息称为元结构。当我们对标签中的元结构进行不同程度的扰动，我们发现模型的分割性能出现不同程度的下降。而当我们在标签中融入元结构时，可以极大提高基于无监督学习的二类语义分割模型的性能。我们将元结构在数学上定义为点集的空间分布函数，并在理论上和实验中证明该数学模型可以很好的解释我们在本研究中观察到的深度神经网络的学习行为。

Parameter Differentiation based Multilingual Neural Machine Translation

多语言神经机器翻译旨在通过一个共享的模型同时处理多个语言的翻译，并通过共享的参数实现不同语言之间的知识迁移。但是，模型中哪些参数需要共享，哪些参数是语言独有的，仍是一个开放性问题。目前，通常的做法是启发式地设计或者搜索语言特定地模块，但很难找到一个最优的参数共享策略。

在本文中，我们提出一个新颖的基于参数分化的方法，该方法允许模型在训练的过程中决定哪些参数应该是语言特定的。受到细胞分化的启发，在我们的方法中，每个通用的参数都可以动态分化为语言特定的参数。我们进一步将参数分化准则定义为任务间梯度相似性。如果一个参数上不同任务的梯度出现冲突，那么这个参数更有可能分化为语言特定的类型。在多语言数据集上的实验表明我们的方法相比于基线方法取得了较大的提升。分析实验进一步揭示了我们的方法生成的参数共享策略和语言学特征的相似性具有紧密的关系。

作者：Qian Wang, Jiajun Zhang

Probing Word Syntactic Representations in the Brain by a Feature Elimination Method

神经影像研究发现大脑在理解语言时，多个脑区与语义和语法处理相关。然而，现有的方法不能探索词性和依存关系等细粒度词汇语法特征的神经基础。

本文提出了一种新的框架来研究不同词汇语法特征在大脑中的表征。为了分离不同句法特征，我们提出了一种特征消除方法——均值向量零空间投影（MVNP），来消除词向量中的某一特征。然后，我们分别将消除某一特征的词向量和原始词向量与大脑成像数据联系起来，以探索大脑如何表示被消除的特征。本文首次在同一实验中同时研究了多个细粒度语法特征的皮层表征，并提出了多个脑区在语法处理分工中的可能贡献。这些发现表明，语法信息处理的大脑基础可能比经典研究所涉及的更为广泛。

Multi-scale Dynamic Coding improved Spiking Actor Network for Reinforcement Learning

在深度神经网络（DNN）的帮助下，深度强化学习 (DRL) 在许多复杂任务上取得了巨大成功，如游戏任务和机器人控制任务。DNN被认为只是部分受到了大脑结构和功能的启发，与之相比，脉冲神经网络 (Spiking Neural Network，SNN) 考虑了更多的生物细节，包括具有复杂动力学的脉冲神经元和生物合理的可塑性学习方法。

受生物大脑中细胞集群（Cell Assembly）高效计算的启发，我们提出了一种多尺度动态编码方法来提升脉冲人工网络（MDC-SAN）模型，并应用于强化学习以实现高效决策。多尺度表现为网络尺度的群体编码和神经元尺度的动态神经元编码（包含二阶神经元动力学），可以帮助SNN形成更加强大的时空状态空间表示。大量实验结果表明，我们的 MDC-SAN 在 OpenAI Gym的四个连续控制任务上取得了相比无编码SNN和相同参数下DNN更好的性能。

我们认为这是一次从生物高效编码角度探讨网络性能提升的有效尝试，就像在生物网络中一样，前期的复杂化信息编码可以让后期的智能决策变得更简单。 

AlphaHoldem: High-Performance Artificial Intelligence for Heads-Up No-Limit Poker via End-to-End Reinforcement Learning

无限注德州扑克（HUNL）是一个典型的不完美信息博弈。之前的代表性工作如DeepStack和Libratus严重依赖于反事实遗憾最小化(CFR)算法及其变体来求解。然而，由于CFR迭代的计算成本高昂，使得后续研究人员很难在HUNL中学习CFR模型，并将该算法应用于其他实际问题。

在这项工作中，我们提出了一个高性能和轻量级的德州扑克人工智能AlphaHoldem。AlphaHolddem是一种端到端的自学习强化学习框架，采用了一种伪孪生网络结构，通过将学习到的模型与不同的历史版本进行对打，直接从输入状态信息学习到输出的动作。

文章的主要技术贡献包括一种新的手牌和投注信息的状态表示、一种多任务的自我游戏训练损失函数，以及一种新的模型评估和选择度量来生成最终的模型。在10万手扑克的研究中，AlphaHoldem只用了三天的训练就击败了Slumbot和DeepStack。与此同时，AlphaHoldem只使用一个CPU核心进行每个决策仅需要4毫秒，比DeepStack快1000多倍。我们将提供一个在线开放测试平台，以促进在这个方向上的进一步研究。

AutoCFR: Learning to Design Counterfactual Regret Minimization Algorithms

反事实遗憾最小化（Counterfactual Regret Minimization, CFR）算法是最常用的近似求解两人零和不完美信息博弈的算法。近年来，人们提出了一系列新的CFR变体如CFR+、Lienar CFR、DCFR，显著提高了朴素CFR算法的收敛速度。然而，这些新的变体大多是由研究人员基于不同的动机通过反复试错来手工设计的，通常需要花费大量和时间精力和洞察力。

这项工作提出采用演化学习来元学习新的CFR算法，从而减轻人工设计算法的负担。我们首先设计了一种丰富的搜素语言来表示现有的手工设计的CFR变体。然后我们利用可扩展的演化算法以及一系列加速技术，在这种语言所定义的算法的组合空间中进行高效地搜索。学习到的新的CFR算法可以泛化到训练期间没有见过的新的不完美信息博弈游戏下，并与现有的的最先进的CFR变体表现相当或更好。

Learning to Identify Top Elo Ratings as A Dueling Bandits Problem

Elo 评分系统被广泛用于评估（国际象棋）游戏和体育竞技中玩家的技能。最近，它还被集成到机器学习算法中，用于评估计算机化的 AI 智能体的性能。然而，准确估计 Elo 等级分（对于顶级玩家）通常需要较多轮比赛，而采集多轮对战信息的代价可能是昂贵的。

在本文中，为了尽量减少比较次数并提高 Elo 评估的样本效率（针对顶级玩家），我们提出了一种高效的在线匹配调度算法。具体来说，我们通过对战老虎机（dueling bandits）框架识别和匹配顶级玩家，并根据 Elo 基于梯度的更新方式来设计老虎机算法。我们表明，与传统的需要 O(t) 时间的最大似然估计相比，我们能够将每步内存和时间复杂度降低到常数。我们的算法有一个遗憾（regret）保证 O ̃(√T) （O ̃忽略对数因子），与比赛轮数是次线性相关。并且算法已经被扩展到处理非传递性游戏的多维 Elo 评级。实验结果证明我们的方法在各种游戏任务上实现了较优的收敛速度和时间效率。

DPNAS：Neural Architecture Search for Deep Learning with Differential Privacy

在保证有意义的差分隐私（DP）条件下训练深度神经网络（DNN）通常会严重降低模型的精度。在本文中我们指出，在面向隐私保护的深度学习中，DNN的拓扑结构对训练得到的模型精度有显著影响，而这种影响在以前的研究中基本未被探索。

鉴于这一缺失，我们提出了第一个面向隐私保护深度学习的神经网络设计框架DPNAS。该框架采用神经网络架构搜索来自动设计隐私保护深度学习模型。为了将隐私保护学习方法与网络架构搜索相结合，我们精心设计了一个新的搜索空间，并提出了一种基于DP的候选模型训练方法。我们通过实验证明了所提出框架的有效性。搜索得到的模型DPNASNet实现了最先进的隐私/效用权衡，例如，在（ϵ，δ）=（3,1×10^-5）的隐私预算下，我们的模型在MNIST上的测试准确率为98.57%，在FashionMNIST上的测试准确率为88.09%，在CIFAR-10上的测试准确率为68.33%。此外，通过研究生成的网络结构，我们提供了一些关于隐私保护学习友好的DNN的有趣发现，这可以为满足差分隐私的深度学习模型设计提供新的思路。