本文约1500字，建议阅读5分钟
本文为你分享5篇最新的嵌入研究论文。
1、Continual Learning for Visual Search with Backward Consistent Feature Embedding
Timmy S. T. Wan, Jun-Cheng Chen, Tzer-Yi Wu, Chu-Song Chen
https://arxiv.org/pdf/2205.13384
在图像搜索算法中，数据库中的图片会随着时间的增长而增加。但是现有方法依赖于在整个数据集上训练的模型，而忽略了模型的不断更新。随着模型的更新，新模型必须为整个图库集重新提取特征以保持兼容的特征空间，这为大型图库集带来了很高的计算成本。为了解决长期视觉搜索的问题，论文引入了一种持续学习 (CL) 方法，该方法可以处理增量增长的图片集。该方法强制执行会话间数据一致性和模型一致性还有不同训练会话（数据增长后的重新训练）损失区别来进行持续学习，解决方案还解决了为模糊边界添加新类的情况，而不假设所有类别在开始时和模型更新期间都已知的。这应该是第一个解决后向一致特征嵌入问题并允许在新会话中出现新类的 CL 方法。对各种基准的广泛实验表明论文的方法在各种设置下的有效性2、Bootstrap Confidence Regions for Learned Feature Embeddings
https://arxiv.org/pdf/2202.00180算法特征学习器为非矩阵结构化信号（如图像、音频、文本和图形）提供高维向量表示。从这些表示派生的低维投影可用于探索这些数据集合之间的变化。但是目前尚不清楚如何评估与这些预测相关的不确定性。论文采用bootstrapping principal components analysis的方法，以适应从非矩阵数据中学习特征。论文凭经验比较了派生的置信区域，影响特征学习和引导的不同因素。该方法在空间蛋白质组数据上进行了说明。代码、数据和训练模型使用R语言进行开发并且已开源。3、Who supervises the supervisor? Model monitoring in production using deep featureembeddings with applications to workpiece inspection
Michael Banf, Gregor Steinhagenhttps://arxiv.org/pdf/2201.06599自监督领域在近期有了的巨大进步。但是这些模型变的强大的同时也变得越来越复杂，并且不透明和也无法解释。这里面临的一个主要挑战是监控这些机器学习系统的实时部署，并在遇到可能影响模型性能的事件时发出警报。特别是目前的监督分类器通常是在基础数据分布的平稳性假设下构建的。比如说针对一组材料表面缺陷进行训练的视觉检测系统通常无法适应甚至识别数据分布的逐渐变化——即所谓的“数据漂移”问题（例如新型表面缺陷的出现）。如果出现这种情况可能会导致非常严重的错误预测，例如来自新缺陷类别的样本被归类为无缺陷。所以提供对分类器性能的实时跟踪，并且监控额外错误类别以及在分类器重新训练方面手动干预是十分必要的。这篇论文提出了一个在有监督的分类系统之上的无监督框架，它从而利用其内部深度特征表示作为代理来跟踪部署期间数据分布的变化，从而预测分类器性能下降4、Extreme Beam-forming with Impedance Metasurfaces Featuring Embedded Sources and Auxiliary Surface Wave Optimization
Gengyu Xu, Vasileios G. Ataloglou, Sean V. Hum, George V. Eleftheriadeshttps://arxiv.org/pdf/2107.12025论文提出了一种端到端的紧凑型无源无损超表面（MTS）天线的设计方案。整个系统由单层无功阻抗MTS组成，建立了一种精确高效的基于 体积-表面 积分方程的器件模型，并将其作为快速优化器件性能的基础。论文推导出了几种可行性约束，这些约束在实际应用中可以显著提高MTS天线的功率效率和带宽。全波数值模拟证实了该方法的有效性，以及综合设计的极端场变换能力。
5、ContextNet: A Click-Through Rate Prediction Framework Using Contextual information to Refine Feature Embedding
Zhiqiang Wang, Qingyun She, PengTao Zhang, Junlin Zhanghttps://arxiv.org/pdf/2107.12025点击率 (CTR) 估计是个性化广告和推荐系统中的一项基本任务，对于排名模型有效捕捉复杂的高阶特征非常重要。论文的灵感来自 ELMO 和 Bert 在 NLP 领域的成功，它们可以动态地细化词嵌入并根据单词出现的上下文句子信息，所以论文认为在CTR估计任务中根据输入实例中包含的上下文信息逐层动态地细化每个特征的嵌入也很重要，可以通过这种方式有效地捕获每个特征的有用特征交互。提出了一种名为 ContextNet 的新型 CTR 框架，该框架通过根据输入上下文动态细化每个特征的嵌入来隐式建模高阶特征交互。具体来说，ContextNet 由两个关键组件组成：上下文嵌入模块和 ContextNet 块。上下文嵌入模块从输入实例中聚合每个特征的上下文信息，ContextNet 块逐层维护每个特征的嵌入，并通过将上下文高阶交互信息合并到特征嵌入中来动态地细化其表示。为了使框架具体化，还通过在 ContextNet 块中引入线性上下文嵌入网络和两个非线性映射子网络，在该框架下提出了两个模型（ContextNet-PFFN 和 ContextNet-SFFN）。通过对四个真实世界的数据集进行了广泛的实验，实验结果表明，ContextNet-PFFN 和 ContextNet-SFFN 模型明显优于 DeepFM 和 xDeepFM 等最先进的模型。编辑：于腾凯
