【博士论文】随机逼近在黎曼流形和度量空间上的应用

   

    

     

      

       来源：专知
      
     
    
   
   

    

     

      

       

        
本文约1000字，建议阅读5分钟
        
本论文通过当代视角重新探索了随机逼近方法，重点研究其在非欧几里得空间中的动态特性和长期行为。
       
      
     
    
   

随机逼近方法是一类迭代算法，在涉及噪声和不完整观测的应用中起着至关重要的作用。该方法起源于Robbins和Monro（1951年）以及Kiefer和Wolfowitz（1952年）的开创性研究，旨在尽管存在噪声和偏差的情况下，推动系统朝向指定目标。这类迭代过程因其对噪声的抵抗力和低计算成本，在统计学和机器学习等领域变得越来越重要。随机逼近方法在训练神经网络和自适应学习系统中尤为有用。随着大数据的兴起，实时决策中对高效且可扩展算法的需求进一步突显了随机逼近的重要性。

本论文通过当代视角重新探索了随机逼近方法，重点研究其在非欧几里得空间中的动态特性和长期行为。受Benaïm和Hirsch在20世纪90年代提出的动力系统方法的启发，本研究探讨了随机逼近算法的迭代收敛性、极限特征及其极限的可取性等关键问题。本文旨在提供关于这些算法的稳定性和收敛性的深入理论见解，尽管其面临着非欧几里得结构和现实世界中的噪声及不完整信息等挑战。

本研究考察了随机逼近方法在三个传统方法无法充分解决的非传统场景中的应用。首先，我们深入研究了在黎曼流形上的随机逼近方法，分析与黎曼优化及策略性博弈相关的问题。此非欧几里得背景引入了复杂性，需要采用新颖的方法来证明收敛性。其次，本文研究了通过提升到Wasserstein空间来离散化随机微分方程。这与基于Langevin扩散的采样算法特别相关，这些算法在贝叶斯学习和生成建模中必不可少。我们展示了我们的发现如何增强这些采样算法的可靠性和有效性，从而支持更稳健的贝叶斯推断和生成过程。

最后，论文探讨了无步长参数的算法，特别是用于求解熵最优传输和Schrödinger桥问题的Sinkhorn算法。我们提出了一个带有步长参数的变体，并考察了其连续时间极限，通过随机逼近分析保证了该Sinkhorn算法变体在噪声和偏差下的收敛性。

本论文代表了经典随机逼近与其在非欧几里得场景中扩展应用的和谐结合。通过整合不同的数学领域，我们提供了深入的分析，丰富了随机逼近的理论基础，并保证了这些算法在各种复杂场景中的稳健性。