干货书!基于单调算子的大规模凸优化

数据派THU

共 1432字,需浏览 3分钟

 ·

2022-07-30 16:45

来源:专知

本文为书籍,建议阅读5分钟

本书为一阶凸优化方法提供了强大的更高层次的见解。




我们写这本书是为了分享一个优雅的视角,它为一阶凸优化方法提供了强大的更高层次的见解。一阶凸优化方法更有效地解决大规模优化问题的研究始于20世纪60年代和70年代,但当时该领域的重点是二阶方法,后者更有效地解决较小的问题。21世纪初,随着计算能力的提高和大数据的可用性,一阶优化方法成为主流。在这个现代时代,作者进入优化领域,发现(但没有发明)上述观点,我们希望通过本书分享它。

https://large-scale-book.mathopt.com/
我们的目标是通过单调算子的抽象对凸优化算法进行统一的分析。



这本书是为数学家和工程师准备的。我们通过展示抽象是优雅的,并且在某些方面具有挑战性(有趣)来吸引数学家。我们呼吁工程师,用户的优化,与简单的技术和算法的多样性。在一些例子中,我们遇到过只知道梯度下降和ADMM的工程师,它们虽然很强大,但并不是普遍可行或最佳的选择。这本书使读者能够选择甚至设计最适合任何给定问题的分割方法。对读者的背景要求是对高级微积分、线性代数、基本概率以及凸分析的基本概念有良好的了解,这些知识涉及到Boyd和Vandenberghe的凸优化的第2章到第5章的凸集、凸函数、凸优化问题和凸对偶。(数学)分析和测量理论的概率论背景是有帮助的,但不是必要的。非正式地,这本书预设了对凸优化的兴趣,并欣赏它作为一个有用的工具。为了使讨论简明扼要,我们将重点放在优化算法上,而不是讨论算法解决的优化问题的工程和科学起源。


  • Announcement
  • Introduction and Preliminaries
  • Monotone operators and base splitting schemes 
    • Set-valued operators
    • Monotone operators
    • Nonexpansive and averaged operators, Fixed-point iteration
    • Resolvent
    • Proximal point method, Operator splitting
    • Variable metric methods
  • Primal-dual methods
    • Infimal postcomposition technique
    • Dualization technique
    • Variable metric technique
    • Gaussian Elimination Technique
    • Linearization technique
  • Parallel computing
  • Stochastic coordinate update methods
  • Asynchronous coordinate update methods 
  • Stochastic optimization
  • ADMM-type methods 
    • FLiP-ADMM
    • Derived ADMM-type methods
  • Duality in splitting methods 
  • Maximality and monotone operator theory 
  • Distributed and decentralized optimization
  • Acceleration
  • Scaled relative graphs





浏览 26
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报