【机器学习基础】机器学习的常用数学符号

作者：小雨姑娘，康涅狄格大学，Datawhale成员

这三天复现一个论文实验结果不正确，一直找不到原因，后来发现是自己把当成了 。

如果你到现在搞不懂这两个符号的区别，这问题就跟学英语记不住周一到周日的正确拼写一样严重，那么就非常有必要花3分钟跟着这篇文章复习一遍。这篇文章的主要内容来自_Mathematical Notation: A Guide for Engineers and Scientists by Edward R. Scheinerman_ ，基本包括了机器学习中大部分常见数学符号。‍‍‍‍‍‍‍

1. 变量名约定

s- 斜体小写字母用做标量 （例如一个数字）

x- 粗体小写字母用做向量 （例如一个2D点）

A- 粗体大写字母用做矩阵 （例如一个3D变换）

θ- 斜体小写希腊字母用做常量和特殊变量 （例如惩罚项的权重）

2. 等号

=表示相等 （值相同）

≠表示不相等 （值不同）

≈表示约等于 （π ≈ 3.14159）

:=表示定义 （A 被定义为 B）

3. 平方根与复数

一个平方根运算是这种形式:

也可以有多次平方运算

复数是形式的表达式， 其中是实数部分，是虚数部分。虚数的定义为。

4. 点与叉

点·和叉×符号根据上下文的不同有不同的用法，下面我们分开讨论：

1. 标量乘法:

两个符号都可以表示简单的标量之间的乘法。下边的写法意思相同

2. 向量乘法:

表示向量和标量之间相乘，或两向量的逐元素相乘，我们不用点·或叉×符号，一般使用空心点来表示

有时作者可能会显式定义一个不同的符号，例如圆中点⊙或实心圈●**3. 点乘：**点符号·可用来表示两向量之间的点乘。由于其值是一个标量，通常被叫做标量积（scalar product）。

4. 叉乘：

叉乘符号×可以用来表示两向量的叉乘，由于其值是一个向量，又叫做向量积。

5. 西格玛（sigma）

大写希腊字母Σ(Sigma) 用来表示总和， 换句话说就是对一些数字求和。

6. 大写Pi

大写 Pi 或“大Pi”与sigma非常接近， 不同的是我们用乘法取得一系列数字的乘积。

7. 管道（pipes）

管道符号，就是竖线，根据上下文不同，可以表示不同意思。下边的是3种常见用途，绝对值、模长和行列式。这3种特性都是描述对象的_长度（length）_。

1. 绝对值

对于数字_x_,|x|表示_x_的绝对值。

2. 欧几里得模长（Euclidean norm）

对于向量v，‖v‖是v的欧几里得模长，在机器学习中被称作2范数(2-norm)，计算方法是向量每个元素的平方根的和再开方。通常用双竖线表示来避免与_绝对值_ 符号混淆，但有些时候也会看见单竖线。一般的如果右下角加一个数字，表示阶范数，什么都不加默认2范数:

如果右上角加一个数字就代表范数的k次方。

3. 行列式

对于一个矩阵，对于一个矩阵A，|A|表示矩阵A的行列式，也可以表示它的1范数，这两个值不相同，需要根据上下文考虑。

8. 帽子

在几何里，字母上的 “帽子” 符号用来表示一个单位向量。例如，这是向量a的单位向量。

9. 属于

集合理论中，“属于”符号∈和∋可以被用来描述某物是否为集合中的一个元素。例如：

这里我们有一个数字集_A_{ 3, 9, 14 }而且我们说3是“属于”这个集合的，一般我们使用花括号表示集合。

10. 常见数字集合

ℝ全体实数集合描述_实数（real numbers）_的集合。他们包括整数，有理数，无理数。

ℚ有理数集合（rational numbers）是可以被表示为分数，或_比率_（类似⅗）的实数。有理数不能以0作分母。这意味着所有的整数都是有理数，因为可以看成分母为1。换句话说无理数就是不能表示为比率的数，例如 π (PI)。

ℤ整数（integers）是没有小数部分的实数。可为正也可以为负。

ℕ自然数（natural numbers）自然数是正整数或非负整数。取决于所学领域和上下文，集合中可能包含也可能不包含0，所以可以是下边任意一种集合。

ℂ复数是实数与虚数的组合，被视为2D平面上的一个坐标。

11. 撇号（prime）

撇号 (′) 通常用在变量名上，用来描述某物很类似，而不用另起个名来描述它。也可以描述经过一些变换后的“下一个值”。

对于一个函数，撇号通常描述为函数的导函数（derivative）。

使用多个撇号可以用来表示 二阶导函数（derivative）ƒ′′或 三阶导函数（derivative）ƒ′′′，之后更高的数字，一般作者会用罗马数字或上标数字表示。

12. 向下取整和向上取整（floor & ceiling）

⌊x⌋和⌈x⌉这种特殊的括号分别用来表示floor和ceil函数。记住下取整是地板(floor) 那两个小横线在下面，得到的是小的值。向上取整是天花板(ceiling)那两个小横线在上面，得到的是大的值。

13. 箭头

⇒和→优势被用作表示蕴涵（material implication）逻辑。意思是如果A是true，那么B也是true。箭头可以是左右任何方向⇐⇒，也可以双向⇔。当_A ⇒ B_并且_B ⇒ A_，就是他们是相等的A⇔B。≪和≫通常用来表示明显（significant）不相等。k≫j也可以表示k的数量级大于j。与（conjunction）∧和 或（disjunction）∨分别表示逻辑与或操作，类似于程序员的AND和OR操作。

14. 逻辑非（logical negation）

有时候，¬,~和!符号都用来表示逻辑NOT。例如，只有在A为false的时候，¬A为true。

15.  区间

有时函数会处理被一些值限定范围的实数，这样的约束可以用区间（interval）来表示。例如我们可以表示0和1之间的数，让他们包含或不包含0和1：

• 不包含0或1 ----- (0, 1)
• 包含0但不包含1 ----- [0, 1)
• 不包含0但包含1 ----- (0, 1]
• 包含0和1 ----- [0, 1]