深入剖析 Golang 的内存分配机制

Go Official Blog

共 2946字,需浏览 6分钟

 ·

2024-05-09 23:15

Golang 语言的内存分配机制是理解和优化 Golang 程序性能的关键。在 Golang 中,由于 Go 的垃圾回收机制,内存管理是自动的。理解内存的分配和回收方式可以帮助我们编写更高性能的代码。本文将深入探讨 Golang 的内存分配机制。

内存分配的基本原则

在计算机科学中,内存分配是指为程序中的变量和数据结构分配存储空间的过程。在 Golang 中,内存分配主要由 Go 运行时系统(runtime)处理,包括以下两个主要方面:

  1. 堆内存分配:堆内存用于动态内存分配,主要用于存储在程序运行时创建的对象和数据结构。使用 new、make 或指针等函数时会在堆上进行内存分配。
  2. 栈内存分配:栈内存用于存储函数调用期间的局部变量和返回地址。基本类型(如整数、浮点数、布尔值等)和小对象(通常小于 64 字节)通常分配在栈上。

Go 使用了一种名为 "tcmalloc"(线程缓存 malloc)的内存分配器,最初由 Google 开发。tcmalloc 的设计目标是减少全局锁的争用,提高多线程程序的性能。Go 的内存分配器是基于 tcmalloc 概念的一种实现,具有几个关键组件:

  • M:表示操作系统线程(machine)。
  • P:表示处理器(processor),管理一组本地缓存。
  • G:表示 goroutine,是 Go 程序中最小的执行单位。

每个 P 都有自己的内存缓存(mcache),用于快速分配小对象。当 mcache 耗尽时,P 从中央缓存(mcentral)中获取内存。如果 mcentral 也不足,内存分配器会从操作系统请求更多内存。

Golang 的内存分配机制

小对象分配:小对象(通常小于 32KB)的分配通过 P 的 mcache 进行。mcache 包括一系列称为 "spans" 的固定大小内存块。每个 span 专用于特定大小的对象。当 goroutine 需要分配小对象时,它会找到相应的 span 并从中分配一块内存。 大对象分配:大对象(通常大于 32KB)的分配不经过 mcache,而是直接从堆上分配。这是因为大对象的分配和回收频率较小于小对象,并且直接操作堆可以减少碎片化和管理复杂性。 内存分配优化:为了减少内存分配的成本,Go 的内存分配器执行了一些优化: 类大小分配:为了减少内存碎片化并提高内存重用,Go 将对象划分为不同的类大小。每个类大小的对象分配到它们各自的 span 中。 对象对齐:Go 确保对象在内存中对齐,这有助于提高 CPU 缓存效率。 批量分配:当 mcache 中的 span 耗尽时,内存分配器不会逐个地从 mcentral 中检索新的 span,而是批量地从 mcentral 中检索多个 span,减少与 mcentral 的交互次数。

垃圾回收(GC)

Go 的垃圾回收器是一个并发的、标记-清除(mark-sweep)垃圾回收器。垃圾回收分为几个阶段:

标记阶段:垃圾回收器停止所有 goroutine(STW - stop the world),快速扫描堆栈和全局变量,并标记所有可达对象。 并发标记:垃圾回收器在后台并发地完成标记工作,而 goroutine 继续执行。 清除阶段:未标记的对象被清除,通常是并发进行的。 Go 的垃圾回收器设计用于低延迟,并尽量减少对程序执行的干扰。

内存逃逸

在 Go 中,编译器尽可能在栈上分配内存,因为栈上的分配和回收非常快。然而,并非所有的内存分配都可以在栈上完成。当编译器无法保证对象的生命周期限制在其定义的范围内时,它会将这些对象分配到堆上,这个过程称为 "内存逃逸"。

影响内存分配的因素

内存分配的性能可能受多种因素影响,包括以下几点:

  • 内存分配的频率:频繁的内存分配和回收会增加垃圾回收器的工作量,从而影响性能。
  • 对象大小:大对象的分配通常比小对象慢,因为它们不经过 mcache。
  • 对象生命周期:长寿命对象可能导致内存使用增加,因为它们不经常被回收。
  • 内存分配的最佳实践

为了优化内存分配,我们可以从以下几个方面入手:

  • 重用对象:通过重用对象来减少分配的次数。
  • 资源池化:使用 sync.Pool 来池化可重用的对象。
  • 避免内存逃逸:通过减少指针使用和闭包捕获来避免不必要的内存逃逸。
  • 合理选择数据结构:选择适当的数据结构以减少内存消耗和碎片化。

结论

Go 的内存分配器是为并发和多线程设计的,通过一系列优化提供了高效的内存分配。内存分配的性能不仅取决于分配器本身,还取决于程序的设计和编码风格。在日常开发中,可以使用诸如 pprof 等工具来分析和优化程序的内存使用情况。通过实践和分析,可以更深入地理解和掌握 Go 的内存管理机制。


往期回顾

#

Golang 如何动态解析 JSON

#

使用 Select +Timer 时如何避免内存泄露?

#

使用 Golang 构建你的 LLM AP

#

探索 Go 的 Fan-Out/Fan-In 模式:让并发更 easy


浏览 51
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报