炸了!一口气问了我18个JVM问题!
共 8750字,需浏览 18分钟
·
2020-12-26 11:51
前言
GC 对于Java 来说重要性不言而喻,不论是平日里对 JVM 的调优还是面试中的无情轰炸。
这篇文章我会以一问一答的方式来展开有关 GC 的内容。
这篇文章解释了很多有关垃圾回收的基本知识,能从源头上理解垃圾回收和日益发展的垃圾收集器演进的方向,这很重要。
本文章所说的 GC 实现没有特殊说明的话,默认指的是 HotSpot 的。
我先将十八个问题都列出来,大家可以先思考下能答出几道。
好了,开始表演。
young gc、old gc、full gc、mixed gc 傻傻分不清?
这个问题的前置条件是你得知道 GC 分代,为什么分代。这个在之前文章提了,不清楚的可以去看看。
现在我们来回答一下这个问题。
其实 GC 分为两大类,分别是 Partial GC 和 Full GC。
Partial GC 即部分收集,分为 young gc、old gc、mixed gc。
young gc:指的是单单收集年轻代的 GC。
old gc:指的是单单收集老年代的 GC。
mixed gc:这个是 G1 收集器特有的,指的是收集整个年轻代和部分老年代的 GC。
Full GC 即整堆回收,指的是收取整个堆,包括年轻代、老年代,如果有永久代的话还包括永久代。
其实还有 Major GC 这个名词,在《深入理解Java虚拟机》中这个名词指代的是单单老年代的 GC,也就是和 old gc 等价的,不过也有很多资料认为其是和 full gc 等价的。
还有 Minor GC,其指的就是年轻代的 gc。
young gc 触发条件是什么?
大致上可以认为在年轻代的 eden 快要被占满的时候会触发 young gc。
为什么要说大致上呢?因为有一些收集器的回收实现是在 full gc 前会让先执行以下 young gc。
比如 Parallel Scavenge,不过有参数可以调整让其不进行 young gc。
可能还有别的实现也有这种操作,不过正常情况下就当做 eden 区快满了即可。
eden 快满的触发因素有两个,一个是为对象分配内存不够,一个是为 TLAB 分配内存不够。
full gc 触发条件有哪些?
这个触发条件稍微有点多,我们来看下。
在要进行 young gc 的时候,根据之前统计数据发现年轻代平均晋升大小比现在老年代剩余空间要大,那就会触发 full gc。
有永久代的话如果永久代满了也会触发 full gc。
老年代空间不足,大对象直接在老年代申请分配,如果此时老年代空间不足则会触发 full gc。
担保失败即 promotion failure,新生代的 to 区放不下从 eden 和 from 拷贝过来对象,或者新生代对象 gc 年龄到达阈值需要晋升这两种情况,老年代如果放不下的话都会触发 full gc。
执行 System.gc()、jmap -dump 等命令会触发 full gc。
知道 TLAB 吗?来说说看
这个得从内存申请说起。
一般而言生成对象需要向堆中的新生代申请内存空间,而堆又是全局共享的,像新生代内存又是规整的,是通过一个指针来划分的。
可想而知如果多个线程都在分配对象,那么这个指针就会成为热点资源,需要互斥那分配的效率就低了。
于是搞了个 TLAB(Thread Local Allocation Buffer),为一个线程分配的内存申请区域。
这个区域只允许这一个线程申请分配对象,允许所有线程访问这块内存区域。
TLAB 的思想其实很简单,就是划一块区域给一个线程,这样每个线程只需要在自己的那亩地申请对象内存,不需要争抢热点指针。
当这块内存用完了之后再去申请即可。
这种思想其实很常见,比如分布式发号器,每次不会一个一个号的取,会取一批号,用完之后再去申请一批。
可以看到每个线程有自己的一块内存分配区域,短一点的箭头代表 TLAB 内部的分配指针。
如果这块区域用完了再去申请即可。
不过每次申请的大小不固定,会根据该线程启动到现在的历史信息来调整,比如这个线程一直在分配内存那么 TLAB 就大一些,如果这个线程基本上不会申请分配内存那 TLAB 就小一些。
还有 TLAB 会浪费空间,我们来看下这个图。
可以看到 TLAB 内部只剩一格大小,申请的对象需要两格,这时候需要再申请一块 TLAB ,之前的那一格就浪费了。
在 HotSpot 中会生成一个填充对象来填满这一块,因为堆需要线性遍历,遍历的流程是通过对象头得知对象的大小,然后跳过这个大小就能找到下一个对象,所以不能有空洞。
当然也可以通过空闲链表等外部记录方式来实现遍历。
还有 TLAB 只能分配小对象,大的对象还是需要在共享的 eden 区分配。
所以总的来说 TLAB 是为了避免对象分配时的竞争而设计的。
那 PLAB 知道吗?
可以看到和 TLAB 很像,PLAB 即 Promotion Local Allocation Buffers。
用在年轻代对象晋升到老年代时。
在多线程并行执行 YGC 时,可能有很多对象需要晋升到老年代,此时老年代的指针就“热”起来了,于是搞了个 PLAB。
先从老年代 freelist(空闲链表) 申请一块空间,然后在这一块空间中就可以通过指针加法(bump the pointer)来分配内存,这样对 freelist 竞争也少了,分配空间也快了。
大致就是上图这么个思想,每个线程先申请一块作为 PLAB ,然后在这一块内存里面分配晋升的对象。
这和 TLAB 的思想相似。
产生 concurrent mode failure 真正的原因
《深入理解Java虚拟机》:由于CMS收集器无法处理“浮动垃圾”(FloatingGarbage),有可能出现“Con-current Mode Failure”失败进而导致另一次完全“Stop The World”的Full GC的产生。
这段话的意思是因为抛这个错而导致一次 Full GC。
而实际上是 Full GC 导致抛这个错,我们来看一下源码,版本是 openjdk-8。
首先搜一下这个错。
再找找看 report_concurrent_mode_interruption
被谁调用。
查到是在 void CMSCollector::acquire_control_and_collect(...)
这个方法中被调用的。
再来看看 first_state :CollectorState first_state = _collectorState;
看枚举已经很清楚了,就是在 cms gc 还没结束的时候。
而 acquire_control_and_collect
这个方法是 cms 执行 foreground gc 的。
cms 分为 foreground gc 和 background gc。
foreground 其实就是 Full gc。
因此是 full gc 的时候 cms gc 还在进行中导致抛这个错。
究其原因是因为分配速率太快导致堆不够用,回收不过来因此产生 full gc。
也有可能是发起 cms gc 设置的堆的阈值太高。
CMS GC 发生 concurrent mode failure 时的 full GC 为什么是单线程的?
以下的回答来自 R 大。
因为没足够开发资源,偷懒了。就这么简单。没有任何技术上的问题。大公司都自己内部做了优化。
所以最初怎么会偷这个懒的呢?多灾多难的CMS GC经历了多次动荡。它最初是作为Sun Labs的Exact VM的低延迟GC而设计实现的。
但 Exact VM在与 HotSpot VM争抢 Sun 的正牌 JVM 的内部斗争中失利,CMS GC 后来就作为 Exact VM 的技术遗产被移植到了 HotSpot VM上。
就在这个移植还在进行中的时候,Sun 已经开始略显疲态;到 CMS GC 完全移植到 HotSpot VM 的时候,Sun 已经处于快要不行的阶段了。
开发资源减少,开发人员流失,当时的 HotSpot VM 开发组能够做的事情并不多,只能挑重要的来做。而这个时候 Sun Labs 的另一个 GC 实现,Garbage-First GC(G1 GC)已经面世。
相比可能在长时间运行后受碎片化影响的 CMS,G1 会增量式的整理/压缩堆里的数据,避免受碎片化影响,因而被认为更具潜力。
于是当时本来就不多的开发资源,一部分还投给了把G1 GC产品化的项目上——结果也是进展缓慢。
毕竟只有一两个人在做。所以当时就没能有足够开发资源去打磨 CMS GC 的各种配套设施的细节,配套的备份 full GC 的并行化也就耽搁了下来。
但肯定会有同学抱有疑问:HotSpot VM不是已经有并行GC了么?而且还有好几个?
让我们来看看:
ParNew:并行的young gen GC,不负责收集old gen。
Parallel GC(ParallelScavenge):并行的young gen GC,与ParNew相似但不兼容;同样不负责收集old gen。
ParallelOld GC(PSCompact):并行的full GC,但与ParNew / CMS不兼容。
所以…就是这么一回事。
HotSpot VM 确实是已经有并行 GC 了,但两个是只负责在 young GC 时收集 young gen 的,这俩之中还只有 ParNew 能跟 CMS 搭配使用;
而并行 full GC 虽然有一个 ParallelOld,但却与 CMS GC 不兼容所以无法作为它的备份 full GC使用。
为什么有些新老年代的收集器不能组合使用比如 ParNew 和 Parallel Old?
这张图是 2008 年 HostSpot 一位 GC 组成员画的,那时候 G1 还没问世,在研发中,所以画了个问号在上面。
里面的回答是 :
"ParNew" is written in a style... "Parallel Old" is not written in the "ParNew" style
HotSpot VM 自身的分代收集器实现有一套框架,只有在框架内的实现才能互相搭配使用。
而有个开发他不想按照这个框架实现,自己写了个,测试的成绩还不错后来被 HotSpot VM 给吸收了,这就导致了不兼容。
我之前看到一个回答解释的很形象:就像动车组车头带不了绿皮车厢一样,电气,挂钩啥的都不匹配。
新生代的 GC 如何避免全堆扫描?
在常见的分代 GC 中就是利用记忆集来实现的,记录可能存在的老年代中有新生代的引用的对象地址,来避免全堆扫描。
上图有个对象精度的,一个是卡精度的,卡精度的叫卡表。
把堆中分为很多块,每块 512 字节(卡页),用字节数组来中的一个元素来表示某一块,1表示脏块,里面存在跨代引用。
在 Hotspot 中的实现是卡表,是通过写后屏障维护的,伪代码如下。
cms 中需要记录老年代指向年轻代的引用,但是写屏障的实现并没有做任何条件的过滤。
即不判断当前对象是老年代对象且引用的是新生代对象才会标记对应的卡表为脏。
只要是引用赋值都会把对象的卡标记为脏,当然YGC扫描的时候只会扫老年代的卡表。
这样做是减少写屏障带来的消耗,毕竟引用的赋值非常的频繁。
那 cms 的记忆集和 G1 的记忆集有什么不一样?
cms 的记忆集的实现是卡表即 card table。
通常实现的记忆集是 points-out 的,我们知道记忆集是用来记录非收集区域指向收集区域的跨代引用,它的主语其实是非收集区域,所以是 points-out 的。
在 cms 中只有老年代指向年轻代的卡表,用于年轻代 gc。
而 G1 是基于 region 的,所以在 points-out 的卡表之上还加了个 points-into 的结构。
因为一个 region 需要知道有哪些别的 region 有指向自己的指针,然后还需要知道这些指针在哪些 card 中。
其实 G1 的记忆集就是个 hash table,key 就是别的 region 的起始地址,然后 value 是一个集合,里面存储这 card table 的 index。
我们来看下这个图就很清晰了。
像每次引用字段的赋值都需要维护记忆集开销很大,所以 G1 的实现利用了 logging write barrier(下文会介绍)。
也是异步思想,会先将修改记录到队列中,当队列超过一定阈值由后台线程取出遍历来更新记忆集。
为什么 G1 不维护年轻代到老年代的记忆集?
G1 分了 young GC 和 mixed gc。
young gc 会选取所有年轻代的 region 进行收集。
midex gc 会选取所有年轻代的 region 和一些收集收益高的老年代 region 进行收集。
所以年轻代的 region 都在收集范围内,所以不需要额外记录年轻代到老年代的跨代引用。
cms 和 G1 为了维持并发的正确性分别用了什么手段?
之前文章分析到了并发执行漏标的两个充分必要条件是:
将新对象插入已扫描完毕的对象中,即插入黑色对象到白色对象的引用。 删除了灰色对象到白色对象的引用。
什么是 logging write barrier ?
简单说下 G1 回收流程
简单说下 cms 回收流程
cms 写屏障又是维护卡表,又得维护增量更新?
GC 调优的两大目标是啥?
GC 如何调优
巨人的肩膀
https://segmentfault.com/a/1190000021394215?utm_source=tag-newest
https://blogs.oracle.com/jonthecollector/our-collectors
https://www.iteye.com/blog/user/rednaxelafx R大的博客
https://www.jianshu.com/u/90ab66c248e6 占小狼的博客
有道无术,术可成;有术无道,止于术
欢迎大家关注Java之道公众号
好文章,我在看❤️