作者 | Alan_beijing
来源 | cnblogs.com/wangjiming/p/13225544.html
对于线上系统调优，它本身是个技术活，不仅需要很强的技术实战能力，很强的问题定位，问题识别，问题排查能力，还需要很丰富的调优能力。
本篇文章从实战角度，从问题识别，问题定位，问题分析，提出解决方案，实施解决方案，监控调优后的解决方案和调优后的观察等角度来与大家一起交流分享本次线上高并发调优整个闭环过程。# 项目简要情况概述
该项目为基于SSM架构的商城类单体架构项目，其中有一个秒杀重磅模块，如下为当前线上环境的简要架构部署图，大致描述一下：(2)服务器类别：1台负载均衡服务器(F5),3台运用程序服务器，1台计时器服务器,1台redis服务器，1台图片服服务器和1台基于Pass架构的Mysql主从服务器(微软云)# 何为单体架构项目
3.SOA架构：可理解为按服务类别，业务流量，服务间依赖关系等服务化的架构，如以前的单体架构ERP项目，划分为订单服务，采购服务，物料服务和销售服务等4 微服务：可理解为一个个小型的项目，如之前的ERP大型项目，划分为订单服务(订单项目)，采购服务(采购项目)，物料服务(物料项目)和销售服务(销售项目)，以及服务之间调用
# 本SSM项目引发的线上问题
该系统每天秒杀分为三个时间端：10点，13点和20点，如下为秒杀的简要页面# 排查过程及分析
（2）文件图片服务器：排查内存，cpu,请求数等；（4）redis服务器：排查内存，cpu,连接数等；1.运用程序服务器cpu暴增，内存暴增，造成cpu和内存暴增的根本原因是请求数过高，单台运用服务器达到3000多；4.通过gc查看，发现24小时内，FullGC发生了152次jstat -l pid，也可以通过VisualVM分析(1)在秒杀时，请求量过高，导致运用服务器负载过高；(2)redis连接池满，获取不到连接，connot get a connection from thread pool(4)存在大对象代码，如向list集合中不停添加对象，不能及时回收对象导致内存增加，频繁发生Full GC(5)tomcat并发参数，jvm优化参数，jedis配置参数，jdbc配置参数不合理(7)资源连接未及时释放，如redis连接，jdbc连接未及时释放
# 最终解决方案
由于该项目未增加MQ，因此只能采用硬负载，增加服务器水平扩展方式来实现流量削峰和流量分流JAVA_OPTS="-server -Xmx9g -Xms9g -Xmn3g -Xss500k -XX:+DisableExplicitGC -XX:MetaspaceSize=2048m -XX:MaxMetaspaceSize=2048m -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -Dfile.encoding=UTF8 -Duser.timezone=GMT+08"
(1)修改bio协议为nio2 (2)根据服务器配置，业务场景，业务流量等合理设置相关参数，尽量达到最优关于tomcat相关参数优化，在接下来的文章中分析。<Resource
cachingAllowed = "true"
cacheMaxSize = "102400"
/>
# 最终优化结果
# 总结
1.本篇文章从实战角度，从问题识别，问题定位，问题分析，提出解决方案，实施解决方案，监控调优后的解决方案和调优后的观察等角度来与大家一起交流分享本次线上高并发调优整个闭环过程，当然，由于篇幅的限制，有些细节和优化手段未在本篇文章中提及；2.虽然解决了该问题，但是从长远来看，该单体项目任然存在很大的问题和隐患，下面随便举几个：(2)由于该系统秒杀业务属于非持续性并发，即局部性并发，当前并未做局部并发架构的调整(3)由于该系统秒杀业务与该项目紧紧耦合在一起，未进行隔离，未独立成单独模块，未单独部署，从而存在因秒杀业务造成整个系统瘫痪的风险；
