图解 Unicorn 工作原理
HelloGitHub
共 2756字,需浏览 6分钟
·
2021-03-24 15:55
我很早之前,就是通过这篇文章搞懂了 Python Web 应用服务器是个什么鬼,虽然本文讲的是 Ruby 的 Web 应用服务器,但原理是通的所以翻出来推荐给大家,下面是正文。
什么是 Unicorn
Unicorn 是 Ruby Web 应用中的一款应用服务器,提供两个功能:
为 Rack 应用(使用 Ruby 编程语言开发的 Web 服务器和 Web 应用程序之间的模块化接口)提供 HTTP 服务能力 为 Web 应用实现高并发能力
注:Python 也有类似功能的应用服务器:Gunicorn 就是从 Unicorn 移植的 pre-fork worker 模型,推荐 Python 程序员阅读本文。
Unicorn 工作在 Web 的应用层,直接调用后端 Handler 处理请求。
如何工作提供 HTTP 服务功能:
监听端口,接收 HTTP 请求 解析 HTTP 请求,调用应用处理请求 将处理结果返回
通过多进程提供高并发能力。由于 Ruby 全局解释锁阻碍的同一进程中的线程并行执行,Ruby 应用中的高并发必须通过多进程实现。
线程中如果有 IO 操作时,GIL 会自动释放,所以在线程中有 IO 操作的情况下,同一进程中的多个线程可以实现近似的并行执行。
通过 Master-Workers 进程结构提供服务:
一个 Master,管理 Worker 进程,处理外部信号,不处理请求 多个 Worker 进程,处理实际的请求,彼此独立
此结构和 Nginx 多进程模式一致。Master 作为劳心者,不处理实际的事务,只做顶层调度。Workers 作为劳力者,只处理实际的请求,受制于 Master。
请求处理过程
通过上图总结如下:
Master 监听端口,Fork 子进程 (也可以通过 sparn) 子进程通过 select && accept 调用获取连接 子进程读 socket 数据,调用 Rack App,再将结果回写 socket
另外:
通过 kgio 实现非阻塞系统调用 通过 C 扩展实现高速 HTTP 协议解析
IO 模型
由上图可以看出 unicorn 的 IO 模型有如下特点:
IO 低效,阻塞(宏观视角,本身使用非阻塞调用) 一个进程同时只能处理一个请求,吞吐量低下 在 socket 读写或数据库查询等等 IO 操作时,进程空闲,资源浪费 无法处理慢 IO,需要前置 Nginx
如何管理进程
Master
杀掉超时的子进程 维持子进程数量
Worker
检测 Master,同生共死,代码 接收 Master 的指令
通信方式:
pipe raindrops (共享数据)
如何平滑重启
平滑关键点在于:
通过环境变量传递监听的 socket 设置监听 socket close_on_exec,让操作系统保留监听 socket
unicorn-killer 的代码
def process_client(client)
super(client) # Unicorn::HttpServer#process_client
return if @_worker_memory_limit_min == 0 && @_worker_memory_limit_max == 0
@_worker_process_start ||= Time.now
@_worker_memory_limit ||= @_worker_memory_limit_min + randomize(@_worker_memory_limit_max - @_worker_memory_limit_min + 1)
@_worker_check_count += 1
if @_worker_check_count % @_worker_check_cycle == 0
rss = GetProcessMem.new.bytes
logger.info "#{self}: worker (pid: #{Process.pid}) using #{rss} bytes." if @_verbose
if rss > @_worker_memory_limit
logger.warn "#{self}: worker (pid: #{Process.pid}) exceeds memory limit (#{rss} bytes > #{@_worker_memory_limit} bytes)"
Unicorn::WorkerKiller.kill_self(logger, @_worker_process_start) # 关键点
end
@_worker_check_count = 0
end
end
通过 hack process_client
方法,在请求处理完后,检测进程内存消耗等参数,操作阈值,则将自己干掉,Master 会自动起新的 Worker 进程。
👆 点击关注宝藏公众号 HelloGitHub 👆
评论