微服务中的灰度发布是什么？实现思路又是什么？-技术圈

聊技术，不止于技术

灰度发布又名金丝雀发布，在微服务中的表现为同一服务同时上线不同版本，让一部分用户使用新版本来验证新特性，如果验证没有问题，则将所有用户都迁移到新版本上。

在微服务架构中，网关负责请求的统一入口，主要功能之一是请求路由。而灰度发布实质就是让指定用户路由到指定版本的服务上。所以该功能可以在网关这一层实现。

今天的文章以Spring Cloud Gateway为例来实现灰度发布的功能，当然不同的网关实现细节肯定不一样，所以更希望大家能够关注实现思路。

Spring Cloud Gateway的路由逻辑

既然要让指定用户路由到指定服务版本，我们需要先了解Spring Cloud Gateway的路由逻辑。

Spring Cloud Gateway通过Predicate来匹配路由。

- id: user-route      uri: lb://user-login      predicates:        - Path=/user/**

上述路由规则表示只要请求URL符合 /user/** 则都会匹配到 user-route 这条路由规则中。（根据Predicate寻找路由匹配规则的源码在 RoutePredicateHandlerMapping#lookupRoute 方法中）。

那么要实现灰度发布该怎么做呢？

我们这里可以自己写一个Predicate，来实现指定用户匹配到指定的路由规则当中。假设我们自己写的Predicate叫HeaderUserNameRoutePredicateFactory （相应源码在文后），相应的配置如下：

 - id: user-route-gray      uri: lb://user-login      predicates:        - Path=/user/**        - HeaderUsername=Jack

上述路由规则表示请求URL符合 /user/** 并且请求的HTTP Header中的Username属性值为Jack则会匹配到 user-route-gray 这条路由规则中。

实现了指定用户匹配到指定规则只是第一步，下一步要实现的是如何让指定用户路由到指定版本的服务中，想要实现这一点，就需要先了解Spring Cloud Gateway的负载均衡逻辑，也就是Spring Cloud Gateway是如何选取要调用的服务的。

Spring Cloud Gateway的

负载均衡逻辑

负载均衡的逻辑如下：

1、从注册中心获取服务实例列表（实际实现中服务实例列表是后台定时刷新缓存在内存中的）；

2、根据负载均衡算法从实例列表中选取服务。

在Spring Cloud Gateway中，相应的代码在ReactiveLoadBalancerClientFilter#choose 方法中。

默认情况下，Spring Cloud Gateway负载均衡策略会从注册中心所有服务实例中轮询选择一个服务实例。由此可以看出，默认实现无法满足我们的需求，因为我们想要特定用户路由到特定的服务版本上。

那么该如何解决呢？答案是重写负载均衡算法，来实现选择特定版本的服务实例功能。

版本号如何指定

灰度发布的目的是实现指定用户访问指定版本，用户信息可以在HTTP Header中带过来，那么版本号如何指定？

这里有两种方案。

第一种方案也是通过请求的HTTP Header带过来，缺点是需要客户端修改；

第二种方案是在网关层修改请求，动态为请求加上版本号信息，此方案较好，对客户端透明。

灰度发布的实现

看到这里，整个灰度发布的实现思路应该比较清晰了。

1、首先编写自己的Predicate，实现指定用户匹配到指定的路由规则中；

2、动态修改请求，添加版本号信息，版本号信息可以放在HTTP Header中；

3、重写负载均衡算法，根据版本号信息从注册中心的服务实例上选择相应的服务版本进行请求的转发。

思路如上，下面附上关键代码：

自定义 HeaderUsernameRoutePredicateFactory 源码如下：

@Componentpublic class HeaderUsernameRoutePredicateFactory extends AbstractRoutePredicateFactory<HeaderUsernameRoutePredicateFactory.Config> {
    public static final String USERNAME = "Username";
    public HeaderUsernameRoutePredicateFactory() {        super(Config.class);    }
    @Override    public ShortcutType shortcutType() {        return ShortcutType.GATHER_LIST;    }
    @Override    public List<String> shortcutFieldOrder() {        return Collections.singletonList("username");    }
    @Override    public Predicate<ServerWebExchange> apply(Config config) {        List<String> usernames = config.getUsername();        return new GatewayPredicate() {            @Override            public boolean test(ServerWebExchange serverWebExchange) {                String username = serverWebExchange.getRequest().getHeaders().getFirst(USERNAME);                if (!StringUtils.isEmpty(username)) {                    return usernames.contains(username);                }                return false;            }
            @Override            public String toString() {                return String.format("Header: Username=%s", config.getUsername());            }        };    }
    @NoArgsConstructor    @Getter    @Setter    @ToString    public static class Config {        private List<String> username;    }}

自定义负载均衡算法 GrayRoundRobinLoadBalancer 如下：

@Slf4jpublic class GrayRoundRobinLoadBalancer implements ReactorServiceInstanceLoadBalancer {
    private final ObjectProvider<ServiceInstanceListSupplier> serviceInstanceListSupplierProvider;    private final String serviceId;    private final AtomicInteger position;
    public GrayRoundRobinLoadBalancer(ObjectProvider<ServiceInstanceListSupplier> serviceInstanceListSupplierProvider, String serviceId) {        this.serviceId = serviceId;        this.serviceInstanceListSupplierProvider = serviceInstanceListSupplierProvider;        this.position = new AtomicInteger(new Random().nextInt(1000));    }
    @Override    public Mono<Response<ServiceInstance>> choose(Request request) {        HttpHeaders headers = (HttpHeaders) request.getContext();        ServiceInstanceListSupplier supplier = serviceInstanceListSupplierProvider.getIfAvailable(NoopServiceInstanceListSupplier::new);        return supplier.get(request).next().map(list -> getInstanceResponse(list, headers));    }
    private Response<ServiceInstance> getInstanceResponse(List<ServiceInstance> instances, HttpHeaders headers) {        List<ServiceInstance> serviceInstances = instances.stream()                .filter(instance -> {                    //根据请求头中的版本号信息，选取注册中心中的相应服务实例                    String version = headers.getFirst("Version");                    if (version != null) {                        return version.equals(instance.getMetadata().get("version"));                    } else {                        return true;                    }                }).collect(Collectors.toList());        if (instances.isEmpty()) {            if (log.isWarnEnabled()) {                log.warn("No servers available for service: " + serviceId);            }            return new EmptyResponse();        }        int pos = Math.abs(this.position.incrementAndGet());        ServiceInstance instance = serviceInstances.get(pos % serviceInstances.size());        return new DefaultResponse(instance);    }}

自定义 GrayReactiveLoadBalancerClientFilter 如下，调用自定义的负责均衡算法：

@Slf4j@Componentpublic class GrayReactiveLoadBalancerClientFilter implements GlobalFilter, Ordered {
    private static final int LOAD_BALANCER_CLIENT_FILTER_ORDER = 10150;
    private final LoadBalancerClientFactory clientFactory;
    public GrayReactiveLoadBalancerClientFilter(LoadBalancerClientFactory clientFactory) {        this.clientFactory = clientFactory;    }
    @Override    public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {        URI url = (URI) exchange.getAttribute(ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR);        String schemePrefix = (String) exchange.getAttribute(ServerWebExchangeUtils.GATEWAY_SCHEME_PREFIX_ATTR);        if (url != null && ("grayLb".equals(url.getScheme()) || "grayLb".equals(schemePrefix))) {            ServerWebExchangeUtils.addOriginalRequestUrl(exchange, url);            if (log.isTraceEnabled()) {                log.trace(ReactiveLoadBalancerClientFilter.class.getSimpleName() + " url before: " + url);            }            return this.choose(exchange).doOnNext((response) -> {                if (!response.hasServer()) {                    throw NotFoundException.create(true, "Unable to find instance for " + url.getHost());                } else {                    URI uri = exchange.getRequest().getURI();                    String overrideScheme = null;                    if (schemePrefix != null) {                        overrideScheme = url.getScheme();                    }
                    DelegatingServiceInstance serviceInstance = new DelegatingServiceInstance((ServiceInstance) response.getServer(), overrideScheme);                    URI requestUrl = this.reconstructURI(serviceInstance, uri);                    if (log.isTraceEnabled()) {                        log.trace("LoadBalancerClientFilter url chosen: " + requestUrl);                    }
                    exchange.getAttributes().put(ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR, requestUrl);                }            }).then(chain.filter(exchange));        } else {            return chain.filter(exchange);        }    }
    private Mono<Response<ServiceInstance>> choose(ServerWebExchange exchange) {        URI uri = (URI) exchange.getAttribute(ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR);        GrayRoundRobinLoadBalancer loadBalancer = new GrayRoundRobinLoadBalancer(clientFactory.getLazyProvider(uri.getHost(), ServiceInstanceListSupplier.class), uri.getHost());        return loadBalancer.choose(this.createRequest(exchange));    }
    private Request createRequest(ServerWebExchange exchange) {        HttpHeaders headers = exchange.getRequest().getHeaders();        return new DefaultRequest<>(headers);    }
    protected URI reconstructURI(ServiceInstance serviceInstance, URI original) {        return LoadBalancerUriTools.reconstructURI(serviceInstance, original);    }
    @Override    public int getOrder() {        return LOAD_BALANCER_CLIENT_FILTER_ORDER;    }}

最后的路由规则配置如下，表示用户Jack走V2版本，其他用户走V1版本：

- id: user-route-gray      uri: grayLb://user-login      predicates:        - Path=/user/**        - HeaderUsername=Jack      filters:        - AddRequestHeader=Version,v2 - id: user-route      uri: grayLb://user-login      predicates:        - Path=/user/**      filters:        - AddRequestHeader=Version,v1

写在最后

微服务中的灰度发布功能如上所述，相比实现，思路是大家更需要关注的地方。思路清晰了，即使换个网关实现，换个注册中心实现，都是一样的。

灰度发布实质是让指定用户访问指定版本的服务。

所以首先需要指定用户匹配到指定的路由规则。

其次，服务的版本号信息可以通过HTTP请求头字段来指定。

最后，负载均衡算法需要能够根据版本号信息来做服务实例的选择。

完整项目代码，对话框回复【灰度发布】即可获取。

希望今天的内容对大家有所帮助。