云原生 envoy xDS 动态配置 java控制平面开发支持restful grpc实现 EDS 动态endpoint配置-Toy模板网

这篇具有很好参考价值的文章主要介绍了云原生 envoy xDS 动态配置 java控制平面开发支持restful grpc实现 EDS 动态endpoint配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

envoy xDS 动态配置 java控制平面开发支持restful grpc 动态endpoint配置

大纲

基础概念
Envoy 动态配置API
配置方式
动静结合的配置方式
纯动态配置方式
实战

基础概念

Envoy 的强大功能之一是支持动态配置，当使用动态配置时，我们不需要重新启动 Envoy 进程就可以生效。Envoy 通过从磁盘文件或网络接口读取配置，动态地重新加载配置。动态配置使用所谓的发现服务 API，指向配置的特定部分。这些 API 也被统称为xDS 即 (xxx discovery service)

注意：
Envoy的发现API开发模式是，按照Envoy指定的接口名称，请求参数，响应值，自己开发，即需要满足Envoy的规范

Envoy动态配置支持文件方式，grpc接口和, restful接口，其中 grpc接口/REST接口 的配置提供者（自己开发的项目）也被称为控制平面

实现方式：

文件方式： 监听文件的变化动态修改
grpc接口： 使用的tcp长连接
REST接口： 使用的http轮询的方式实现

Envoy 动态配置API

API类型

Envoy 内部有多个发现服务 API （xDS）：

监听器发现服务（LDS listener discovery service） 使用 LDS，Envoy 可以在运行时发现监听器，包括所有的过滤器栈、HTTP 过滤器和对 RDS 的引用。（即动态配置 listener 类似nginx配置虚拟主机）
扩展配置发现服务（ECDS） 使用 ECDS，Envoy 可以独立于监听器获取扩展配置（例如，HTTP 过滤器配置）。
路由发现服务（RDS route discovery service） 使用 RDS，Envoy 可以在运行时发现 HTTP 连接管理器过滤器的整个路由配置。与 EDS 和 CDS 相结合，我们可以实现复杂的路由拓扑结构。（即动态配置路由）
虚拟主机发现服务（VHDS） 使用 VHDS 允许 Envoy 从路由配置中单独请求虚拟主机。当路由配置中有大量的虚拟主机时，就可以使用这个功能。
宽泛路由发现服务（SRDS） 使用 SRDS，可以把路由表分解成多个部分。当有大的路由表时，就可以使用这个 API。
集群发现服务（CDS cluster discovery service ） 使用 CDS，Envoy 可以发现上游集群。Envoy 将通过排空和重新连接所有现有的连接池来优雅地添加、更新或删除集群。Envoy 在初始化时不必知道所有的集群，因为我们可以在以后使用 CDS 配置它们。（即动态配置集群）
端点发现服务（EDS endpoint discovery service） 使用 EDS，Envoy 可以发现上游集群的成员。 （即动态配置后端服务类似nginx upstream）
秘密发现服务（SDS） 使用 SDS，Envoy 可以为其监听器发现秘密（证书和私钥，TLS 会话密钥），并为对等的证书验证逻辑进行配置。
运行时发现服务（RTDS） 使用 RTDS，Envoy 可以动态地发现运行时层。

API 版本

Envoy 的 API 有 v2 v3 目前主流版本是 v3

官方文档 https://www.envoyproxy.io/docs/envoy/latest/configuration/overview/xds_api

xDS API 可以使用restful接口和grpc接口开发，只要满足指定的接口名称和DiscoveryRequest,DiscoveryResponse参数和响应对象即可

例如以下就是一个EDS的接口
/v3/discovery:endpoints （即自己写的controller的mapping是/v3/discovery:endpoints）
@RequestMapping("/v3/discovery:endpoints")

配置方式

动静结合的配置方式

静态配置与动态配置结合

例如

static_resources:
  listeners:
  - name: my_listener
    address:
      socket_address: 
        protocol: TCP
        address: 0.0.0.0
        port_value: 15200
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: my-http-filter
          http_filters:
                - name: envoy.filters.http.router
          stat_prefix: my_listener_http
          codec_type: AUTO
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains: ["*"]
              routes:
              - match:  
                  prefix: "/" 
                route:  
                  cluster: user-service 
  clusters:
    - name: user-service
      type: EDS #这里就是使用动态配置的方式实现endpoint的动态发现
      connect_timeout: 0.5s
      eds_cluster_config: 
        eds_config:
          resource_api_version: V3
          api_config_source:
            api_type: REST
            transport_api_version: V3
            cluster_names: [edscluster]
            refresh_delay: 10s 
    - name: edscluster
      type: STATIC
      connect_timeout: 0.5s
      hosts:  
        - socket_address: 
             address: 192.168.0.218
             port_value: 7590

纯动态配置方式

使用dynamic_resources 配置动态内容

例如

dynamic_resources:
  ads_config:
    api_type: GRPC
    transport_api_version: V3
    grpc_services:
    - envoy_grpc:
        cluster_name: xds_cluster
  cds_config:
    resource_api_version: V3
    api_config_source:
      api_type: GRPC
      transport_api_version: V3
      grpc_services:
      - envoy_grpc:
          cluster_name: xds_cluster
  lds_config:
    resource_api_version: V3
    api_config_source:
      api_type: GRPC
      transport_api_version: V3
      grpc_services:
      - envoy_grpc:
          cluster_name: xds_cluster

当envoy没有读取到配置时会一直使用默认的配置，所以如果控制平面宕机后还是会保持配置

每个 xDS API 都有给定的资源类型:

v2版本

LDS :  envoy.api.v2.Listener
RDS : envoy.api.v2.RouteConfiguration
CDS : envoy.api.v2.Cluster
EDS ：envoy.api.v2.ClusterLoadAssignment (EDS就是配置 endpoint)

v3版本

envoy.config.listener.v3.Listener
envoy.config.route.v3.RouteConfiguration,
envoy.config.route.v3.ScopedRouteConfiguration,
envoy.config.route.v3.VirtualHost
envoy.config.cluster.v3.Cluster
envoy.config.endpoint.v3.ClusterLoadAssignment  (EDS endpoint 返回的resources 对象类型)
envoy.extensions.transport_sockets.tls.v3.Secret
envoy.service.runtime.v3.Runtime

即接口返回DiscoveryResponse 内部的resources 是以上类型

实战

本次测试 envoy的版本为v1.16.0 使用docker镜像部署

云原生 envoy xDS 动态配置 java控制平面开发支持restful grpc实现 EDS 动态endpoint配置,docker+k8s,云原生,java,envoy,k8s,docker

基于envoy xDS api v3版本 java restful实现

step1 配置 envoy.yaml

配置文件如下

node:
  cluster: mycluster
  id: test-id


# 这是一段静态配置
static_resources:
  listeners:
  - name: my_listener
    address:
      socket_address: 
        protocol: TCP
        address: 0.0.0.0
        port_value: 15200 #配置一个静态的listener 监听来自任意IP的请求15200端口的http请求
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager #注意指定filters
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: my-http-filter
          http_filters:
                - name: envoy.filters.http.router
          stat_prefix: my_listener_http
          codec_type: AUTO
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains: ["*"]  #任意域名的请求
              routes:
              - match:  
                  prefix: "/"   # 任意url的请求
                route:  
                  cluster: user-service  # 路由到user-service 集群
  
  # 配置集群    
  clusters:
    - name: user-service
      type: EDS  #模式指定为EDS  
      connect_timeout: 0.5s # 配置连接超时时间
      eds_cluster_config: 
        eds_config:
          resource_api_version: V3 #指定使用V3版本接口
          api_config_source:
            api_type: REST  #使用restful的方式
            transport_api_version: V3   #指定使用V3版本接口
            cluster_names: [edscluster]
            refresh_delay: 10s  # 配置刷新频率
      # 这里配置的是envoy EDS接口的提供服务即控制平面       
    - name: edscluster
      type: STATIC
      connect_timeout: 0.5s # 配置连接超时时间
      # envoy会去请求 192.168.0.218:7590/v3/discovery:endpoints 这个接口 获取endpoint配置信息
      # 代码见 my-docker-demo-envoy-plane/DataPlaneEndpointControllerV3.java
      hosts:  
        - socket_address: 
             address: 192.168.0.218
             port_value: 7590

启动 envoy 镜像

docker run  -p 5201:5201 -p 15200:15200  -v /ops/envoy:/etc/envoy  envoyproxy/envoy:v1.16.0

envoy 启动后可以看到开始调用 EDS接口，由于还没启动服务此时会报错

云原生 envoy xDS 动态配置 java控制平面开发支持restful grpc实现 EDS 动态endpoint配置,docker+k8s,云原生,java,envoy,k8s,docker

step2 java 程序开发

EDS接口使用java springboot 开发

注意点如下：

1 接口必须是 /v3/discovery:endpoints
2 动态配置需要是一个json 字符串并且满足endpoint需要的格式
3 返回值必须是一个DiscoveryResponse service.discovery.v3.DiscoveryResponse

DiscoveryResponse 格式如下

{
  "version_info": ...,
  "resources": [],
  "type_url": ...,
  "nonce": ...,
  "control_plane": {...}
}

整体的返回值json字符串如下

{
  "versionInfo": "1.0.0",
  "resources": [{
    "@type": "type.googleapis.com/envoy.config.endpoint.v3.ClusterLoadAssignment",
    "clusterName": "user-service",
    "endpoints": [{
      "lbEndpoints": [ {
        "endpoint": {
          "address": {
            "socketAddress": {
              "address": "10.244.1.203",
              "portValue": 5588
            }
          }
        }
      }]
    }]
  }]
}

如果自己拼接json字符串感觉比较麻烦，可以使用envoy-api包

<dependency>
		    <groupId>io.envoyproxy.controlplane</groupId>
		    <artifactId>api</artifactId>
		    <version>1.0.39</version>
		</dependency>

这个包，里面有xDS中的各种资源对象以及grpc接口

也可以使用官方提供的 java控制面板项目 打包编译后得到api包，里面也有xDS中的各种资源对象

云原生 envoy xDS 动态配置 java控制平面开发支持restful grpc实现 EDS 动态endpoint配置,docker+k8s,云原生,java,envoy,k8s,docker

java 代码如下

  @RequestMapping(value="/v3/discovery:endpoints" , produces = {"application/json;charset=UTF-8"})
	public String discovery(HttpServletRequest req) throws Exception {			
		//json 字符串拼接
		//String json = staticJson();
		/**
		 * 构建返回EDS 配置json 字符串
		 */
		String json = useBean();
		
		return json;
	}
	
	/**
	 * @return
	 */
	private String useBean() throws Exception {
		/**
		 * 以下资源类出自
		 * 
		 * <dependency>
		    <groupId>io.envoyproxy.controlplane</groupId>
		    <artifactId>api</artifactId>
		    <version>1.0.39</version>
		</dependency>
		 * 
		 */
		//配置上游服务（类似nginx upstream）
		SocketAddress sa1 = SocketAddress.newBuilder().setAddress("10.244.0.190").setPortValue(5588).build();
		SocketAddress sa2 = SocketAddress.newBuilder().setAddress("10.244.1.203").setPortValue(5588).build();
		Address address1 = Address.newBuilder().setSocketAddress(sa1).build();
		Address address2 = Address.newBuilder().setSocketAddress(sa2).build();
		Endpoint end1 = Endpoint.newBuilder().setAddress(address1).build();
		Endpoint end2 = Endpoint.newBuilder().setAddress(address2).build();
	    LbEndpoint lb1 = LbEndpoint.newBuilder().setEndpoint(end1).build();
	    LbEndpoint lb2 = LbEndpoint.newBuilder().setEndpoint(end2).build();
		LocalityLbEndpoints llb = LocalityLbEndpoints.newBuilder().addLbEndpoints(lb1).addLbEndpoints(lb2).build();
		ClusterLoadAssignment cla = ClusterLoadAssignment.newBuilder()
				.setClusterName("user-service")
				.addEndpoints(llb).build();
		DiscoveryResponse dr = DiscoveryResponse.newBuilder().setVersionInfo("1.0.0")
				.addResources(Any.pack(cla))
				.build();
		
		JsonFormat.TypeRegistry typeRegistry = JsonFormat.TypeRegistry.newBuilder()
		        .add(ClusterLoadAssignment.getDescriptor())
		        .build();
		
		JsonFormat.Printer printer = JsonFormat.printer()
		        .usingTypeRegistry(typeRegistry);
		
		return printer.print(dr);
}

基于 envoy xDS api v3版本 java grpc实现

grpc的关键

1 使用envoy api包实现对应的grpc 服务
2 返回值需要指定typeUrl
3 配置文件需要加入 http2_protocol_options 指定使用http2

没使用http2_protocol_options 配置会出现如下异常

io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2Exception: Unexpected HTTP/1.x request: POST /envoy.service.endpoint.v3.EndpointDiscoveryService/StreamEndpoints 
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2Exception.connectionError(Http2Exception.java:109) ~[grpc-netty-shaded-1.48.1.jar:1.48.1]
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2ConnectionHandler$PrefaceDecoder.readClientPrefaceString(Http2ConnectionHandler.java:302) ~[grpc-netty-shaded-1.48.1.jar:1.48.1]
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2ConnectionHandler$PrefaceDecoder.decode(Http2ConnectionHandler.java:239) ~[grpc-netty-shaded-1.48.1.jar:1.48.1]
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2ConnectionHandler.decode(Http2ConnectionHandler.java:438) [grpc-netty-shaded-1.48.1.jar:1.48.1]

云原生 envoy xDS 动态配置 java控制平面开发支持restful grpc实现 EDS 动态endpoint配置,docker+k8s,云原生,java,envoy,k8s,docker

返回值未指定typeUrl

023-08-16 06:14:49.608][8][warning][config] [source/common/config/grpc_mux_impl.cc:155] Ignoring the message for type URL  as it has no current subscribers.

云原生 envoy xDS 动态配置 java控制平面开发支持restful grpc实现 EDS 动态endpoint配置,docker+k8s,云原生,java,envoy,k8s,docker

关键配置 envoy.yaml 如下

# 指定集群名称
# 动态配置需要指定节点集群名称        
node:
  cluster: mycluster
  id: test-id


# 这是一段静态配置
static_resources:
  listeners:
  - name: my_listener
    address:
      socket_address: 
        protocol: TCP
        address: 0.0.0.0
        port_value: 15200 #配置一个静态的listener 监听来自任意IP的请求15200端口的http请求
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager #注意指定filters
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: my-http-filter
          http_filters:
            - name: envoy.filters.http.router
          stat_prefix: my_listener_http
          codec_type: AUTO
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains: ["*"]  #任意域名的请求
              routes:
              - match:  
                  prefix: "/"   # 任意url的请求
                route:  
                  cluster: user-service  # 路由到user-service 集群
  
  # 配置集群    
  clusters:
    - name: user-service
      type: EDS  #模式指定为EDS  
      connect_timeout: 0.5s # 配置连接超时时间
      eds_cluster_config: 
        eds_config:
          resource_api_version: V3 #指定使用V3版本接口
          api_config_source:
            api_type: GRPC  #使用grpc的方式
            transport_api_version: V3   #指定使用V3版本接口
            # 指定grpc_services 对应的集群
            # 这里将使用下面定义的集群
            grpc_services: 
              - envoy_grpc: 
                  cluster_name: edscluster
           
    # 这里配置的是envoy EDS接口的提供服务即控制平面       
    - name: edscluster
      type: STATIC
      connect_timeout: 0.5s # 配置连接超时时间
      # 这里是一个关键，必须指定http2_protocol_options 即使用http2
      http2_protocol_options: {}
      hosts:  
        - socket_address: 
             address: 192.168.0.218
             port_value: 7899

关键java代码文章来源地址https://www.toymoban.com/news/detail-652954.html

public class EndpointDiscoveryServiceGrpcImpl extends EndpointDiscoveryServiceGrpc.EndpointDiscoveryServiceImplBase {

	
	/**
	 * 这个接口是客户端模式
	 * 
	 */
	@Override
	public io.grpc.stub.StreamObserver<io.envoyproxy.envoy.service.discovery.v3.DiscoveryRequest> streamEndpoints(
	        io.grpc.stub.StreamObserver<io.envoyproxy.envoy.service.discovery.v3.DiscoveryResponse> responseObserver) {
	     System.out.println("run grpc ...");
	     /**
	      * 创建StreamObserver<DiscoveryRequest>对象
	      */
		StreamObserver<DiscoveryRequest> so = new StreamObserver<DiscoveryRequest>() {

			@Override
			public void onNext(DiscoveryRequest request) {
				 //接收客户端每一次发送的数据，返回给客户端
				//showRequest(request);
				
			    SocketAddress sa1 = SocketAddress.newBuilder().setAddress("10.244.0.214").setPortValue(5588).build();
				SocketAddress sa2 = SocketAddress.newBuilder().setAddress("10.244.0.201").setPortValue(5588).build();
				Address address1 = Address.newBuilder().setSocketAddress(sa1).build();
				Address address2 = Address.newBuilder().setSocketAddress(sa2).build();
				Endpoint end1 = Endpoint.newBuilder().setAddress(address1).build();
				Endpoint end2 = Endpoint.newBuilder().setAddress(address2).build();
			    LbEndpoint lb1 = LbEndpoint.newBuilder().setEndpoint(end1).build();
			    LbEndpoint lb2 = LbEndpoint.newBuilder().setEndpoint(end2).build();
				LocalityLbEndpoints llb = LocalityLbEndpoints.newBuilder().addLbEndpoints(lb1).addLbEndpoints(lb2).build();
				ClusterLoadAssignment cla = ClusterLoadAssignment.newBuilder()
						 /**
				         * 这里配置的ClusterName 应该是路由对应的cluster name 而不是 node中的cluster
				         * route: { cluster: user-service }
				         */
						.setClusterName("user-service") 
						.addEndpoints(llb).build();
				final DiscoveryResponse dr = DiscoveryResponse.newBuilder().setVersionInfo("1.0.0")							
						.setTypeUrl("type.googleapis.com/envoy.config.endpoint.v3.ClusterLoadAssignment")
						.addResources(Any.pack(cla))
						.build();
				
				/**
				 * 客户端模式这里不会去关闭StreamObserver
				 * 即不会调用 responseObserver.onCompleted();方法
				 */
				responseObserver.onNext(dr);
				
				System.out.println("send DiscoveryResponse ");
			}

			@Override
			public void onError(Throwable t) {
				System.out.println("onError");
				 t.printStackTrace();
			}

			@Override
			public void onCompleted() {
				 //当客户端数据发送完毕后调用此方法，返回客户端
				
				 SocketAddress sa1 = SocketAddress.newBuilder().setAddress("10.244.0.214").setPortValue(5588).build();
				SocketAddress sa2 = SocketAddress.newBuilder().setAddress("10.244.0.201").setPortValue(5588).build();
				Address address1 = Address.newBuilder().setSocketAddress(sa1).build();
				Address address2 = Address.newBuilder().setSocketAddress(sa2).build();
				Endpoint end1 = Endpoint.newBuilder().setAddress(address1).build();
				Endpoint end2 = Endpoint.newBuilder().setAddress(address2).build();
			    LbEndpoint lb1 = LbEndpoint.newBuilder().setEndpoint(end1).build();
			    LbEndpoint lb2 = LbEndpoint.newBuilder().setEndpoint(end2).build();
				LocalityLbEndpoints llb = LocalityLbEndpoints.newBuilder().addLbEndpoints(lb1).addLbEndpoints(lb2).build();
				ClusterLoadAssignment cla = ClusterLoadAssignment.newBuilder()
						.setClusterName("user-service")
						.addEndpoints(llb).build();
				final DiscoveryResponse dr = DiscoveryResponse.newBuilder().setVersionInfo("1.0.0")
						.addResources(Any.pack(cla))
						.build();
				
				System.out.println("onCompleted");
				responseObserver.onNext(dr);
                responseObserver.onCompleted();
			}
		
	};
    return so;

到了这里，关于云原生 envoy xDS 动态配置 java控制平面开发支持restful grpc实现 EDS 动态endpoint配置的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！