Kubernets 集群,使用 ingress-nginx 作为 ingress-controller,使用的是 Let's Encrypt 证书。
因为国内网络原因,ocsp.int-x3.letsencrypt.org
被DNS污染了,直接解析出来的主机无法通过国内网络直接访问。iOS
系统回强制https的在线证书校验逻辑,导致会经常连接超时或初次连接速度很慢,影响用户体验。
解决办法有两个:
在线证书校验
,找到个现成的库:https://github.com/zymxxxs/YM...
OCSP Stapling
可以代替客户端做 在线证书校验
,将验证结果直接返回客户端通过客户端的方式解决,在用浏览器直接访问时还是会慢,这里主要介绍服务端解决方案:
nginx
是支持 OCSP Stapling
配置也很简单
server { ssl_stapling on; }
集群使用的是 ingress-nginx
,使用helm部署这样配置values (只展示了关键配置)
controller: config: enable-ocsp: "true"
但是还有一个问题,服务端也需要访问 ocsp.int-x3.letsencrypt.org
来获取证书验证信息
在这里,找到个解决办法:https://blog.csdn.net/qq_3458...
只需要将 ocsp.int-x3.letsencrypt.org
解析到这个IP 23.32.3.72
即可
在集群内实现这一点有如下几个方法:
参考配置文档:https://coredns.io/plugins/ho...
注意,配置中 fallthrough
必须添加,否则会导致集群网络异常
apiVersion: v1 kind: ConfigMap metadata: name: coredns namespace: kube-system data: Corefile: | .:53 { ... # 原配置省略,在后面追加即可 hosts { 23.32.3.72 ocsp.int-x3.letsencrypt.org fallthrough } }
ingress-nginx
的Pod配置,添加dnsConfig添加dnsConfig指向自部署DNS服务器,自部署的DNS服务器添加A记录 ocsp.int-x3.letsencrypt.org
--> 23.32.3.72
这里使用helm通过部署coredns部署DNS服务器 https://hub.helm.sh/charts/st... 我当前使用的版本:1.10.1
values配置如下:
service: # 必须指定集群IP,可以自行修改,注意集群支持的service网段 clusterIP: 10.96.88.88 servers: - zones: - zone: . port: 53 plugins: - name: errors # Serves a /health endpoint on :8080, required for livenessProbe - name: health configBlock: |- lameduck 5s # Serves a /ready endpoint on :8181, required for readinessProbe - name: ready # Required to query kubernetes API for data - name: kubernetes parameters: cluster.local in-addr.arpa ip6.arpa configBlock: |- pods insecure fallthrough in-addr.arpa ip6.arpa ttl 30 - name: forward parameters: . /etc/resolv.conf - name: cache parameters: 30 - name: loop - name: reload - name: loadbalance # 此处为关键配置 - name: hosts configBlock: |- 23.32.3.72 ocsp.int-x3.letsencrypt.org fallthrough
ingress-nginx
安装使用的是官方提供的 helm chart:https://kubernetes.github.io/...
values关键配置如下:
controller: ... # 修改dns配置 dnsConfig: nameservers: # 与上面DNS服务器指定的集群IP对应 - 10.96.88.88 searches: - ocsp.int-x3.letsencrypt.org ...
ingress-nginx
的Pod配置,添加hostAliases(此方法无效,仅提供思路给大家测试)添加hostAliases将域名重新指向
经测试此方法虽然可以让ingress-nginx
容器内网络按预期走,但是nginx做OCSP时并没有成功按预期解析域名
需要先修改ingress-nginx
的chart,添加设置hostAliases支持
# 拉去chart helm pull ingress-nginx/ingress-nginx --version 2.1.0
配置文件较长仅列出关键修改,所有修改都是添加,参照修下面添加到对应位置即可:
# values.yaml controller: ... # Optionally customize the pod hostAliases. hostAliases: {} ...
# templates/controller-deployment.yaml spec: template: metadata: spec: ... {{- if .Values.controller.hostAliases }} hostAliases: {{ toYaml .Values.controller.hostAliases | nindent 8 }} {{- end }} ...
# templates/controller-daemonset.yaml spec: template: metadata: spec: ... {{- if .Values.controller.hostAliases }} hostAliases: {{ toYaml .Values.controller.hostAliases | nindent 8 }} {{- end }} ...
至此chart修改完成,修改部署时的 values
controller: ... hostAliases: - ip: 23.32.3.72 hostnames: - ocsp.int-x3.letsencrypt.org ...
echo QUIT | openssl s_client -connect xxxxxxxxx.com:443 -servername xxxxxxxxx.com -status 2> /dev/null | grep -A 17 'OCSP response:'
输出以下内容说明开启并获取 OCSP Stapling 成功
OCSP response: ====================================== OCSP Response Data: OCSP Response Status: successful (0x0) Response Type: Basic OCSP Response Version: 1 (0x0) Responder Id: C = US, O = Let's Encrypt, CN = Let's Encrypt Authority X3 Produced At: May 19 11:26:00 2020 GMT Responses: Certificate ID: Hash Algorithm: sha1 Issuer Name Hash: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx Issuer Key Hash: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx Serial Number: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx Cert Status: good This Update: May 19 11:00:00 2020 GMT Next Update: May 26 11:00:00 2020 GMT
输出以下内容说明开启并获取 OCSP Stapling 失败
OCSP response: no response sent --- Certificate chain 0 s:/CN=xxxxxxx.com i:/C=US/O=Let's Encrypt/CN=Let's Encrypt Authority X3 1 s:/C=US/O=Let's Encrypt/CN=Let's Encrypt Authority X3 i:/O=Digital Signature Trust Co./CN=DST Root CA X3 --- Server certificate