作者介绍

王渊命，团队协作IM服务Grouk联合创始人及CTO，技术极客，曾任新浪微博架构师、微米技术总监。2015年作为联合创始人创立团队协作IM服务Grouk，长期关注团队协作基础工具和研发环境建设，Docker深度实践者。

正文

最近研究了一段时间的Kubernetes，将我们服务的测试环境服务部署到了Kubernetes上，上周末在团队中分享了下，顺便整理成文章。

阅读对象：对Kubernetes尚未深入了解的同学

首先，为什么要用Kubernetes? 使用一个工具先要梳理下使用这个工具的目标，我们不是为了工具而用工具。

Kubernetes的目标用一张被很多人引用过的图来说明最好：

Kubernetes的目标是让你可以像管理牲畜一样管理你的服务，而不是像宠物一样，同时提高资源的利用率，让码农关注在应用开发本身，高可用的事情就交给Kubernetes吧。这个图本来是openstack提出的，但纯粹IaaS层的解决方案实现不了这个目标，于是有了Kubernetes。

Kubernetes和Borg系出同门，基本是Borg的开源改进版本，引用Google Borg论文里的说法：

it (1) hides the details of resource management and failure handling so its users can focus on application development instead; (2) operates with very high reliability and availability, and supports applica- tions that do the same; and (3) lets us run workloads across tens of thousands of machines effectively

我们如何验证是否达到这个目标了呢？

随机关掉一台机器，看你的服务能否正常

减少的应用实例能否自动迁移并恢复到其他节点

服务能否随着流量进行自动伸缩

我们从一个简单的多层应用的架构改进来探讨下：

说明:

mysql应该是一主多从的架构，这里为了简单进行了省略

service后面也会依赖数据库等资源，这里为了简单进行了省略

箭头表示调用和依赖关系

具体分析一下为了达到我们的目标，需要做到改进：

Loadbalancer要调用后端应用服务节点，后端应用服务节点挂了或者迁移增加节点，都要变更Loadbalancer的配置。这样明显达不到目标，于是计划将Loadbalancer改造成Smart Loadbalancer，通过服务发现机制，应用实例启动或者销毁时自动注册到一个配置中心（etcd/zookeeper），Loadbalancer监听应用配置的变化自动修改自己的配置。

Web应用对后端资源的依赖，比如Mysql和Memcached，对应资源的ip一般是写到配置文件的。资源节点变更或者增加都要变更应用配置。

Mysql计划该成域名访问方式，而不是ip。为了避免dns变更时的延迟问题，需要在内网架设私有dns。高可用采用MHA方案，然后配合服务发现机制自动修改dns。

Memcached计划参照couchbase的方式，通过服务发现机制，使用SmartClient，客户端应用监听配置中心的节点变化。难点可能在于对Memcached的改造（可以参考couchbase）。另外也可以通过增加一层代理的机制实现。

应用节点迁移时依赖的系统和基础库不一样如何处理？部署方式不一样如何处理？磁盘路径，监听端口等冲突怎么办？这个可以通过Docker这样的容器技术，将应用部署运行的方式进行标准化，操作系统和基础库的依赖允许应用自定义，对磁盘路径以及端口的依赖通过Docker运行参数动态注入，而不需要变更应用配置。Docker的自定义变量以及参数，需要提供标准化的配置文件。

服务迁移问题 每种服务都需要一个master调度中心，来监控实例状态，确定要不要进行迁移，负责统一调度。并且每个服务器节点上要有个agent来执行具体的操作，监控该节点上的应用。另外还要提供接口以及工具去操作。

网络以及端口冲突的问题比较麻烦 需要引入类似SDN的解决方案。

内存,cpu,以及磁盘等硬件资源，原来的习惯是购买服务器的时候就根据服务器的上的应用类型进行规划，如果应用和硬件解耦，这种方式需要淘汰。但必须有一种调度机制让应用迁移的时候可进行筛选。

总结一下，通过分析得出，要达到目标，关键是解耦，应用进程和资源（包括 cpu，内存，磁盘，网络）的解耦，服务依赖关系的解耦。

我们上面的改造机制基本是按照个案进行设计，Kubernetes的则是要提供一套全面通用的机制。

然后，我们看看Kubernetes对以上问题的解决方案：

先上一张Kubernetes官方的架构图

调度中心master，主要有四个组件构成：

etcd 作为配置中心和存储服务（架构图中的Distributed Watchable Storage），保存了所有组件的定义以及状态，Kubernetes的多个组件之间的互相交互也主要通过etcd。

kube-apiserver 提供和外部交互的接口，提供安全机制，大多数接口都是直接读写etcd中的数据。

kube-scheduler 调度器，主要干一件事情：监听etcd中的pod目录变更，然后通过调度算法分配node，最后调用apiserver的bind接口将分配的node和pod进行关联（修改pod节点中的nodeName属性）。scheduler在Kubernetes中是一个plugin，可以用其他的实现替换（比如mesos）。有不同的算法提供，算法接口如下:

kube-controller-manager 承担了master的主要功能，比如和CloudProvider(IaaS)交互，管理node，pod，replication，service，namespace等。基本机制是监听etcd /registry/events下对应的事件，进行处理。具体的逻辑需要专门文章分析，此处不进行详解。

节点上的agent，主要有两个组件：

kubelet 主要包含容器管理，镜像管理，Volume管理等。同时kubelet也是一个rest服务，和pod相关的命令操作都是通过调用接口实现的。比如：查看pod日志，在pod上执行命令等。pod的启动以及销毁操作依然是通过监听etcd的变更进行操作的。但kubelet不直接和etcd交互，而是通过apiserver提供的watch机制，应该是出于安全的考虑。kubelet提供插件机制，用于支持Volume和Network的扩展。

kube-proxy 主要用于实现Kubernetes的service机制。提供一部分SDN功能以及集群内部的智能LoadBalancer。前面我们也分析了，应用实例在多个服务器节点之间迁移的一个难题是网络和端口冲突问题。Kubernetes为每个service分配一个clusterIP（虚拟ip）。不同的service用不同的ip，所以端口也不会冲突。Kubernetes的虚拟ip是通过iptables机制实现的。每个service定义的端口，kube-proxy都会监听一个随机端口对应，然后通过iptables nat规则做转发。比如Kubernetes上有个dns服务，clusterIP:10.254.0.10，端口:53。应用对10.254.0.10:53的请求会被转发到该node的kube-proxy监听的随机端口上，然后再转发给对应的pod。如果该服务的pod不在当前node上，会先在kube-proxy之间进行转发。当前版本的kube-proxy是通过tcp代理实现的，性能损失比较大（具体参看后面的压测比较），1.2版本中已经计划将kube-proxy完全通过iptables实现(https://github.com/kubernetes/kubernetes/issues/3760)

Pods Kubernetes将应用的具体实例抽象为pod。每个pod首先会启动一个google_containers/pause docker容器，然后再启动应用真正的docker容器。这样做的目的是为了可以将多个docker容器封装到一个pod中，共享网络地址。

Replication Controller 控制pod的副本数量，高可用就靠它了。

Services service是对一组pods的抽象，通过kube-proxy的智能LoadBalancer机制，pods的销毁迁移不会影响services的功能以及上层的调用方。Kubernetes对service的抽象可以将底层服务和上层服务的依赖关系解耦，同时实现了和Docker links类似的环境变量注入机制(https://github.com/kubernetes/kubernetes/blob/release-1.0/docs/user-guide/services.md#environment-variables)，但更灵活。如果配合dns的短域名解析机制，最终可实现完全解耦。

Label key-value格式的标签，主要用于筛选，比如service和后端的pod是通过label进行筛选的，是弱关联的。

Namespace Kubernetes中的namespace主要用来避免pod，service的名称冲突。同一个namespace内的pod，service的名称必须是唯一的。

Kubectl Kubernetes的命令行工具，主要是通过调用apiserver来实现管理。

Kube-dns dns是Kubernetes之上的应用，通过设置Pod的dns searchDomain（由kubelet启动pod时进行操作），可以实现同一个namespace中的service直接通过名称解析（这样带来的好处是开发测试正式环境可以共用同一套配置）。主要包含以下组件，这几个组件是打包到同一个pod中的。

etcd skydns依赖，用于存储dns数据

skydns 开源的dns服务

kube2sky 通过apiserver的接口监听kube内部变更，然后调用skydns的接口操作dns

Networking Kubernetes的理念里，pod之间是可以直接通讯的(http://kubernetes.io/v1.1/docs/admin/networking.html)，但实际上并没有内置解决方案，需要用户自己选择解决方案: Flannel,OpenVSwitch,Weave 等。我们测试用的是Flannel,比较简单。

配置文件 Kubernetes 支持yaml和json格式的配置文件，主要用来定义pod,replication controller,service,namespace等。

Kubernates 可能带来的改变

降低分布式应用开发运维的复杂度 纵观当前的各种分布式架构，hadoop，storm等，都是master-workers模式，框架很大一部分功能在节点的管理，处理程序的调度上，如果基于Kubernetes来实现类似功能，这些基本都可以交给Kubernetes完成，框架只需要负责核心数据的流转以及收集逻辑。当然，当前Kubernetes的pod还未像Borg一样直接支持batch job，但按照Kubernetes和Borg的关系，将来应该会支持(http://blog.kubernetes.io/2015/04/borg-predecessor-to-kubernetes.html)。

更完备的CI/CD(持续集成/持续交付)工具 CI是code-deploy的关键工具，但当前由于受限于部署环境的不一致，CI可做的事情有限，大多数还依赖用户的自定义脚本。有了Kubernetes这样的标准环境后，以后此类工具可以覆盖测试环境部署，集成测试，上线部署等环节，实现标准化的交付工作流。

Kubernetes之上的分布式存储 Kubernetes官方提供了一个在Kubernetes上部署cassandra的例子，只需要重写一个基于Kubernetes apiserver的SeedProvider，就可以避免静态配置seed ip，享受Kubernetes带来的scale-out能力。再如前面我们提到的memcached的高可用例子，如果基于Kubernetes实现一个memcached的smart client，只需要改下客户端即可，非常简单。个人认为以后在Kubernetes上的支持多租户的分布式存储会更加流行。只要解决了存储服务的scale-out问题，应用的scale-out一般不会有太大问题。Hypernetes就是一个实现了多租户的Kubernetes版本。

企业应用的分发 当前SaaS(on-demand)比较流行的一个很大的原因是原来的on-premise应用的部署运维成本太高，如果Kubernetes等分布式操作系统得到广泛应用，on-premise的成本降低，on-premise以及托管云模式对SaaS的格局也会带来影响。这也是我们这样的创业公司关注Kubernetes的原因之一。

对IaaS的影响 当前的IaaS平台的组件逐渐有闭源的趋势，比如AWS尝试用Aurora替代Mysql，阿里云用KVStore替换Redis。用户主要关心的是服务的可靠性，自己运维的时候可能会倾向于开源方案，但如果使用云厂商的服务，就不太关心。按照这样的趋势，随着IaaS的普及，会对整个开源的生态产生影响。但有了Kubernetes这样的平台，IaaS厂商主要为Kubernetes提供运行的基础环境，Kubernetes接管上面的应用和服务，这样在IaaS厂商之间迁移也很容易。

微服务 微服务最近很热，但这个概念其实不新。主要一直受限于运维的复杂度，没有普及。如果运维系统跟不上，服务拆太细，很容易出现某个服务器的角落里部署着一个很古老的不常更新的服务，后来大家竟然忘记了，最后服务器迁移的时候给丢了，用户投诉才发现。而随着Docker以及Kubernetes这样的工具和平台逐渐成熟，微服务的时代也到来了。 在Kubernetes上的微服务治理框架可以一揽子解决微服务的rpc，监控，容灾问题，个人觉得可以期待。

遇到的一些问题

最后总结一下我遇到的一些问题

墙 gcr.io已被墙，如果在本地用脚本在虚拟机安装，请全程翻墙。如果在服务器上就自己想办法下载，然后在配置文件中指定镜像地址。

并发拉取镜像导致镜像文件破坏（https://github.com/kubernetes/kubernetes/issues/10623） 这个和docker也相关，建议先用脚本在各node上pull镜像再部署。

同一个pod内的多个容器启动顺序问题 同一个pod的多个容器定义中没有优先级，启动顺序不能保证。比如kube-dns中，etcd要先启动，然后skydns连接etcd创建基本的目录，最后kube2sky启动，将kube中已经定义的数据同步到dns中。如果顺序不对dns数据就不正常。如果遇到这种问题按顺序重启一下对应的容器即可。这种问题当前需要应用自己通过重试机制解决。

容器内访问外部网络 如果使用了Flannel方案，但容器内无法访问公网(node可以的情况)，一般是iptables被搞坏了(https://github.com/coreos/flannel/issues/115)。

当前的Kubernetes没有应用的概念，我们的应用包含4个自己开发的服务组件，还有一些依赖（mysql,redis,mongodb等），定义下来一共要20多个yaml。要实现一键安装或者更新，还需要做不少工作。

Kubernetes的公网负载均衡的解决方案依赖IaaS的实现，不够灵活；

Docker的流行激活了一直不温不火的PaaS，随着而来的是各类Micro-PaaS的出现，Kubernetes是其中最具代表性的一员，它是Google多年大规模容器管理技术的开源版本。本系列文章将逐一分析Kubernetes，本文通过一个例子进行入门，介绍Kubernetes的基本概念和功能。

1. Kubernetes介绍

基本概念

• Pod 
  Pod是Kubernetes的基本操作单元，把相关的一个或多个容器构成一个Pod，通常Pod里的容器运行相同的应用。Pod包含的容器运行在同一个Node(Host)上，看作一个统一管理单元，共享相同的volumes和network namespace/IP和Port空间。
• Replication Controller 
  Replication Controller确保任何时候Kubernetes集群中有指定数量的pod副本(replicas)在运行， 如果少于指定数量的pod副本(replicas)，Replication Controller会启动新的Container，反之会杀死多余的以保证数量不变。Replication Controller使用预先定义的pod模板创建pods，一旦创建成功，pod 模板和创建的pods没有任何关联，可以修改pod 模板而不会对已创建pods有任何影响，也可以直接更新通过Replication Controller创建的pods。对于利用pod 模板创建的pods，Replication Controller根据label selector来关联，通过修改pods的label可以删除对应的pods。
• Service 
  Service也是Kubernetes的基本操作单元，是真实应用服务的抽象，每一个服务后面都有很多对应的容器来支持，通过Proxy的port和服务selector决定服务请求传递给后端提供服务的容器，对外表现为一个单一访问接口，外部不需要了解后端如何运行，这给扩展或维护后端带来很大的好处。
• Label 
  Label是用于区分Pod、Service、Replication Controller的key/value键值对，Pod、Service、 Replication Controller可以有多个label，但是每个label的key只能对应一个value。Labels是Service和Replication Controller运行的基础，为了将访问Service的请求转发给后端提供服务的多个容器，正是通过标识容器的labels来选择正确的容器。同样，Replication Controller也使用labels来管理通过pod 模板创建的一组容器，这样Replication Controller可以更加容易，方便地管理多个容器，无论有多少容器。

架构

Kubernets属于主从的分布式集群架构，包含Master和Node：

1. Master作为控制节点，调度管理整个系统，包含以下组件：

   • API Server作为kubernetes系统的入口，封装了核心对象的增删改查操作，以RESTFul接口方式提供给外部客户和内部组件调用。它维护的REST对象将持久化到etcd(一个分布式强一致性的key/value存储)。
   • Scheduler：负责集群的资源调度，为新建的pod分配机器。这部分工作分出来变成一个组件，意味着可以很方便地替换成其他的调度器。
   • Controller Manager：负责执行各种控制器，目前有两类：（1）Endpoint Controller：定期关联service和pod(关联信息由endpoint对象维护)，保证service到pod的映射总是最新的。（2）Replication Controller：定期关联replicationController和pod，保证replicationController定义的复制数量与实际运行pod的数量总是一致的。

2. Node是运行节点，运行业务容器，包含以下组件：

   • Kubelet：责管控docker容器，如启动/停止、监控运行状态等。它会定期从etcd获取分配到本机的pod，并根据pod信息启动或停止相应的容器。同时，它也会接收apiserver的HTTP请求，汇报pod的运行状态。
   • Kube Proxy：负责为pod提供代理。它会定期从etcd获取所有的service，并根据service信息创建代理。当某个客户pod要访问其他pod时，访问请求会经过本机proxy做转发。

   Kubernets使用Etcd作为存储和通信中间件，实现Master和Node的一致性，这是目前比较常见的做法，典型的SOA架构，解耦Master和Node。

2. Guestbook示例

Guestbook示例将会展示如何运行一个应用到Kubernetes上，应用包含 
- Web前端 
- Redis集群（一个master，2个slave） 

1) 部署Kubernetes

如果你熟悉Bosh/Bosh Lite的话，可以使用kubernetes-release.本文使用Kubernetes环境： 
- master:192.168.3.146 
- node1:192.168.3.147 
- node2:192.168.3.148 
- node3:192.168.3.149

2)启动Redis Master

需要准备配置文件redis-master-controller.yaml，用于描述pod如何运行服务容器：

<code
 class="hljs applescript has-numbering" style="display: block; padding: 
0px; color: inherit; box-sizing: border-box; font-family: 'Source Code 
Pro', monospace;font-size:undefined; white-space: pre; border-radius: 
0px; word-wrap: normal; background: transparent;">apiVersion: v1
kind: ReplicationController
metadata:
  <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: redis-master
  labels:
    <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: redis-master
spec:
  replicas: <span class="hljs-number" style="color: rgb(0, 102, 102);
 box-sizing: border-box;">1</span>
  selector:
    <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: redis-master
  template:
    metadata:
      labels:
        <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: redis-master
    spec:
      containers:
      - <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: master
        image: redis
        ports:
        - containerPort: <span class="hljs-number" style="color: 
rgb(0, 102, 102); box-sizing: 
border-box;">6379</span></code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li><li style="box-sizing: 
border-box; padding: 0px 5px;">2</li><li style="box-sizing: 
border-box; padding: 0px 5px;">3</li><li style="box-sizing: 
border-box; padding: 0px 5px;">4</li><li style="box-sizing: 
border-box; padding: 0px 5px;">5</li><li style="box-sizing: 
border-box; padding: 0px 5px;">6</li><li style="box-sizing: 
border-box; padding: 0px 5px;">7</li><li style="box-sizing: 
border-box; padding: 0px 5px;">8</li><li style="box-sizing: 
border-box; padding: 0px 5px;">9</li><li style="box-sizing: 
border-box; padding: 0px 5px;">10</li><li style="box-sizing:
 border-box; padding: 0px 5px;">11</li><li 
style="box-sizing: border-box; padding: 0px 5px;">12</li><li
 style="box-sizing: border-box; padding: 0px 
5px;">13</li><li style="box-sizing: border-box; padding: 0px
 5px;">14</li><li style="box-sizing: border-box; padding: 
0px 5px;">15</li><li style="box-sizing: border-box; padding:
 0px 5px;">16</li><li style="box-sizing: border-box; 
padding: 0px 5px;">17</li><li style="box-sizing: border-box;
 padding: 0px 5px;">18</li><li style="box-sizing: 
border-box; padding: 0px 5px;">19</li><li style="box-sizing:
 border-box; padding: 0px 5px;">20</li></ul>

即使只有一个Redis Master Pod实例，这里也使用ReplicationController保证Pod持续运行，否则Node挂掉的话，Pod将停止运行。

创建Pod：

<code
 class="hljs lasso has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">$ kubectl create 
<span class="hljs-attribute" style="box-sizing: 
border-box;">-f</span> redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-master</span><span 
class="hljs-attribute" style="box-sizing: 
border-box;">-controller</span><span class="hljs-built_in" 
style="color: rgb(102, 0, 102); box-sizing: 
border-box;">.</span>yaml
</code><ul class="pre-numbering" style="box-sizing: border-box;
 position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; 
padding: 6px 0px 40px; border-right-width: 1px; border-right-style: 
solid; border-right-color: rgb(221, 221, 221); list-style: none; 
text-align: right; background-color: rgb(238, 238, 238);"><li 
style="box-sizing: border-box; padding: 0px 5px;">1</li><li 
style="box-sizing: border-box; padding: 0px 
5px;">2</li></ul>

查看ReplicationController：

<code
 class="hljs applescript has-numbering" style="display: block; padding: 
0px; color: inherit; box-sizing: border-box; font-family: 'Source Code 
Pro', monospace;font-size:undefined; white-space: pre; border-radius: 
0px; word-wrap: normal; background: transparent;">$ kubectl <span 
class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">get</span> rc 
CONTROLLER   CONTAINER(S)  IMAGE(S)  SELECTOR            REPLICAS
redis-master master        redis     <span class="hljs-property" 
style="box-sizing: border-box;">name</span>=redis-master   
<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing:
 border-box;">1</span></code><ul class="pre-numbering"
 style="box-sizing: border-box; position: absolute; width: 50px; top: 
0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 
1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); 
list-style: none; text-align: right; background-color: rgb(238, 238, 
238);"><li style="box-sizing: border-box; padding: 0px 
5px;">1</li><li style="box-sizing: border-box; padding: 0px 
5px;">2</li><li style="box-sizing: border-box; padding: 0px 
5px;">3</li></ul>

查看Pod:

<code
 class="hljs lasso has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">$ kubectl get pods 
<span class="hljs-attribute" style="box-sizing: 
border-box;">-o</span> wide
NAME                READY    STATUS    RESTARTS   AGE       NODE
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-master</span><span class="hljs-attribute" 
style="box-sizing: border-box;">-u3fup</span>   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>/<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>     Running   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>          <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">2</span>m        node1</code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li><li style="box-sizing: 
border-box; padding: 0px 5px;">2</li><li style="box-sizing: 
border-box; padding: 0px 5px;">3</li></ul>

可以看到Pod运行在Node1节点，在Node1查看docker容器：

<code
 class="hljs r has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">$ docker ps
CONTAINER ID  IMAGE                                <span 
class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">...</span>    
feb393fbe42b  redis:latestminute ago               <span 
class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">...</span>         
d9e934ee55ae  gcr.io/google_containers/pause:<span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0.8</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.0</span> <span class="hljs-keyword" 
style="color: rgb(0, 0, 136); box-sizing: 
border-box;">...</span>  </code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li><li style="box-sizing: 
border-box; padding: 0px 5px;">2</li><li style="box-sizing: 
border-box; padding: 0px 5px;">3</li><li style="box-sizing: 
border-box; padding: 0px 5px;">4</li></ul>

总共有2个容器正在运行，其中一个Redis Master，另外一个是google_containers/pause，它是Netowrk Container, 每启动一个Pod都会附加启动这样一个容器，它的作用就只是简单的等待，设置Pod的网络。

如果docker rm -f feb393fbe42b，删掉Redis Master Container，过一会儿就会有新的容器启动，这说明Kubernetes会保证Pod的容器运行。

<code
 class="hljs r has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">$ docker ps
CONTAINER ID  IMAGE                                <span 
class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">...</span>    
fc3b458d333a  redis:latestminute ago               <span 
class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">...</span>         
d9e934ee55ae  gcr.io/google_containers/pause:<span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0.8</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.0</span> <span class="hljs-keyword" 
style="color: rgb(0, 0, 136); box-sizing: 
border-box;">...</span> </code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li><li style="box-sizing: 
border-box; padding: 0px 5px;">2</li><li style="box-sizing: 
border-box; padding: 0px 5px;">3</li><li style="box-sizing: 
border-box; padding: 0px 5px;">4</li></ul>

如果把Node1关掉，Pod会迁移到其他Node上,这是ReplicationController保证Pod运行。

<code
 class="hljs lasso has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">$ kubectl get pods 
<span class="hljs-attribute" style="box-sizing: 
border-box;">-o</span> wide
NAME               READY STATUS   RESTARTS  AGE       NODE
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-master</span><span class="hljs-attribute" 
style="box-sizing: border-box;">-x5kjp</span> <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>/<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>   Running  <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>         <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">7</span>s        node3</code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li><li style="box-sizing: 
border-box; padding: 0px 5px;">2</li><li style="box-sizing: 
border-box; padding: 0px 5px;">3</li></ul>

上一步已经运行起了一个Redis Master Pod, 即使只有一个Pod，也是有必要使用Service。Kubernetes中Service中起到了负载均衡器的作用，通过Proxy和Selector决定服务请求传递给后端提供服务的Pod，对外提供固定的IP,这样的话Redis Master Pod迁移变化也不会影响。

需要redis-master-service.yaml来描述redis master service：

<code
 class="hljs avrasm has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;"><span 
class="hljs-label" style="box-sizing: 
border-box;">apiVersion:</span> v1
<span class="hljs-label" style="box-sizing: 
border-box;">kind:</span> Service
<span class="hljs-label" style="box-sizing: 
border-box;">metadata:</span>
  name: redis-master
  labels:
    name: redis-master
<span class="hljs-label" style="box-sizing: 
border-box;">spec:</span>
  ports:
    <span class="hljs-preprocessor" style="color: rgb(68, 68, 68); 
box-sizing: border-box;"># the port that this service should serve 
on</span>
  - port: <span class="hljs-number" style="color: rgb(0, 102, 102); 
box-sizing: border-box;">6379</span>
    targetPort: <span class="hljs-number" style="color: rgb(0, 102, 
102); box-sizing: border-box;">6379</span>
  selector:
    name: redis-master <span class="hljs-preprocessor" style="color: 
rgb(68, 68, 68); box-sizing: 
border-box;">#和redis-master的Label对应</span></code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li><li style="box-sizing: 
border-box; padding: 0px 5px;">2</li><li style="box-sizing: 
border-box; padding: 0px 5px;">3</li><li style="box-sizing: 
border-box; padding: 0px 5px;">4</li><li style="box-sizing: 
border-box; padding: 0px 5px;">5</li><li style="box-sizing: 
border-box; padding: 0px 5px;">6</li><li style="box-sizing: 
border-box; padding: 0px 5px;">7</li><li style="box-sizing: 
border-box; padding: 0px 5px;">8</li><li style="box-sizing: 
border-box; padding: 0px 5px;">9</li><li style="box-sizing: 
border-box; padding: 0px 5px;">10</li><li style="box-sizing:
 border-box; padding: 0px 5px;">11</li><li 
style="box-sizing: border-box; padding: 0px 5px;">12</li><li
 style="box-sizing: border-box; padding: 0px 
5px;">13</li></ul>

创建Service：

<code
 class="hljs lasso has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">$ kubectl create 
<span class="hljs-attribute" style="box-sizing: 
border-box;">-f</span> redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-master</span><span 
class="hljs-attribute" style="box-sizing: 
border-box;">-service</span><span class="hljs-built_in" 
style="color: rgb(102, 0, 102); box-sizing: 
border-box;">.</span>yaml</code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li></ul>

查看Service: 
$ kubectl get service

<code
 class="hljs lasso has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">NAME            LABELS  
            SELECTOR            IP(S)            PORT(S)
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-master</span>    name<span class="hljs-subst" 
style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-master</span>   name<span 
class="hljs-subst" style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-master</span>   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">10.254</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.189</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.63</span>    <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">6379</span>/TCP</code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li><li style="box-sizing: 
border-box; padding: 0px 5px;">2</li></ul>

Kubernetes会分配IP(10.254.189.63)给Redis Master Service，这个就是Redis Master Service对外暴露的IP，可以通过redis-cli访问：

<code
 class="hljs lasso has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">$ redis<span 
class="hljs-attribute" style="box-sizing: 
border-box;">-cli</span> <span class="hljs-attribute" 
style="box-sizing: border-box;">-h</span> <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">10.254</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.189</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.63</span> info</code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li></ul>

Kubernetes同时提供2种了发现Service的方法： 
- 环境变量 
当Pod运行的时候，Kubernetes会将之前存在的Service的信息通过环境变量写到Pod里面，以Redis Master Service为例，它的信息会被写到新的Pod里面：

<code
 class="hljs bash has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;"><span 
class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: 
border-box;">"REDIS_MASTER_PORT_6379_TCP=tcp://10.254.189.63:6379"</span>,
<span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: 
border-box;">"REDIS_MASTER_PORT_6379_TCP_PROTO=tcp"</span>,
<span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: 
border-box;">"REDIS_MASTER_PORT_6379_TCP_ADDR=10.254.189.63"</span>,
<span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: 
border-box;">"REDIS_MASTER_SERVICE_PORT=6379"</span>,
<span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: 
border-box;">"REDIS_MASTER_SERVICE_HOST=10.254.189.63"</span>,
<span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: 
border-box;">"REDIS_MASTER_PORT=tcp://10.254.189.63:6379"</span>,
<span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: 
border-box;">"REDIS_MASTER_PORT_6379_TCP_PORT=6379"</span>,</code><ul
 class="pre-numbering" style="box-sizing: border-box; position: 
absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 
0px 40px; border-right-width: 1px; border-right-style: solid; 
border-right-color: rgb(221, 221, 221); list-style: none; text-align: 
right; background-color: rgb(238, 238, 238);"><li 
style="box-sizing: border-box; padding: 0px 5px;">1</li><li 
style="box-sizing: border-box; padding: 0px 5px;">2</li><li 
style="box-sizing: border-box; padding: 0px 5px;">3</li><li 
style="box-sizing: border-box; padding: 0px 5px;">4</li><li 
style="box-sizing: border-box; padding: 0px 5px;">5</li><li 
style="box-sizing: border-box; padding: 0px 5px;">6</li><li 
style="box-sizing: border-box; padding: 0px 
5px;">7</li></ul>

这种方法有个比较明显的缺陷，Pod必须在Service之后启动，之前启动的Pod将没有这些环境变量。那么下一种方法就没有这个限制。 
- DNS 
当有新的Service创建，就会自动生成一条DNS记录，比如在Kubernetes的Namespace “my-ns”中有个Service叫”my-service”,那么就有条DNS记录”my-service.my-ns”对应Service的IP。以Redis Master Service为例， 就有条DNS记录：

<code
 class="hljs fix has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;"><span 
class="hljs-attribute" style="box-sizing: border-box;">redis-master 
</span>=<span class="hljs-string" style="color: rgb(0, 136, 0);
 box-sizing: border-box;">> 
10.254.189.63</span></code><ul class="pre-numbering" 
style="box-sizing: border-box; position: absolute; width: 50px; top: 
0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 
1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); 
list-style: none; text-align: right; background-color: rgb(238, 238, 
238);"><li style="box-sizing: border-box; padding: 0px 
5px;">1</li></ul>

3)启动Redis Slave

redis-slave-controller.yaml:

<code
 class="hljs applescript has-numbering" style="display: block; padding: 
0px; color: inherit; box-sizing: border-box; font-family: 'Source Code 
Pro', monospace;font-size:undefined; white-space: pre; border-radius: 
0px; word-wrap: normal; background: transparent;">apiVersion: v1
kind: ReplicationController
metadata:
  <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: redis-slave
  labels:
    <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: redis-slave
spec:
  replicas: <span class="hljs-number" style="color: rgb(0, 102, 102);
 box-sizing: border-box;">2</span>
  selector:
    <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: redis-slave
  template:
    metadata:
      labels:
        <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: redis-slave
    spec:
      containers:
      - <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: worker
        image: kubernetes/redis-slave:v2
        ports:
        - containerPort: <span class="hljs-number" style="color: 
rgb(0, 102, 102); box-sizing: 
border-box;">6379</span></code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li><li style="box-sizing: 
border-box; padding: 0px 5px;">2</li><li style="box-sizing: 
border-box; padding: 0px 5px;">3</li><li style="box-sizing: 
border-box; padding: 0px 5px;">4</li><li style="box-sizing: 
border-box; padding: 0px 5px;">5</li><li style="box-sizing: 
border-box; padding: 0px 5px;">6</li><li style="box-sizing: 
border-box; padding: 0px 5px;">7</li><li style="box-sizing: 
border-box; padding: 0px 5px;">8</li><li style="box-sizing: 
border-box; padding: 0px 5px;">9</li><li style="box-sizing: 
border-box; padding: 0px 5px;">10</li><li style="box-sizing:
 border-box; padding: 0px 5px;">11</li><li 
style="box-sizing: border-box; padding: 0px 5px;">12</li><li
 style="box-sizing: border-box; padding: 0px 
5px;">13</li><li style="box-sizing: border-box; padding: 0px
 5px;">14</li><li style="box-sizing: border-box; padding: 
0px 5px;">15</li><li style="box-sizing: border-box; padding:
 0px 5px;">16</li><li style="box-sizing: border-box; 
padding: 0px 5px;">17</li><li style="box-sizing: border-box;
 padding: 0px 5px;">18</li><li style="box-sizing: 
border-box; padding: 0px 5px;">19</li><li style="box-sizing:
 border-box; padding: 0px 5px;">20</li></ul>

创建Pod：

<code
 class="hljs lasso has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">$ kubectl create 
<span class="hljs-attribute" style="box-sizing: 
border-box;">-f</span> redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-slave</span><span 
class="hljs-attribute" style="box-sizing: 
border-box;">-controller</span><span class="hljs-built_in" 
style="color: rgb(102, 0, 102); box-sizing: 
border-box;">.</span>yaml

$ kubectl get rc
CONTROLLER     CONTAINER(S)   IMAGE(S)                    SELECTOR      
      REPLICAS
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-master</span>   master         redis             
          name<span class="hljs-subst" style="color: rgb(0, 0, 0); 
box-sizing: border-box;">=</span>redis<span 
class="hljs-attribute" style="box-sizing: 
border-box;">-master</span>   <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-slave</span>    worker         
kubernetes/redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-slave</span>:v2   name<span class="hljs-subst"
 style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-slave</span>    <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">2</span>

$ kubectl get pods <span class="hljs-attribute" style="box-sizing: 
border-box;">-o</span> wide
NAME                 READY     STATUS    RESTARTS   AGE       NODE
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-master</span><span class="hljs-attribute" 
style="box-sizing: border-box;">-x5kjp</span>   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>/<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>       Running   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>          <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>h        node3
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-slave</span><span class="hljs-subst" 
style="color: rgb(0, 0, 0); box-sizing: 
border-box;">-</span><span class="hljs-number" style="color:
 rgb(0, 102, 102); box-sizing: border-box;">04</span>o8g    
<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing:
 border-box;">1</span>/<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>       Running   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>          <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">5</span>m        node1
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-slave</span><span class="hljs-attribute" 
style="box-sizing: border-box;">-llxpk</span>    <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>/<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>       Running   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>          <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">5</span>m        node1</code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li><li style="box-sizing: 
border-box; padding: 0px 5px;">2</li><li style="box-sizing: 
border-box; padding: 0px 5px;">3</li><li style="box-sizing: 
border-box; padding: 0px 5px;">4</li><li style="box-sizing: 
border-box; padding: 0px 5px;">5</li><li style="box-sizing: 
border-box; padding: 0px 5px;">6</li><li style="box-sizing: 
border-box; padding: 0px 5px;">7</li><li style="box-sizing: 
border-box; padding: 0px 5px;">8</li><li style="box-sizing: 
border-box; padding: 0px 5px;">9</li><li style="box-sizing: 
border-box; padding: 0px 5px;">10</li><li style="box-sizing:
 border-box; padding: 0px 5px;">11</li><li 
style="box-sizing: border-box; padding: 0px 
5px;">12</li></ul>

redis-slave-service.yaml:

<code
 class="hljs avrasm has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;"><span 
class="hljs-label" style="box-sizing: 
border-box;">apiVersion:</span> v1
<span class="hljs-label" style="box-sizing: 
border-box;">kind:</span> Service
<span class="hljs-label" style="box-sizing: 
border-box;">metadata:</span>
  name: redis-slave
  labels:
    name: redis-slave
<span class="hljs-label" style="box-sizing: 
border-box;">spec:</span>
  ports:
    <span class="hljs-preprocessor" style="color: rgb(68, 68, 68); 
box-sizing: border-box;"># the port that this service should serve 
on</span>
  - port: <span class="hljs-number" style="color: rgb(0, 102, 102); 
box-sizing: border-box;">6379</span>
  selector:
    name: redis-slave</code><ul class="pre-numbering" 
style="box-sizing: border-box; position: absolute; width: 50px; top: 
0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 
1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); 
list-style: none; text-align: right; background-color: rgb(238, 238, 
238);"><li style="box-sizing: border-box; padding: 0px 
5px;">1</li><li style="box-sizing: border-box; padding: 0px 
5px;">2</li><li style="box-sizing: border-box; padding: 0px 
5px;">3</li><li style="box-sizing: border-box; padding: 0px 
5px;">4</li><li style="box-sizing: border-box; padding: 0px 
5px;">5</li><li style="box-sizing: border-box; padding: 0px 
5px;">6</li><li style="box-sizing: border-box; padding: 0px 
5px;">7</li><li style="box-sizing: border-box; padding: 0px 
5px;">8</li><li style="box-sizing: border-box; padding: 0px 
5px;">9</li><li style="box-sizing: border-box; padding: 0px 
5px;">10</li><li style="box-sizing: border-box; padding: 0px
 5px;">11</li><li style="box-sizing: border-box; padding: 
0px 5px;">12</li></ul>

创建Service：

<code
 class="hljs lasso has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">$ kubectl create 
<span class="hljs-attribute" style="box-sizing: 
border-box;">-f</span> redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-slave</span><span 
class="hljs-attribute" style="box-sizing: 
border-box;">-service</span><span class="hljs-built_in" 
style="color: rgb(102, 0, 102); box-sizing: 
border-box;">.</span>yaml 

$ kubectl get service
NAME            LABELS            SELECTOR           IP(S)           
PORT(S)
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-master</span>   name<span class="hljs-subst" 
style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-master</span>  name<span 
class="hljs-subst" style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-master</span>  <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">10.254</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.189</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.63</span>   <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">6379</span>/TCP
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-slave</span>    name<span class="hljs-subst" 
style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-slave</span>   name<span 
class="hljs-subst" style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-slave</span>   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">10.254</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.70</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.184</span>   <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">6379</span>/TCP</code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li><li style="box-sizing: 
border-box; padding: 0px 5px;">2</li><li style="box-sizing: 
border-box; padding: 0px 5px;">3</li><li style="box-sizing: 
border-box; padding: 0px 5px;">4</li><li style="box-sizing: 
border-box; padding: 0px 5px;">5</li><li style="box-sizing: 
border-box; padding: 0px 5px;">6</li></ul>

4)启动Web Frontend

frontend-controller.yaml：

<code
 class="hljs applescript has-numbering" style="display: block; padding: 
0px; color: inherit; box-sizing: border-box; font-family: 'Source Code 
Pro', monospace;font-size:undefined; white-space: pre; border-radius: 
0px; word-wrap: normal; background: transparent;">apiVersion: v1
kind: ReplicationController
metadata:
  <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: frontend
  labels:
    <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: frontend
spec:
  replicas: <span class="hljs-number" style="color: rgb(0, 102, 102);
 box-sizing: border-box;">3</span>
  selector:
    <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: frontend
  template:
    metadata:
      labels:
        <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: frontend
    spec:
      containers:
      - <span class="hljs-property" style="box-sizing: 
border-box;">name</span>: php-redis
        image: kubernetes/example-guestbook-php-redis:v2
        ports:
        - containerPort: <span class="hljs-number" style="color: 
rgb(0, 102, 102); box-sizing: 
border-box;">80</span></code><ul class="pre-numbering"
 style="box-sizing: border-box; position: absolute; width: 50px; top: 
0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 
1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); 
list-style: none; text-align: right; background-color: rgb(238, 238, 
238);"><li style="box-sizing: border-box; padding: 0px 
5px;">1</li><li style="box-sizing: border-box; padding: 0px 
5px;">2</li><li style="box-sizing: border-box; padding: 0px 
5px;">3</li><li style="box-sizing: border-box; padding: 0px 
5px;">4</li><li style="box-sizing: border-box; padding: 0px 
5px;">5</li><li style="box-sizing: border-box; padding: 0px 
5px;">6</li><li style="box-sizing: border-box; padding: 0px 
5px;">7</li><li style="box-sizing: border-box; padding: 0px 
5px;">8</li><li style="box-sizing: border-box; padding: 0px 
5px;">9</li><li style="box-sizing: border-box; padding: 0px 
5px;">10</li><li style="box-sizing: border-box; padding: 0px
 5px;">11</li><li style="box-sizing: border-box; padding: 
0px 5px;">12</li><li style="box-sizing: border-box; padding:
 0px 5px;">13</li><li style="box-sizing: border-box; 
padding: 0px 5px;">14</li><li style="box-sizing: border-box;
 padding: 0px 5px;">15</li><li style="box-sizing: 
border-box; padding: 0px 5px;">16</li><li style="box-sizing:
 border-box; padding: 0px 5px;">17</li><li 
style="box-sizing: border-box; padding: 0px 5px;">18</li><li
 style="box-sizing: border-box; padding: 0px 
5px;">19</li><li style="box-sizing: border-box; padding: 0px
 5px;">20</li></ul>

创建Pod：

<code
 class="hljs lasso has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">$ kubectl create 
<span class="hljs-attribute" style="box-sizing: 
border-box;">-f</span> frontend<span class="hljs-attribute" 
style="box-sizing: border-box;">-controller</span><span 
class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: 
border-box;">.</span>yaml

$ kubectl get rc
CONTROLLER     CONTAINER(S)   IMAGE(S)                                  
  SELECTOR            REPLICAS
frontend       php<span class="hljs-attribute" style="box-sizing: 
border-box;">-redis</span>      kubernetes/example<span 
class="hljs-attribute" style="box-sizing: 
border-box;">-guestbook</span><span class="hljs-attribute" 
style="box-sizing: border-box;">-php</span><span 
class="hljs-attribute" style="box-sizing: 
border-box;">-redis</span>:v2   name<span class="hljs-subst"
 style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>frontend       <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">3</span>
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-master</span>   master         redis             
                          name<span class="hljs-subst" style="color: 
rgb(0, 0, 0); box-sizing: border-box;">=</span>redis<span 
class="hljs-attribute" style="box-sizing: 
border-box;">-master</span>   <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-slave</span>    worker         
kubernetes/redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-slave</span>:v2                   name<span 
class="hljs-subst" style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-slave</span>    <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">2</span>

$ kubectl get pods
NAME                 READY     STATUS    RESTARTS   AGE
frontend<span class="hljs-subst" style="color: rgb(0, 0, 0); 
box-sizing: border-box;">-</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">7</span>ukb6       <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>/<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>       Running   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>          <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">45</span>s
frontend<span class="hljs-subst" style="color: rgb(0, 0, 0); 
box-sizing: border-box;">-</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">8</span>ch4l       <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>/<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>       Running   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>          <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">45</span>s
frontend<span class="hljs-attribute" style="box-sizing: 
border-box;">-n8l7w</span>       <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>/<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>       Running   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>          <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">45</span>s
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-master</span><span class="hljs-attribute" 
style="box-sizing: border-box;">-x5kjp</span>   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>/<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>       Running   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>          <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">3</span>h
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-slave</span><span class="hljs-subst" 
style="color: rgb(0, 0, 0); box-sizing: 
border-box;">-</span><span class="hljs-number" style="color:
 rgb(0, 102, 102); box-sizing: border-box;">04</span>o8g    
<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing:
 border-box;">1</span>/<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>       Running   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>          <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">2</span>h
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-slave</span><span class="hljs-attribute" 
style="box-sizing: border-box;">-llxpk</span>    <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>/<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>       Running   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">0</span>          <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">2</span>h</code><ul class="pre-numbering"
 style="box-sizing: border-box; position: absolute; width: 50px; top: 
0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 
1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); 
list-style: none; text-align: right; background-color: rgb(238, 238, 
238);"><li style="box-sizing: border-box; padding: 0px 
5px;">1</li><li style="box-sizing: border-box; padding: 0px 
5px;">2</li><li style="box-sizing: border-box; padding: 0px 
5px;">3</li><li style="box-sizing: border-box; padding: 0px 
5px;">4</li><li style="box-sizing: border-box; padding: 0px 
5px;">5</li><li style="box-sizing: border-box; padding: 0px 
5px;">6</li><li style="box-sizing: border-box; padding: 0px 
5px;">7</li><li style="box-sizing: border-box; padding: 0px 
5px;">8</li><li style="box-sizing: border-box; padding: 0px 
5px;">9</li><li style="box-sizing: border-box; padding: 0px 
5px;">10</li><li style="box-sizing: border-box; padding: 0px
 5px;">11</li><li style="box-sizing: border-box; padding: 
0px 5px;">12</li><li style="box-sizing: border-box; padding:
 0px 5px;">13</li><li style="box-sizing: border-box; 
padding: 0px 5px;">14</li><li style="box-sizing: border-box;
 padding: 0px 5px;">15</li><li style="box-sizing: 
border-box; padding: 0px 5px;">16</li></ul>

frontend-service.yaml:

<code
 class="hljs avrasm has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;"><span 
class="hljs-label" style="box-sizing: 
border-box;">apiVersion:</span> v1
<span class="hljs-label" style="box-sizing: 
border-box;">kind:</span> Service
<span class="hljs-label" style="box-sizing: 
border-box;">metadata:</span>
  name: frontend
  labels:
    name: frontend
<span class="hljs-label" style="box-sizing: 
border-box;">spec:</span>
  ports:
    <span class="hljs-preprocessor" style="color: rgb(68, 68, 68); 
box-sizing: border-box;"># the port that this service should serve 
on</span>
  - port: <span class="hljs-number" style="color: rgb(0, 102, 102); 
box-sizing: border-box;">80</span>
  selector:
    name: frontend</code><ul class="pre-numbering" 
style="box-sizing: border-box; position: absolute; width: 50px; top: 
0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 
1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); 
list-style: none; text-align: right; background-color: rgb(238, 238, 
238);"><li style="box-sizing: border-box; padding: 0px 
5px;">1</li><li style="box-sizing: border-box; padding: 0px 
5px;">2</li><li style="box-sizing: border-box; padding: 0px 
5px;">3</li><li style="box-sizing: border-box; padding: 0px 
5px;">4</li><li style="box-sizing: border-box; padding: 0px 
5px;">5</li><li style="box-sizing: border-box; padding: 0px 
5px;">6</li><li style="box-sizing: border-box; padding: 0px 
5px;">7</li><li style="box-sizing: border-box; padding: 0px 
5px;">8</li><li style="box-sizing: border-box; padding: 0px 
5px;">9</li><li style="box-sizing: border-box; padding: 0px 
5px;">10</li><li style="box-sizing: border-box; padding: 0px
 5px;">11</li><li style="box-sizing: border-box; padding: 
0px 5px;">12</li></ul>

创建Service:

<code
 class="hljs lasso has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">$ kubectl create 
<span class="hljs-attribute" style="box-sizing: 
border-box;">-f</span> frontend<span class="hljs-attribute" 
style="box-sizing: border-box;">-service</span><span 
class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: 
border-box;">.</span>yaml

$ kubectl get service
NAME            LABELS            SELECTOR            IP(S)            
PORT(S)
frontend        name<span class="hljs-subst" style="color: rgb(0, 0, 
0); box-sizing: border-box;">=</span>frontend     name<span 
class="hljs-subst" style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>frontend       <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">10.254</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.58</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.118</span>    <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">80</span>/TCP
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-master</span>    name<span class="hljs-subst" 
style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-master</span> name<span 
class="hljs-subst" style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-master</span>   <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">10.254</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.189</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.63</span>    <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">6379</span>/TCP
redis<span class="hljs-attribute" style="box-sizing: 
border-box;">-slave</span>     name<span class="hljs-subst" 
style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-slave</span>  name<span 
class="hljs-subst" style="color: rgb(0, 0, 0); box-sizing: 
border-box;">=</span>redis<span class="hljs-attribute" 
style="box-sizing: border-box;">-slave</span>    <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">10.254</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.70</span><span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">.184</span>    <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">6379</span>/TCP</code><ul 
class="pre-numbering" style="box-sizing: border-box; position: absolute;
 width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; 
border-right-width: 1px; border-right-style: solid; border-right-color: 
rgb(221, 221, 221); list-style: none; text-align: right; 
background-color: rgb(238, 238, 238);"><li style="box-sizing: 
border-box; padding: 0px 5px;">1</li><li style="box-sizing: 
border-box; padding: 0px 5px;">2</li><li style="box-sizing: 
border-box; padding: 0px 5px;">3</li><li style="box-sizing: 
border-box; padding: 0px 5px;">4</li><li style="box-sizing: 
border-box; padding: 0px 5px;">5</li><li style="box-sizing: 
border-box; padding: 0px 5px;">6</li><li style="box-sizing: 
border-box; padding: 0px 5px;">7</li></ul>

Web Frontend是需要对外暴露的，这样外部网络才能真正访问该应用，Kubernetes提供了2种方式暴露Service到外部网络： 
- NodePort 
Kubernetes将会在每个Node上设置一个Port，访问该Port会被转发到对应的Service。这支持开发者设置自己的LoadBalancer。 
- LoadBalancer 
Kubernetes会设置LoadBalancer给Service。

本文采用NodePort方式， 更改frontend-service.yaml:

<code
 class="hljs avrasm has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;"><span 
class="hljs-label" style="box-sizing: 
border-box;">apiVersion:</span> v1
<span class="hljs-label" style="box-sizing: 
border-box;">kind:</span> Service
<span class="hljs-label" style="box-sizing: 
border-box;">metadata:</span>
  name: frontend
  labels:
    name: frontend
<span class="hljs-label" style="box-sizing: 
border-box;">spec:</span>
  type: NodePort
  ports:
    <span class="hljs-preprocessor" style="color: rgb(68, 68, 68); 
box-sizing: border-box;"># the port that this service should serve 
on</span>
  - port: <span class="hljs-number" style="color: rgb(0, 102, 102); 
box-sizing: border-box;">80</span>
   nodePort: <span class="hljs-number" style="color: rgb(0, 102, 
102); box-sizing: border-box;">30061</span>
  selector:
    name: frontend</code><ul class="pre-numbering" 
style="box-sizing: border-box; position: absolute; width: 50px; top: 
0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 
1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); 
list-style: none; text-align: right; background-color: rgb(238, 238, 
238);"><li style="box-sizing: border-box; padding: 0px 
5px;">1</li><li style="box-sizing: border-box; padding: 0px 
5px;">2</li><li style="box-sizing: border-box; padding: 0px 
5px;">3</li><li style="box-sizing: border-box; padding: 0px 
5px;">4</li><li style="box-sizing: border-box; padding: 0px 
5px;">5</li><li style="box-sizing: border-box; padding: 0px 
5px;">6</li><li style="box-sizing: border-box; padding: 0px 
5px;">7</li><li style="box-sizing: border-box; padding: 0px 
5px;">8</li><li style="box-sizing: border-box; padding: 0px 
5px;">9</li><li style="box-sizing: border-box; padding: 0px 
5px;">10</li><li style="box-sizing: border-box; padding: 0px
 5px;">11</li><li style="box-sizing: border-box; padding: 
0px 5px;">12</li><li style="box-sizing: border-box; padding:
 0px 5px;">13</li><li style="box-sizing: border-box; 
padding: 0px 5px;">14</li></ul>

那么就可以通过任意节点访问该应用： 

Kubernetes可用来管理Linux容器集群，加速开发和简化运维（即DevOps）。但目前网络上关于Kubernetes的文章介绍性远多于实际使用。本系列文章着眼于实际部署，带您快速掌握Kubernetes。在介绍部署之前需要了解的原理和概念之后，作者在本文中以一个简单的nginx服务来展示了复制器和Service的使用，特别通过对Service的cluster IP和NodePort的分析，使得读者能够了解这个模型中的网络特性。

---

一个简单的应用

讲了这么多的原理和概念，本章我们就部署一个简单应用来感受一下Kubernetes的部署模型。

部署Kubernetes集群

在 kubernetes github站点 上有数十种针对各种环境的部署文档，本文选择基于ubuntu的集群部署方案。在没有使用本地docker镜像的情况下，在部署过程中需要确保能够访问站点gcr.io。

基于 Ubuntu的集群部署方案文档 写得比较详细，按照它的步骤几乎不会出错。在进行真正的部署之前，一定要确保：

1. 所有的节点安装了docker version 1.2+ 和 bridge-utils
2. 如果没有本地的docker registry, 要确保节点能访问互联网gcr.io
3. 确保管理节点能够ssh 访问所有节点。比如ssh gongysh@192.168.0.201 ls

这里我们集群将采用下图显示的结构。我们将在管理节点上运行集群管理命令。我们将有一个服务和代理混合的节点，还有两个纯的代理节点。

首先我们要下载kubernetes的代码到管理节点上：

$ git clone https://github.com/GoogleCloudPlatform/kubernetes.git

然后进行本地构建：

cd kubernetes
./build/run.sh hack/build-do.sh

修改config-default.sh定义集群，本文使用的几个关键配置如下:

gongysh@fedora20:~/git/kubernetes/cluster/ubuntu$ cat config-default.sh
#!/bin/bash
# Define all your cluster nodes, MASTER node comes first"
# And separated with blank space like <user_1@ip_1> <user_2@ip_2> <user_3@ip_3>
export nodes="gongysh@192.168.0.201 gongysh@192.168.0.202 gongysh@192.168.0.203"
# Define all your nodes role: a(master) or i(minion) or ai(both master and minion), must be the order same
export roles=("ai" "i" "i")
# Define minion numbers
export NUM_MINIONS=${NUM_MINIONS:-3}
# define the IP range used for service portal.
# according to rfc 1918 ref: https://tools.ietf.org/html/rfc1918 choose a private ip range here.
export SERVICE_CLUSTER_IP_RANGE=192.168.3.0/24
# define the IP range used for flannel overlay network, should not conflict with above SERVICE_CLUSTER_IP_RANGE range
export FLANNEL_NET=172.16.0.0/16
....

最后运行集群构建命令：

$ cd cluster
$ KUBERNETES_PROVIDER=ubuntu ./kube-up.sh

当你看到：

Kubernetes cluster is running.  The master is running at: 

  http://192.168.0.201 

... calling validate-cluster 
Found 3 nodes. 
     1	NAME            LABELS    STATUS 
     2	192.168.0.201   <none>    Ready 
     3	192.168.0.202   <none>    Ready 
     4	192.168.0.203   <none>    Ready 
Validate output: 

Cluster validation succeeded 
Done, listing cluster services: 

Kubernetes master is running at http://192.168.0.201:8080 

表明集群构建成功。

部署nginx应用

我们以下面的图来安装一个简单的静态内容的nginx应用：

首先，我们用复制器启动一个2个备份的nginx Pod。然后在前面挂Service，一个service只能被集群内部访问，一个能被集群外的节点访问。下面所有的命令都是在管理节点上运行的。

部署nginx pod 和复制器

如下表所示：

$ cat nginx-rc.yaml 
apiVersion: v1 
kind: ReplicationController 
metadata: 
  name: nginx-controller 
spec: 
  replicas: 2 
  selector: 
    name: nginx 
  template: 
    metadata: 
      labels: 
        name: nginx 
    spec: 
      containers: 
        - name: nginx 
          image: nginx 
          ports: 
            - containerPort: 80

我们定义了一个nginx pod复制器，复制份数为2，我们使用nginx docker镜像。

执行下面的操作创建nginx pod复制器:

$  kubectl -s http://192.168.0.201:8080 create -f nginx-rc.yaml

由于kubernetes要去gcr.io下载gcr.io/google_containers/pause镜像，然后下载nginx镜像，所以所创建的Pod需要等待一些时间才能处于running状态。

$  kubectl -s http://192.168.0.201:8080 get pods
NAME                     READY     REASON    RESTARTS   AGE
nginx-controller-6zr34   1/1       Running   0          48m
nginx-controller-njlgt   1/1       Running   0          48m

我们可以使用describe 命令查看pod所分到的节点:

$  $ kubectl -s http://192.168.0.201:8080 describe pod nginx-controller-6zr34 2>/dev/null | grep Node:
Node:				192.168.0.203/192.168.0.203
$ kubectl -s http://192.168.0.201:8080 describe pod nginx-controller-njlgt 2>/dev/null | grep Node:
Node:				192.168.0.201/192.168.0.201

从上表可以看出，这个复制器启动了两个Pod，分别运行在192.168.0.201和203代理节点主机上。

部署节点内部可访问的nginx service

Service的type有ClusterIP和NodePort之分，缺省是ClusterIP，这种类型的Service只能在集群内部访问。下表是本文用的配置文件：

$ cat nginx-service-clusterip.yaml 
apiVersion: v1 
kind: Service 
metadata: 
  name: nginx-service-clusterip 
spec: 
  ports: 
    - port: 8001 
      targetPort: 80 
      protocol: TCP 
  selector: 
    name: nginx 

执行下面的命令创建service:

$ kubectl -s http://192.168.0.201:8080 create -f ./nginx-service-clusterip.yaml  
services/nginx-service 
$ kubectl -s http://192.168.0.201:8080 get service
NAME                      LABELS                                    SELECTOR     IP(S)           PORT(S)
kubernetes                component=apiserver,provider=kubernetes   <none>       192.168.3.1     443/TCP
nginx-service-clusterip   <none>                                    name=nginx   192.168.3.91   8001/TCP

验证service的可访问性：

上面的输出告诉我们这个Service的Cluster IP是192.168.3.91，端口是8001。下面我们验证这个PortalNet IP的工作情况：

$ ssh 192.168.0.202 curl -s 192.168.3.91:8001  
<!DOCTYPE html> 
<html> 
<head> 
<title>Welcome to nginx!</title> 
<style> 
    body { 
        width: 35em; 
        margin: 0 auto; 
        font-family: Tahoma, Verdana, Arial, sans-serif; 
    } 
</style> 
</head> 
<body> 
<h1>Welcome to nginx!</h1> 
<p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p> 
 
<p>For online documentation and support please refer to 
<a href="http://nginx.org/">nginx.org</a>.<br/> 
Commercial support is available at 
<a href="http://nginx.com/">nginx.com</a>.</p> 
 
<p><em>Thank you for using nginx.</em></p> 
</body> 
</html>

从前面部署复制器的部分我们知道nginx Pod运行在201和203节点上。上面我们特意从202代理节点上访问我们的服务来体现Service Cluster IP在所有集群代理节点的可到达性。

部署外部可访问的nginx service

下面我们创建NodePort类型的Service，这种类型的Service在集群外部是可以访问。下表是本文用的配置文件：

$ cat nginx-service-nodeport.yaml 
apiVersion: v1 
kind: Service 
metadata: 
  name: nginx-service-nodeport 
spec: 
  ports: 
    - port: 8000
      targetPort: 80 
      protocol: TCP 
  type: NodePort
  selector: 
    name: nginx 

执行下面的命令创建service:

$ kubectl -s http://192.168.0.201:8080 create -f ./nginx-service-nodeport.yaml  
services/nginx-service-nodeport 
$ kubectl -s http://192.168.0.201:8080 get service
NAME                      LABELS                                    SELECTOR     IP(S)          PORT(S)
kubernetes                component=apiserver,provider=kubernetes   <none>       192.168.3.1    443/TCP
nginx-service-clusterip   <none>                                    name=nginx   192.168.3.91   8001/TCP
nginx-service-nodeport    <none>                                    name=nginx   192.168.3.84   8000/TCP

使用下面的命令获得这个service的节点级别的端口：

$ kubectl -s http://192.168.0.201:8080 describe service nginx-service-nodeport 2>/dev/null | grep NodePort
Type:			NodePort
NodePort:		<unnamed>	32606/TCP

验证service的可访问性：

上面的输出告诉我们这个Service的节点级别端口是32606。下面我们验证这个Service的工作情况：

$ curl 192.168.0.201:32606  
<!DOCTYPE html> 
<html> 
<head> 
<title>Welcome to nginx!</title> 
<style> 
    body { 
        width: 35em; 
        margin: 0 auto; 
        font-family: Tahoma, Verdana, Arial, sans-serif; 
    } 
</style> 
</head> 
<body> 
<h1>Welcome to nginx!</h1> 
<p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p> 
 
<p>For online documentation and support please refer to 
<a href="http://nginx.org/">nginx.org</a>.<br/> 
Commercial support is available at 
<a href="http://nginx.com/">nginx.com</a>.</p> 
 
<p><em>Thank you for using nginx.</em></p> 
</body> 
</html>

代理节点上的IP tables规则解析

下面的图是IPTables中流量经过的table和chain。

可以看出，Kubernetes在nat表中插入了下面四条chain：

1.  KUBE-PORTALS-CONTAINER

这个chain主要是处理所有service对象的cluster IP和port到kube-proxy本地端口的映射。比如下面规则：

-A KUBE-PORTALS-CONTAINER -d 192.168.3.84/32 -p tcp -m comment --comment "default/nginx-service-nodeport:" -m tcp --dport 8000 -j REDIRECT --to-ports 43981

就是为nginx-service-nodeport服务的Cluster IP准备的。其中192.168.3.84/32是该服务获得的Cluster IP，端口8000是其在定义文件中指定的spec.ports.port。43981则是kube-proxy为这个service分配的本地端口。规则的意思是到192.168.3.84:8000的流量重定向到43981。

2.  KUBE-NODEPORT-CONTAINER

这条chain上则串连着类型为NodePort的service的NodePort规则。比如下面规则：

-A KUBE-NODEPORT-CONTAINER -p tcp -m comment --comment "default/nginx-service-nodeport:" -m tcp --dport 32606 -j REDIRECT --to-ports 43981

就是为nginx-service-nodeport服务的NodePort 32606准备的。意思是访问本地32606端口的流量重新定向到43981，后者是kube-proxy为这个service分配的本地端口。

3.  KUBE-PORTALS-HOST

这条chain上也关联着各个service的Cluster IP和Port的规则，比如：

-A KUBE-PORTALS-HOST -d 192.168.3.84/32 -p tcp -m comment --comment "default/nginx-service-nodeport:" -m tcp --dport 8000 -j DNAT --to-destination 192.168.0.201:43981

这条规则是和KUBE-PORTALS-CONTAINER类似的，只不过流量来自于本地进程。

4.  KUBE-NODEPORT-HOST

这条chain上则关联着类型为NodePort的service的NodePort规则。比如下面规则：

-A KUBE-NODEPORT-HOST -p tcp -m comment --comment "default/nginx-service-nodeport:" -m tcp --dport 30975 -j DNAT --to-destination 192.168.0.201:43981

这条规则是和KUBE-NODEPORT-CONTAINER类似的，只不过流量来自于本地进程。

总结

笔者认为Docker已经不是仅代表容器本身，而是一组以应用部署为中心的技术，产品和最佳实践生态系统。Kubernetes以其出身，文档的成熟度，社区的支持在这个生态系统中表现得比较突出。在部署Kubernetes时，我们首先要理解Kubernetes的组件结构，它们有哪些角色，各个角色的作用是什么和它们之接的通信。在应用部署时，了解Kubernetes的应用模型是非常重要的。笔者认为复制器和Service的概念是Kubernetes模型的核心，复制器和Service共同完成了应用的高可用性要求。最后本文以一个简单的nginx服务来展示了复制器和Service的使用，特别通过对Service的cluster IP和NodePort的分析，使得读者能够了解这个模型中的网络特性。

最后就是容器技术的选型，本文使用Docker作为容器，其实Kubernetes也支持CoreOS的rkt容器。kubelet的参数--container_runtime用于选择使用的容器技术。（责编/周建丁）

作者简介：龚永生，九州云架构师。多年Linux系统开发，J2EE产品和云计算相关技术研发经验。目前活跃在OpenStack社区的各个项目上，主要技术方向是虚拟网络项目Neutron，是Neutron项目早期的主要贡献者之一。