查看原文
其他

云起云涌:PaaS 体系架构与运维系统上云实践

刘鹏宇 CSDN云计算 2020-12-18

作者 | 刘鹏宇  中国农业银行研发中心

责编 | 李雪敬

出品 | CSDN云计算(ID:CSDNcloud)
今年以来,远程办公、远程会议走进了大多数人的日常工作中,各类云产品相继被人们所熟悉,例如石墨云”OFFice”办公软件、腾讯云平台、云课堂,为实现多人协同办公、远程操控等需求,提供多类渠道。这些应用可能在实现技术上,不是严格意义的上云,但“云”逐渐浸透各个领域,晕染出不一样的风采。
“上云”一词早已流行,各小中大企业为摆脱地域限制、减轻研发成本、实现安全可靠管理保障,纷纷研究“如何上云”。作为一个奔跑在新型IT时代的逐梦人,我踏上了寻找杰克魔豆的旅程,下面是我在探索道路上的所见所闻。


开始

云计算从2006年提出至今,经历了翻天覆地的发展变化,由IaaS到PaaS、SaaS,应用越来越广泛。在其发展初期,IT建设多围绕IaaS进行,包括计算虚拟化、网络虚拟化、存储虚拟化等,使用对象主要是虚拟机。但由于虚拟机承载的是操作系统,我们依然需要在操作系统中安装基础软件,并未减轻开发人员部署环境的压力。然而自Docker为代表的容器技术出现后,实现应用可以在容器中直接运行,切实减轻了程序员部署精力,促进了容器PaaS的迅速发展,并已逐渐形成云生态体系——以Docker、Kubernetes为核心,由Docker提供应用级的主机抽象,Kubernetes提供应用级的集群抽象。在此基础上涌现了红帽OpenShift等优秀企业级PaaS产品。
本文将着重对Docker、Kubernetes、Openshift的发展历史及架构进行分析,并分享“部署自研运维系统到云平台”的实践经验。


标准化的软件构建与分发技术Docker


1.容器技术优势

前文说,容器技术的诞生,为减轻开发人员部署环境压力,提供了可能。容器技术也打造了一套标准化的软件构建和分发流程,为降低运维成本、提高软件安全和运行稳定等方面提供便利。容器技术不仅仅打造一个运输用的“集装箱”,还保证软件在容器内能够运行,在操作系统上构成“独立的箱子”。这需要解决文件系统、网络、硬件等多方面的问题。经过长时间的发展,容器技术现已逐步成熟。使用容器技术后,开发者可以使用熟悉的编程语言开发软件,之后用容器技术打包构建,便可一键运行在所有支持该容器技术的平台上。

2.容器技术的典型代表——Docker 架构

Docker是一个构建、发布、运行分布式应用的平台, Docker平台整体可以看成由 Docker引擎(运行环境+打包工具)、 Docker Registry(API+生态系统)两部分组成。包括Docker Client、Docker daemon、Docker Image、Docker Container等部分,如下图所示。
其中 Docker引擎可以分为守护进程和客户端两大部分。Docker引擎的底层是各种操作系统以及云计算基础设施,而上层则是各种应用程序和管理工具,每层之间都是通过API来通信的。详细介绍如下。
Docker Client 是 Docker 提供命令行界面 (CLI) 工具,是用户与 Docker 进行交互的主要方式。客户端可以构建,运行和停止应用程序,还可以远程与Docker_Host进行交互。
Docker daemon 是服务器组件,以 Linux 后台服务的方式运行,是 Docker 最核心的后台进程。它负责响应来自 Docker Client 的请求,然后将这些请求翻译成系统调用完成容器管理操作。
Docker 镜像可以看作是一个特殊的文件系统,除了提供容器运行时所需的程序、库、资源、配置等文件外,还包含了一些为运行时准备的一些配置参数(如匿名卷、环境变量、用户等)。
Docker 容器就是 Docker 镜像的运行实例,是真正运行项目程序、消耗系统资源、提供服务的地方。
Docker提供了应用级的主机抽象,可以更容易地实现应用的快速申请和部署。


容器时代的舵手 Kubernetes


如果说Docker是容器时代的大船,Kubernetes就是指引船只的舵手。作为容器集群管理工具,Kubernetes有一套健壮的集群自恢复机制,包括容器的自动重启、自动重调度以及自动备份甚至负载等。

1.Kubernetes 的发展历程

Kubernetes前身是谷歌大规模集群管理系统Borg,它基于容器技术,实现资源管理的自动化,以及跨数据中心资源利用的最大化。Kubernetes于2015年正式对外发布,经过4年多的发展,为容器编排提供强大的解决方案,成为云原生系统的重要支撑。
当前,国内外的很多企业都建立了基于Kubernetes的云平台,如OpenShift、阿里云等。下面分别简述阿里巴巴和美团点评的云平台发展实践历程。
图片来源:阿里巴巴云原生公众号
阿里巴巴于2013年开始探索由容器替换虚拟机,2018年开始自研容器调度系统向Kubernetes转型,2019年阿里业务全面上云,2019年双十一中,基于Kubernetes的生态体系支撑了阿里史上规模最大的集群。
图片来源:about云开发-aB7758133
美团点评于2013年开始搭建云计算平台,2016年基于Docker搭建自研容器管理平台,2018年引入Kubernetes到云平台中,提升了平台的稳定性和资源使用效率。

2.Kubernetes 的架构

在Kubernetes中,Service是分布式集群架构的核心。它是一种抽象概念,每一个Service后端有多个Pod,所有的容器均在Pod中运行。下图是一个典型的Kubernetes架构图。
图片来源:Kubernetes官网
Kubernetes由两种节点组成:Master节点,为管理节点;Node节点,为容器运行结点。
Service是架构的核心,提供远程服务,它的后端有多个Pod,每个容器均在Pod中运行。一个Service可以横跨多个Node,也可能一个Node里包含多个Service,一个Pod里也可以包含多个Container(容器)。
Pod是Kubernetes的最小调度单位,所以在我行实际应用中,一般一个Pod中只部署一个容器,以提高稳定性,降低风险。一个Label是一对键/值对,用来传递用户定义的属性。例如,可以用“Taihangboot”来标记一个太行应用。
Replication Controller,用来确保任意时间都有指定数量的Pod“副本”在运行。如果为某个Pod创建了Replication Controller并且指定2个副本,它会创建2个Pod,并且持续监控它们。
Kubernetes是强大的云原生体系工具,对容器进行编排,实现了集群化的管理。


企业级PaaS平台中的翘楚 OpenShift


红帽OpenShift平台在Kubernetes的基础上,提高了平台运行稳定性,集成了Jeckins等工具,更易于实现Devops,可以为企业提供全面的应用上云服务。

1.OpenShift 的发展历程

OpenShift 是由红帽公司推出的 PaaS 云计算平台,它诞生于2011年,核心架构采用自研容器编排平台Gear。Kubernetes推出后,红帽决定对OpenShift进行重构。2015年6月,红帽推出了基于Kubernetes1.0的OpenShift3.0。2019年6月,OpenShift4.1发布,它与OpenShift3.0相比,较大的变化是引入了CoreOS作为默认操作系统。当前最新版本的OpenShift平台是2019年12月17日发布的4.2.11,新版系统进一步实现了混合云环境企业级服务的简化和自动化,同时可以让开发者通过云原生应用实现创新并提高业务价值。
OpenShift在 Kubernetes的基础上扩展提供了软件定义网络、软件定义存储、权限管理、企业级镜像仓库、统一入口路由、持续集成流程( S2/Jenkins统一管理控制台、监控日志等功能,形成覆盖整个软件生命周期的解决方案,提供了企业级的服务支持。当前其提供三种产品:OpenShift Online、OpenShift Enterprise 和 OpenShift Origin。其中,OpenShift Online 是面向普通开发者和小微企业的线上公有云平台;OpenShift Enterprise 是面向企业的私有云平台;OpenShift Origin 是一个开源项目,是构成前两个的基础。

2.OpenShift 的技术架构

OpenShift平台可以安装于几乎所有的基础平台上,例如裸机、虚拟机、私有云、公有云等。整个OpenShift平台可以分为Container Storage、CoreOS、Kubernetets、Automated operations、Services等几个层级。下面分别进行介绍。
OpenShift平台可以安装于几乎所有的基础平台上,例如裸机、虚拟机、私有云、公有云等。整个OpenShift平台可以分为Container Storage、CoreOS、Kubernetets、Automated operations、Services等几个层级。下面分别进行介绍。
Container Storage是持久化的存储结构,它为整个基于容器的环境提供存储支持。CoreOS是Linux的一个发行版,提供容器执行的基础操作系统。Kubernetes即容器编排的调度平台。Automated operations指的是对于集群上运行的容器宿主机、Kubernetes集群和应用等服务,进行自动化的更新、管理等功能。Services包含平台所提供的具体服务,如集群服务(监控、扩缩容、镜像仓库、日志系统),应用服务(融合中间件、基础软件服务),Service Mesh(管理微服务应用),开发服务(开发工具、自动构建、持续集成、持续交付)等。
可以看出,OpenShift在Kubernetes的基础上,提供了底层支持,扩展了应用功能,以提供更全面、更便捷的服务。


智能运维系统上云实践


智能运维系统是一个全面的运维平台,可以实现监控相关系统的主要运行指标、发现异常后匹配应急方案、发起应急操作及验证、系统配置、用户管理等功能。
将该系统部署于OpenShift平台简要来说可分为3个步骤:创建容器、将生成的容器打好标签推送至镜像仓库、在OpenShift平台拉取镜像开始配置运行。介绍如下。

1.创建容器

通过Dockerfile来组合基础镜像和软件,Dockerfile中包含的内容包括基本镜像、要安装的软件包,要复制到容器中的软件,网络端口和挂载的存储卷等信息。编写好Dockerfile后,可通过运行docker build 命令来创建一个存储在本地的容器镜像。

2.将生成的容器打好标签推送至镜像仓库

使用docker tag命令向新容器镜像添加标签,以标识其在镜像仓库的位置。然后,通过运行  docker push 命令将该镜像推送到镜像仓库。

3.在 OpenShift 平台配置运行容器

在OpenShift平台配置Deployment、Service、Router等运行策略,即可从镜像仓库拉取相关镜像,自动分配Pod,相关应用即可对外提供服务。
如上图所示即为该系统运行情况。
到此,有关云平台技术的介绍已经分享完毕。从基础容器技术Docker,到集群容器编排Kubernetes,最后到企业级PaaS平台OpenShift,云技术越来越成熟,并逐步形成生态体系。云原生应用体系对于Devops、微服务等的实现也具有天然的优势,在持续集成、持续部署上更加高效、安全,极大的提高了生产效率,将在企业数字化转型中发挥巨大的作用。


最后


作为一个奋战在一线的运维人员,经常遇到集群扩容、环境迁移、频繁的变更等等一系列繁杂的任务与问题,处理起来费时且容易出错。在接触到云原生应用后,被其标准化、轻量、高效的运行、部署模式所吸引,感受到应用上云对运维方式带来的巨大改变,故障自愈、一键迁移、一键部署等都轻易实现,随后对各个技术的官网文档、相关书籍、网络博客进行了研究,形成了本文,希望能对未来的系统建设添砖加瓦。
作者介绍:
刘鹏宇  中国农业银行研发中心
作为支持一线的“急诊科医生”,在快速响应、敏捷迭代的同时,也在探索更加高效、智能的运维方式,总结实践与优化经验,保障系统服务更可靠、更安全。


更多阅读推荐

Modified on

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存