作者简介:金津,智领云高级研发经理,华中科技大学计算机系硕士。加入智领云 8 余年,长期从事云原生、容器化编排领域研发工作,主导了智领云自研的 BDOS 应用云平台、云原生大数据平台 KDP 等产品的开发,并在多个大规模项目中成功实施落地,在大规模容器化编排系统方向有丰富的实践经验。
GitHub 地址:https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/user-tutorials/install-kdp-on-kubesphere-101.md
KubeKey
KubeKey 是一个开源的 Kubernetes 安装程序和生命周期管理工具。它支持安装 Kubernetes 集群、KubeSphere 以及其他相关组件。
KubeSphere
KubeSphere 是一个用于云原生应用程序管理的分布式操作系统,使用 Kubernetes 作为其内核。它提供了即插即用架构,允许第三方应用程序无缝集成到其生态系统中。
Kubernetes Data Platform
KDP(Kubernetes Data Platform)提供了一个基于 Kubernetes 的现代化混合云原生数据平台,能够利用 Kubernetes 的云原生能力来有效地管理数据平台。KDP 是构建在 Kubernetes 之上的,因此可以与任意的 Kubernetes 管理平台快速集成。
总的来说,KubeSphere 和 KDP 组合在一起,能够为用户提供一套完善的、强大的、基于 Kubernetes 的现代化云原生应用数据平台。未来,通过 KubeSphere 的 LuBan 集成框架,可以将 KDP 开发成为 KubeSphere 的扩展组件,从而进一步深度融合进 KubeSphere。
在 Kubernetes 上已安装 KubeSphere(快速开始可参考在 Kubernetes 上最小化安装 KubeSphere):
KubeSphere 安装完成后,登录 KubeSphere Web 控制台并确保监控组件已启用:
假设您已经在一个 v1.26.x Kubernetes 集群上安装了 KubeSphere ,并开启了监控套件。
# 下载 KDP CLI(设置环境变量'VERSION'为所需版本号) export VERSION=v1.1.0 wget https://github.com/linktimecloud/kubernetes-data-platform/releases/download/${VERSION}/kdp-${VERSION}-linux-amd64.tar.gz tar xzf kdp-${VERSION}-linux-amd64.tar.gz mkdir -p ~/.local/bin install -v ./linux-amd64/kdp ~/.local/bin export PATH=$PATH:$HOME/.local/bin kdp version
执行以下命令以安装 KDP 基础平台:
# 注:请关注以下参数: # - `openebs.enabled=false`:跳过 KDP 内置 OpenEBS hostpath provisioner 组件的安装 # - `storageConfig.storageClassMapping.localDisk=local`:使用 KubeSphere 上的内置 StorageClass,你也可以将 `local` 更改为其他现有的 SC # - `prometheusCRD.enabled=false`:跳过 KDP 内置 Prometheus CRD 的安装 # - `prometheus.enabled=false`:跳过 KDP 内置 Prometheus Operator 的安装 # - `prometheus.externalUrl=http://prometheus-operated.kubesphere-monitoring-system.svc:9090`:使用 KubeSphere 上的内置 Prometheus 服务 kdp install \ --force-reinstall \ --set openebs.enabled=false \ --set storageConfig.storageClassMapping.localDisk=local \ --set prometheusCRD.enabled=false \ --set prometheus.enabled=false \ --set prometheus.externalUrl=http://prometheus-operated.kubesphere-monitoring-system.svc:9090
KDP 提供开箱即用的开源 Kafka K8s 运行时,主要包括:Strimzi Kafka Operator、Kafka Cluster、Kafka Manager 等。用户通过 KDP 可以高效便捷地交付和运维 Kafka 套件,KDP 为数据组件运行时提供完善的生命周期管理以及监控、告警、日志的自动化集成。
Kafka,Apache Kafka 是一个分布式事件流平台。基于 Kafka,可以构建高吞吐量、高扩展性的消息中间件服务。适用于日志采集、流式数据处理、流量削峰填谷等场景。Kafka 具备高可靠、高并发访问、可扩展的特性是大数据生态系统中不可或缺的组成部分。
以下展示的是如何在 KDP 上快速交付 Kafka 套件:
以上我们已经在 KDP 上快速交付了一套 Kafka Cluster 以及 Kafka Manager(开源的 Kafka 界面管理工具),接下来我们基于 Kafka 界面管理工具来创建一个 Topic:
【教程文档】在 KubeSphere 上安装 KDP 101:
https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/user-tutorials/install-kdp-on-kubesphere-101.html
【教程文档】如何与 KDP 上的 Kafka 快速集成:
https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/user-tutorials/integration-kafka-with-int-ext-comps.html
本文由博客一文多发平台 OpenWrite 发布!