基于K8s 1.15部署kubeflow 0.7.0 by kfctl

一、环境介绍二、最低系统要求三、下载docker镜像四、下载kfctl v0.7.0五、安装kubeflow 0.7.0六、访问kubeflow七、单独访问pipeline八、删除kubeflow九、问题集锦一、环境介绍centos7系统机器三台：192.168.3.100: kubernetes master192.168.3.101: kubernetesnode1192.16...

小鱼快跑

2481人浏览 · 2020-04-02 14:48:53

小鱼快跑 · 2020-04-02 14:48:53 发布

一、环境介绍
二、系统要求
三、下载docker镜像
四、下载kfctl v0.7.0
五、安装kubeflow 0.7.0
六、访问kubeflow
七、单独访问pipeline
八、删除kubeflow
九、问题集锦

一、环境介绍

centos7系统机器三台：
192.168.3.100: kubernetes master
192.168.3.101: kubernetes node1
192.168.3.102: kubernetes node2

二、系统要求

官方说明
https://www.kubeflow.org/docs/started/k8s/overview/#minimum-system-requirements
Kubernetes集群必须满足以下最低要求：
集群必须至少包含一个工作节点，且最少为：
4个CPU
50 GB的存储空间
12 GB内存
兼容性说明：
在这里插入图片描述

三、下载docker镜像

使用kfctl默认安装的话，很多镜像都需要从gcr.io下载，但是国内无法访问gcr.io，因此需要从国内源下载需要的镜像
kubeflow 0.7.0需要的镜像整理如下

docker pull gcr.azk8s.cn/kubeflow-images-public/ingress-setup:latest
docker pull gcr.azk8s.cn/kubeflow-images-public/admission-webhook:v20190520-v0-139-gcee39dbc-dirty-0d8f4c
docker pull gcr.azk8s.cn/kubeflow-images-public/kubernetes-sigs/application:1.0-beta
docker pull gcr.azk8s.cn/kubeflow-images-public/centraldashboard@sha256:4299297b8390599854aa8f77e9eb717db684b32ca9a94a0ab0e73f3f73e5d8b5
docker pull gcr.azk8s.cn/kubeflow-images-public/jupyter-web-app:9419d4d
docker pull gcr.azk8s.cn/kubeflow-images-public/katib/v1alpha3/katib-controller:v0.7.0
docker pull gcr.azk8s.cn/kubeflow-images-public/katib/v1alpha3/katib-manager:v0.7.0
docker pull gcr.azk8s.cn/kubeflow-images-public/katib/v1alpha3/katib-ui:v0.7.0
docker pull gcr.azk8s.cn/kubebuilder/kube-rbac-proxy:v0.4.0
docker pull gcr.azk8s.cn/kubeflow-images-public/metadata:v0.1.11
docker pull gcr.azk8s.cn/ml-pipeline/envoy:metadata-grpc
docker pull gcr.azk8s.cn/tfx-oss-public/ml_metadata_store_server:0.15.1
docker pull gcr.azk8s.cn/kubeflow-images-public/metadata-frontend:v0.1.8
docker pull gcr.azk8s.cn/ml-pipeline/api-server:0.1.31
docker pull gcr.azk8s.cn/ml-pipeline/visualization-server:0.1.27
docker pull gcr.azk8s.cn/ml-pipeline/persistenceagent:0.1.31
docker pull gcr.azk8s.cn/ml-pipeline/scheduledworkflow:0.1.31
docker pull gcr.azk8s.cn/ml-pipeline/frontend:0.1.31
docker pull gcr.azk8s.cn/ml-pipeline/viewer-crd-controller:0.1.31
docker pull gcr.azk8s.cn/kubeflow-images-public/notebook-controller@sha256:6490f737000bd1d2520ac4b8cbde2b09749cdb291b1967ddda95d05131db49db
docker pull gcr.azk8s.cn/kubeflow-images-public/profile-controller@sha256:9b834c9d44f9e4e8d5b9f8f01645afb84d5b3debcb177f3e49eac8ee46ae239d
docker pull gcr.azk8s.cn/kubeflow-images-public/kfam@sha256:3b0d4be7e59a3fa5ed1d80dccc832312caa94f3b2d36682524d3afc4e45164f0
docker pull gcr.azk8s.cn/kubeflow-images-public/pytorch-operator:v0.7.0
docker pull gcr.azk8s.cn/kubeflow-images-public/tf_operator:v0.7.0
docker pull gcr.azk8s.cn/kfserving/kfserving-controller@sha256:180d06026c4dd6c2d3ce4748efc896751b9bb6108b67a9eaa0e50158d6e10f1e
docker pull gcr.azk8s.cn/google_containers/spartakus-amd64:v1.1.0

docker pull docker.io/argoproj/workflow-controller:v2.3.0
docker pull docker.io/tensorflow/tensorflow:1.8.0
docker pull docker.io/seldonio/seldon-core-operator:0.4.1
docker pull docker.io/metacontroller/metacontroller:v0.3.0
docker pull docker.io/argoproj/argoui:v2.3.0
docker pull minio/minio:RELEASE.2018-02-09T22-40-05Z
docker pull mysql:5.6
docker pull mysql:8.0.3

重新打tag

docker tag 8fb2e7d74d1e gcr.azk8s.cn/kubeflow-images-public/centraldashboard
docker tag f4f4177b0a09 gcr.azk8s.cn/kubeflow-images-public/profile-controller
docker tag 89782fa49fbc gcr.azk8s.cn/kubeflow-images-public/kfam
docker tag 0359b650ea45 gcr.azk8s.cn/kubeflow-images-public/notebook-controller
docker tag 221420aa74f7 gcr.azk8s.cn/kfserving/kfserving-controller

docker tag gcr.azk8s.cn/kubeflow-images-public/ingress-setup:latest gcr.io/kubeflow-images-public/ingress-setup:latest
docker tag gcr.azk8s.cn/kubeflow-images-public/admission-webhook:v20190520-v0-139-gcee39dbc-dirty-0d8f4c gcr.io/kubeflow-images-public/admission-webhook:v20190520-v0-139-gcee39dbc-dirty-0d8f4c
docker tag gcr.azk8s.cn/kubeflow-images-public/kubernetes-sigs/application:1.0-beta gcr.io/kubeflow-images-public/kubernetes-sigs/application:1.0-beta
docker tag gcr.azk8s.cn/kubeflow-images-public/centraldashboard:latest gcr.io/kubeflow-images-public/centraldashboard:latest
docker tag gcr.azk8s.cn/kubeflow-images-public/jupyter-web-app:9419d4d gcr.io/kubeflow-images-public/jupyter-web-app:9419d4d
docker tag gcr.azk8s.cn/kubeflow-images-public/katib/v1alpha3/katib-controller:v0.7.0 gcr.io/kubeflow-images-public/katib/v1alpha3/katib-controller:v0.7.0
docker tag gcr.azk8s.cn/kubeflow-images-public/katib/v1alpha3/katib-manager:v0.7.0 gcr.io/kubeflow-images-public/katib/v1alpha3/katib-manager:v0.7.0
docker tag gcr.azk8s.cn/kubeflow-images-public/katib/v1alpha3/katib-ui:v0.7.0 gcr.io/kubeflow-images-public/katib/v1alpha3/katib-ui:v0.7.0
docker tag gcr.azk8s.cn/kubebuilder/kube-rbac-proxy:v0.4.0 gcr.io/kubebuilder/kube-rbac-proxy:v0.4.0
docker tag gcr.azk8s.cn/kubeflow-images-public/metadata:v0.1.11 gcr.io/kubeflow-images-public/metadata:v0.1.11
docker tag gcr.azk8s.cn/ml-pipeline/envoy:metadata-grpc gcr.io/ml-pipeline/envoy:metadata-grpc
docker tag gcr.azk8s.cn/tfx-oss-public/ml_metadata_store_server:0.15.1 gcr.io/tfx-oss-public/ml_metadata_store_server:0.15.1
docker tag gcr.azk8s.cn/kubeflow-images-public/metadata-frontend:v0.1.8 gcr.io/kubeflow-images-public/metadata-frontend:v0.1.8
docker tag gcr.azk8s.cn/ml-pipeline/api-server:0.1.31 gcr.io/ml-pipeline/api-server:0.1.31
docker tag gcr.azk8s.cn/ml-pipeline/visualization-server:0.1.27 gcr.io/ml-pipeline/visualization-server:0.1.27
docker tag gcr.azk8s.cn/ml-pipeline/persistenceagent:0.1.31 gcr.io/ml-pipeline/persistenceagent:0.1.31
docker tag gcr.azk8s.cn/ml-pipeline/scheduledworkflow:0.1.31 gcr.io/ml-pipeline/scheduledworkflow:0.1.31
docker tag gcr.azk8s.cn/ml-pipeline/frontend:0.1.31 gcr.io/ml-pipeline/frontend:0.1.31
docker tag gcr.azk8s.cn/ml-pipeline/viewer-crd-controller:0.1.31 gcr.io/ml-pipeline/viewer-crd-controller:0.1.31
docker tag gcr.azk8s.cn/kubeflow-images-public/notebook-controller:latest gcr.io/kubeflow-images-public/notebook-controller:latest
docker tag gcr.azk8s.cn/kubeflow-images-public/profile-controller:latest gcr.io/kubeflow-images-public/profile-controller:latest
docker tag gcr.azk8s.cn/kubeflow-images-public/kfam:latest gcr.io/kubeflow-images-public/kfam:latest
docker tag gcr.azk8s.cn/kubeflow-images-public/pytorch-operator:v0.7.0 gcr.io/kubeflow-images-public/pytorch-operator:v0.7.0
docker tag gcr.azk8s.cn/kubeflow-images-public/tf_operator:v0.7.0 gcr.io/kubeflow-images-public/tf_operator:v0.7.0
docker tag gcr.azk8s.cn/kfserving/kfserving-controller:latest gcr.io/kfserving/kfserving-controller:latest
docker tag gcr.azk8s.cn/google_containers/spartakus-amd64:v1.1.0 gcr.io/google_containers/spartakus-amd64:v1.1.0

删除gcr.azk8s.cn的镜像

docker rmi gcr.azk8s.cn/kubeflow-images-public/ingress-setup:latest
docker rmi gcr.azk8s.cn/kubeflow-images-public/admission-webhook:v20190520-v0-139-gcee39dbc-dirty-0d8f4c
docker rmi gcr.azk8s.cn/kubeflow-images-public/kubernetes-sigs/application:1.0-beta
docker rmi gcr.azk8s.cn/kubeflow-images-public/centraldashboard:latest
docker rmi gcr.azk8s.cn/kubeflow-images-public/jupyter-web-app:9419d4d
docker rmi gcr.azk8s.cn/kubeflow-images-public/katib/v1alpha3/katib-controller:v0.7.0
docker rmi gcr.azk8s.cn/kubeflow-images-public/katib/v1alpha3/katib-manager:v0.7.0
docker rmi gcr.azk8s.cn/kubeflow-images-public/katib/v1alpha3/katib-ui:v0.7.0
docker rmi gcr.azk8s.cn/kubebuilder/kube-rbac-proxy:v0.4.0
docker rmi gcr.azk8s.cn/kubeflow-images-public/metadata:v0.1.11
docker rmi gcr.azk8s.cn/ml-pipeline/envoy:metadata-grpc
docker rmi gcr.azk8s.cn/tfx-oss-public/ml_metadata_store_server:0.15.1
docker rmi gcr.azk8s.cn/kubeflow-images-public/metadata-frontend:v0.1.8
docker rmi gcr.azk8s.cn/ml-pipeline/api-server:0.1.31
docker rmi gcr.azk8s.cn/ml-pipeline/visualization-server:0.1.27
docker rmi gcr.azk8s.cn/ml-pipeline/persistenceagent:0.1.31
docker rmi gcr.azk8s.cn/ml-pipeline/scheduledworkflow:0.1.31
docker rmi gcr.azk8s.cn/ml-pipeline/frontend:0.1.31
docker rmi gcr.azk8s.cn/ml-pipeline/viewer-crd-controller:0.1.31
docker rmi gcr.azk8s.cn/kubeflow-images-public/notebook-controller:latest
docker rmi gcr.azk8s.cn/kubeflow-images-public/profile-controller:latest
docker rmi gcr.azk8s.cn/kubeflow-images-public/kfam:latest
docker rmi gcr.azk8s.cn/kubeflow-images-public/pytorch-operator:v0.7.0
docker rmi gcr.azk8s.cn/kubeflow-images-public/tf_operator:v0.7.0
docker rmi gcr.azk8s.cn/kfserving/kfserving-controller:latest
docker rmi gcr.azk8s.cn/google_containers/spartakus-amd64:v1.1.0

四、下载kfctl v0.7.0

从Kubeflow版本页面下载kfctl v0.7.0版本
https://github.com/kubeflow/kubeflow/releases/tag/v0.7.0

解压，我的环境解压到/ssd目录

五、安装kubeflow 0.7.0

[root@master ~]#export PATH=$PATH:"/ssd"
[root@master ~]#export KF_NAME= kubeflow
[root@master ~]#export BASE_DIR=/ssd
[root@master ~]#export KF_DIR=${BASE_DIR}/${KF_NAME}
[root@master ~]#export CONFIG_URI="https://raw.githubusercontent.com/kubeflow/manifests/v0.7-branch/kfdef/kfctl_k8s_istio.0.7.0.yaml"
[root@master ~]#mkdir -p ${KF_DIR}
[root@master ~]#cd ${KF_DIR}
[root@master ~]#kfctl apply -V -f ${CONFIG_URI}

也可以把kfctl_k8s_istio.0.7.0.yaml文件下载下来，比如

[root@ssd]#wget https://raw.githubusercontent.com/kubeflow/manifests/v0.7-branch/kfdef/kfctl_k8s_istio.0.7.0.yaml

安装的时候执行

[root@ssd]# kfctl apply -V -f kfctl_k8s_istio.0.7.0.yaml

六、访问kubeflow

根据官方说明，kubeflow通过istio-ingressgateway访问Kubeflow Dashboard
https://www.kubeflow.org/docs/started/k8s/kfctl-k8s-istio/
在这里插入图片描述
查看istio-ingressgateway的服务配置

[root@master ~]# kubectl get pod -n istio-system  -o wide | grep istio-ingressgateway

可以看到istio-ingressgateway在node1，但没有配置外网地址
在这里插入图片描述
设置外网地址，修改istio-ingressgateway的服务配置

[root@master ~]# kubectl edit svc istio-ingressgateway -n istio-system

增加externalIPs，填node1的IP（如果有内外网IP，填写内网IP）
修改Type，将Type的值NodePort修改为LoadBalancer
:wq保存退出
在这里插入图片描述

访问地址http:// EXTERNAL-IP: 31380 (上图可以看到80端口映射到了31380)
EXTERNAL-IP为任意node的EXTERNAL-IP

七、单独访问pipeline

查看ml-pipeline-ui的服务配置

[root@master ~]# kubectl -n kubeflow get svc ml-pipeline-ui

在这里插入图片描述
修改ml-pipeline-ui的服务配置

[root@master ~]# kubectl -n kubeflow edit svc ml-pipeline-ui

增加externalIPs，填node1的IP（如果有内外网IP，填写内网IP）
修改Type，将ClusterIP修改为LoadBalancer
保存退出
在这里插入图片描述

[root@master ~]# kubectl -n kubeflow get svc ml-pipeline-ui

在这里插入图片描述
访问地址http:// EXTERNAL-IP:32172(上图80端口映射到了32172)

八、删除kubeflow

[root@master ~]#export PATH=$PATH:"/ssd"
[root@master ~]#export KF_NAME=mlopskubeflow
[root@master ~]#export BASE_DIR=/ssd/kubeflow
[root@master ~]#export KF_DIR=${BASE_DIR}/${KF_NAME}
[root@master ~]#export CONFIG_FILE=${KF_DIR}/kfctl_k8s_istio.0.7.0.yaml
[root@master ~]#kfctl delete -f ${CONFIG_FILE}

如果还要使用以上方式去安装kubeflow，需要删除掉原有的istio-system、knative-serving下的所有资源

[root@master ~]#kubectl delete ns istio-system
[root@master ~]#kubectl delete ns knative-serving

九、问题集锦

待续《基于K8s 1.15部署kubeflow 0.7.0 by kfctl–问题集锦》

Cloudpods

开源、云原生的融合云平台

更多推荐

面向未来的 IT 基础设施管理架构——融合云（Unified IaaS）

随着数字化时代的到来，IT系统已成为人类社会正常运转不可或缺的组成部分。不远的未来，智能制造，5G和人工智能等技术将成为推动生产力发展的重要引擎，人类社会将面临前所未有的全面彻底的数字化浪潮。IT基础设施作为IT系统运行的平台和载体，是实现数字化的基石。在这场数字化浪潮中，企业必须积极拥抱云计算技术，采用符合技术发展趋势、面向未来的IT基础构架，才能在未来的竞争中赢得先机。一、云计算历经十余年

Cloudpods

Cloudpods负载均衡的功能介绍

作者:周有松今天的内容会从以下几个方面展开：负载均衡产品简介。主要介绍负载均衡作为一个云上产品，它的功能模型是怎样的，日常使用中会遇到的业务词汇负载均衡的功能与典型应用场景。这部分主要结合业务词汇，对负载均衡服务中常见的一些功能选项进行介绍，并举例介绍一些典型的应用场景最后，我们做一下总结，讨论一下负载均衡产品相比传统方式的优点一、产品简介 1. 以NGINX为例提到负载均衡，我们以

Cloudpods

使用Linux vfio将Nvidia GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传需要使用 vfio 的方式。主要是因为在 vfio 方式下对虚拟设备的权限和 DMA 隔离上做的更好。但是这么做也有个缺点，这个物理设备在主机和其他虚拟机都不能使用了。 qemu 直接使用物理设备本身命令行是很简单的，关键在于事先在主机上对系统、内核和物理设备的一些配置。单纯从 qemu 的命令行来看，其实和普通虚拟机启动就差了最后那个-device的选项。这

Cloudpods

所有评论(0)

查看更多评论

小鱼快跑

@reachyu

已为社区贡献2条内容