哥哥哥哥哥哥哥哥哥哥哥哥，你好师父，你看，魏冄从站（从站1、从站2)
西文一主机名称#哦，天啊师父！师父,吴亚玲吴亚玲奴隶制度-什么事主机名称
主机名CTL集-主机名主服务器-主机名称集
你好坞站#哦，天啊师父！师父阿云奴隶制度朱庇荫（音译)yum remove-y docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-log rotate \ docker-log rotate \ docker-selinux \ docker-engine selinux \ docker-engine沙吾提妙的存储库#哦，天啊师父！师父阿云奴隶制度朱庇荫（音译)yum install-y yum-utils \ device mapper-persistent-data \ LVM 2 sudo yum-config manager \-add-repo \ 339下载。码头工人。com/Linux/centos/docker-ce。被卖方收回的汽车是1821年坞站（霍阿里阿里阿里阿里阿里阿里阿里阿里阿里阿里阿里阿里里阿里阿里阿里里阿里阿里，你是说.)# #哦，天啊师父！师父阿云奴隶制度朱庇荫（音译)yum install-y docker-ce-18。09 .7 docker-ce-CLI-18。09 .7容器d . iosystemctl启用docketsystemctl启动docker你好码头工汝母#年#月#日哦，天啊师父！师父阿云奴隶制度朱庇荫（音译)坞站版本是吗网络文件系统实用程序#哦，天啊师父！师父阿云奴隶制度朱庇荫（音译)yum安装和网络文件系统实用程序我的天k8s(消歧义)什么事嗯，嗯诶哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟#年#月#日哦，天啊师父！师父阿云奴隶制度朱庇荫（音译)cat eof/etc/yum。回购。d/库布里克斯。回购名称=kubrieful URL=http://个镜像。阿里云。com/kubriefs/yum/repos/kubriefs-El 7-x86 _ 64 enabled=1 gpg check=0 repo _ gpg check=0 gpg key=http://个镜像。阿里云。com/kubriefs/yum/doc/yum-key。gpg http://个镜像。阿里云。com/kubriefs/doc/rpm-package-key。gpg eof云娥防火墙交换哦，天啊师父！师父阿云奴隶制度苏慕恩苏慕恩systemctl停止firewire allsystemctl禁用firewire allsetforce 0 sed-I/selinux=吊死/selinux=disabled/g '/etc/selinux/config swap-ayes | CP/etc/fstab/etc/fstab _ bakcat/etc/fstab _ bak | grep-v swap/etc/fstab魏冄/etc/sysctl.conf#哦，天啊师父！师父阿云奴隶制度苏慕恩苏慕恩我是/etc/sysctl.conf吴经玲说
网。IP v4。IP _ forward=1个网络。大桥。bridge-nf-call-IP 6个表=1个网。大桥。nf-call-iptables=1安藤安藤安藤安藤安藤阿齐兹阿齐兹阿齐兹阿齐兹阿齐兹阿齐兹阿齐兹阿齐兹阿齐兹阿齐兹阿齐兹阿齐兹阿齐兹阿齐兹阿齐兹
#年#月#日哦，天啊师父！师父阿云奴隶制度苏慕恩苏慕恩sysctl -p(消歧义)是吗忽必烈忽必烈忽必烈忽必烈忽必烈哦，天啊师父！师父阿云奴隶制度苏慕恩苏慕恩yum install-y kublatt-1。21 .1库布拉特-1。21 .1库布拉特-1。21 .一的安装与修复魏冄/usr/lib/系统/系统/dock。服务编号哦，天啊师父！师父阿云奴隶制度苏慕恩苏慕恩我是/usr/lib/system/docker。服务吴经玲说
-exec-opt本机。cgroupdriver=系统吴登盛？吴登盛
333010-6950
拜占庭拜占庭拜占庭码头工嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，嗨，唉哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟哟码头工安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁安祖鲁#年#月#日哦，天啊师父！师父阿云奴隶制度苏慕恩苏慕恩curl-SSL 339 get。dacloud。io/datools/set _ mirror。sh | sh-s http://f 1361 db 2。达克罗先生。超正析象管你好码头工，1821年kubi tol #哦，天啊师父！师父阿云奴隶制度苏慕恩苏慕恩-好吧
ystemctl daemon-reloadsystemctl restart dockersystemctl enable kubelet && systemctl start kubelet配置 master 的域名# 只在 master 节点执行echo "x.x.x.x master" >> /etc/hosts创建 ./kubeadm-config.yaml# 只在 master 节点执行cat <<EOF > ./kubeadm-config.yamlapiVersion: kubeadm.k8s.io/v1beta1kind: ClusterConfigurationkubernetesVersion: v1.21.1imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containerscontrolPlaneEndpoint: "master:6443"networking:podSubnet: "10.100.0.1/20"EOF注意podSubnet所使用的网段不能与节点所在的网段重叠初始化 master# 只在 master 节点执行kubeadm init --config=kubeadm-config.yaml --upload-certs根据自身服务器情况等待几分钟，执行成功结果如图：
初始化 root 用户的 kubectl 配置# 只在 master 节点执行rm -rf /root/.kube/mkdir /root/.kube/cp -i /etc/kubernetes/admin.conf /root/.kube/config安装calico网络插件# 只在 master 节点执行kubectl apply -f https://docs.projectcalico.org/v3.6/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml执行以下命令，等待3-10分钟，直到所有的容器储与Running状态# 只在 master 节点执行watch kubectl get pod -n kube-system检查 master 初始化结果# 只在 master 节点执行kubectl get nodes获得join参数# 只在 master 节点执行kubeadm token create --print-join-command输入以上命令获得的结果如下
# kubeadm token create 命令的输出kubeadm join master:6443 --token mpfjma.4vjjg8flqihor4vt --discovery-token-ca-cert-hash sha256:6f7a8e40a810323672de5eee6f4d19aa2dbdb38411845a1bf5dd63485c43d303针对所有的 slave 节点执行# 只在 slave 节点执行echo "x.x.x.x master" >> /etc/hostskubeadm join apiserver.demo:6443 --token mpfjma.4vjjg8flqihor4vt --discovery-token-ca-cert-hash sha256:6f7a8e40a810323672de5eee6f4d19aa2dbdb38411845a1bf5dd63485c43d303需要将x.x.x.x替换为master节点的IP，下面一行命令为“获得join”参数后的输出
检查初始化结果# 只在 master 节点执行kubectl get nodes
到此 kubernetes 集群已全部安装完毕，下面为slave节点出错使一出slave节点的方法（将这两步执行后，可再次回到加入的阶段进行）1.在准备移除的 slave 节点上执行# 只在 slave 节点执行kubeadm reset2.在 master 节点上执行# 只在 master 节点执行
kubectl delete node demo-slave-x-x
k8s集群监控软件Kuboard的安装安装kuboard# 在 master 节点执行kubectl apply -f https://kuboard.cn/install-script/kuboard.yaml查看kuboard状态# 在 master 节点执行kubectl get pods -l k8s.eip.work/name=kuboard -n kube-system输出结果如下：
NAME READY STATUS RESTARTS AGEkuboard-54c9c4f6cb-6lf88 1/1 Running 0 45s获取管理员用户的token# 如果您参考 www.kuboard.cn 提供的文档安装 Kuberenetes，可在第一个 Master 节点上执行此命令kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep kuboard-user | awk '{print $1}')输出示例：
Name: admin-user-token-g8hxbNamespace: kube-systemLabels: <none>Annotations:
获取只读用户token# 如果您参考 www.kuboard.cn 提供的文档安装 Kuberenetes，可在第一个 Master 节点上执行此命令kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep kuboard-viewer | awk '{print $1}')只读用户拥有的权限：
（1）：view 可查看名称空间的内容
（2）：system:node 可查看节点信息
（3）：system:persistent-volume-provisioner 可查看存储类和存储卷声明的信息
适用场景：
只读用户不能对集群的配置执行修改操作，非常适用于将开发环境中的 Kuboard 只读权限分发给开发者，以便开发者可以便捷地诊断问题
通过port-forward访问kuboard# 在 master 节点执行kubectl port-forward service/kuboard 8080:80 -n kube-system在浏览器打开连接
http://x.x.x.x:8080
三、Helm的安装访问 https://github.com/kubernetes/helm/releases 下载合适的helm版本，此处下载的为 helm-v2.16.1-linux-amd64.tar.gz解压文件# 在master节点执行tar -zxvf helm-v2.16.1-linux-amd64.tar.gz将解压后的helm移动到/usr/local/bin目录下：# 在master节点执行mv linux-amd64/helm /usr/local/bin/helm安装socat（否则可能会报如下错误：Error: cannot connect to Tiller）# 在master和slave节点执行yum install -y socat创建一个名为tiller的Service Account# 在 master 节点执行kubectl create serviceaccount tiller --namespace kube-system授予名未tiller的Service Account集群管理员角色cluster-admin,首先创建名为rbac-config.yamlapiVersion: rbac.authorization.k8s.io/v1beta1kind: ClusterRoleBindingmetadata:name: tillerroleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: cluster-adminsubjects:- kind: ServiceAccountname: tillernamespace: kube-system绑定授予tiller集群管理员# 在 master 节点执行kubectl create -f rbac-config.yaml安装Tiller服务器# 在 master 节点执行helm init --service-account tiller验证安装# 在 master 节点执行helm version若正确显示Helm客户端和Tiller服务器的版本，表示安装成功
若出现 cannot connect to Tiller 或者 could not find a ready tiller pod 的问题，输入以下命令：
# 在 master 节点执行helm init -i sapcc/tiller:v2.16.1 --upgrade设置添加tiller账户# 在 master 节点执行kubectl --namespace kube-system patch deploy tiller-deploy -p '{"spec":{"template":{"spec":{"serviceAccount":"tiller"}}}}'四、nfs服务的安装配置在所有节点安装nfs# 在 master 和 slave 节点执行yum install -y nfs-common nfs-utils创建共享目录# 在 master 节点执行mkdir /nfsdata授权共享目录# 在 master 节点执行chmod 666 /nfsdata编辑nfs的配置文件：/etc/exports# 在 master 节点执行vim /etc/exports/nfsdata *(rw,no_root_squash,no_all_squash,sync)说明：
/nfsdata：是共享数据的目录。
*：表示任何人都有权限连接。
rw：读写的权限
sync：表示文件同时写入硬盘和内存
no_root_squash：当登录 NFS 主机使用共享目录的使用者是 root 时，其权限将被转换成为匿名使用者，通常它的 UID 与 GID，都会变成 nobody 身份
启动rpc 和 nfs（注意启动的顺序）# 在 master 节点执行#先启动rpcsystemctl start rpcbind.servicesystemctl enable rpcbindsystemctl status rpcbind# 再启动nfssystemctl start nfs.servicesystemctl enable nfssystemctl status nfs确认nfs安装成功# 在 master 节点执行rpcinfo -p|grep nfs输出示例：
100003 3 tcp 2049 nfs100003 4 tcp 2049 nfs100227 3 tcp 2049 nfs_acl100003 3 udp 2049 nfs100003 4 udp 2049 nfs100227 3 udp 2049 nfs_acl查看目录的挂载权限# 在 master 节点执行cat /var/lib/nfs/etab输出示例：
/data/k8s *(rw,sync,wdelay,hide,nocrossmnt,secure,no_root_squash,no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,secure,no_root_squash,no_all_squash)jupyterhub 的安装Jupyterhub 安装方法：第一种：helm安装生成随机安全令牌# 在 master 节点执行openssl rand -hex 32编辑 config.yaml 文件proxy:secretToken: "xxxxxxxxxxxxxxx"helm更新安装jupyterhub的chart repository# 在 master 节点执行helm repo add jupyterhub https://jupyterhub.github.io/helm-chart/helm repo update输出示例：
Hang tight while we grab the latest from your chart repositories......Skip local chart repository...Successfully got an update from the "stable" chart repository...Successfully got an update from the "jupyterhub" chart repositoryUpdate Complete.安装chart configuredhelm upgrade --cleanup-on-fail \ --install $RELEASE jupyterhub/jupyterhub \ --namespace $NAMESPACE \ --create-namespace \ --version=0.11.1 \ --values config.yaml注意直接执行即可无需改动
注意下面步骤非常重要
在执行上面命令后会发现界面卡在如下所示不动,
此时打开另一个 master 窗口，查看pod# 在master节点执行kubectl get pod --namespace jhub发现报 ErrImagePull 错，如下图所示(多查看几次，若还是错误就进行修改，如正确就不用在进行修改)：
此时通过如下命令修改这个pod# 在 master 节点执行kubectl edit pod hook-image-puller-p9j9b -n jhub将该文件中的 gcr.io 全部替换为 gcr.azk8s.cn ,再保存退出
稍等一会，在原窗口可以看到如下界面：
此时再次查看 jhub 命名空间的pod# 在 master 节点执行kubectl get pod --namespace jhub出现如下这表示成功：
查看service# 在 master 节点执行
kubectl get service --namespace jhub
此时发现 proxy-public 的 EXTERNAL-IP 处于pending状态
修改proxy-public# 在 master 节点执行kubectl edit service proxy-public -n jhub将 type: LoadBalancer 改成 type: NodePort
再次查看 service
此时我们在浏览器中通过 80 映射的端口去访问jupyterhub
此时由于jupyterhub是默认设置任何用户均可登陆
到此，基于k8s的jupyterhub已经基本搭建完成。第二种：conda安装Conda安装，首先要安装Anaconda
JupyterHub是基于Python的，所以我们需要安装一下Python的相关环境。Anaconda是一个非常成熟的Python包管理工具，因此本文档选用该工具进行基础环境的安装，首先就是安装该工具。
下载---这里我使用清华的镜像站点下载，速度很nice,50-60MB/swget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda2-2018.12-Linux-x86_64.sh
安装bash Anaconda2-2018.12-Linux-x86_64.sh
根据提示安装即可，安装过程中会询问你是否将anaconda的路径加入到环境变量.bashrc中，默认是no，所以如果在安装的过程中手太快，一键到底了的话，可以通过手动添加的方式进行设置。
手动添加方式：vim ~/.bashrc
在bashrc文件的最后添加
# added by Anaconda3 2018.12 installer# >>> conda init >>># !! Contents within this block are managed by 'conda init' !!__conda_setup="$(CONDA_REPORT_ERRORS=false '/opt/anaconda3/bin/conda' shell.bash hook 3> /dev/null)"if < $? -eq 0 >; then\eval "$__conda_setup"elseif < -f "/opt/anaconda3/etc/profile.d/conda.sh" >; then. "/opt/anaconda3/etc/profile.d/conda.sh"CONDA_CHANGEPS1=false conda activate baseelse\export PATH="/opt/anaconda3/bin:$PATH"fifiunset __conda_setup# <<< conda init <<<保存并退出
然后
source ~/.bashrc
检测Anaconda是否安装成功：
conda list
如果提示conda: command not found,请参考是否将Anaconda3加入环境变量，并且更新生效。
安装jupyterhub可以使用清华的conda源加速conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forgeconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --set show_channel_urls yesconda install -c conda-forge jupyterhub
检测安装是否成功jupyterhub -hnpm install -g configurable-http-proxyconfigurable-http-proxy -h生成配置文件c.JupyterHub.ip = '您的IP'c.JupyterHub.port = 您的端口c.Spawner.ip = '127.0.0.1'c.PAMAuthenticator.encoding = 'utf8'c.Authenticator.whitelist = {'root','admin'} #默认不能使用root登录，需要修改配置c.LocalAuthenticator.create_system_users = Truec.Authenticator.admin_users = {'root', 'admin'}c.JupyterHub.authenticator_class = 'dummyauthenticator.DummyAuthenticator'c.JupyterHub.statsd_prefix = 'jupyterhub'c.Spawner.notebook_dir = '/volume1/' #jupyterhub自定义目录c.Spawner.cmd = =<'jupyterhub-singleuser'>第三种：pip安装更新pip版本python3 -m pip install --upgrade pip
安装npm和nodejsapt-get update# 更新sudo apt-get install npm# 安装npmsudo npm install n -g# 安装n模块sudo n lts# 安装最新长期支持版 node。不要低于版本12安装jupyterhubsudo npm install -g configurable-http-proxysudo python3 -m pip install jupyterhub生成jupyterhub_config.py配置文件jupyterhub --generate-config -f 【PATH】# 将【PATH】替换为对应的文件位置。若不指定PATH，则默认为当前文件夹配置jupyterhub_config.py文件c.JupyterHub.ip = '您的IP'c.JupyterHub.port = 您的端口c.Spawner.ip = '127.0.0.1'c.PAMAuthenticator.encoding = 'utf8'c.Authenticator.whitelist = {'root','admin'} #默认不能使用root登录，需要修改配置c.LocalAuthenticator.create_system_users = Truec.Authenticator.admin_users = {'root', 'admin'}c.JupyterHub.authenticator_class = 'dummyauthenticator.DummyAuthenticator'c.JupyterHub.statsd_prefix = 'jupyterhub'c.Spawner.notebook_dir = '/volume1/study/' #jupyterhub自定义目录c.Spawner.cmd = =<'jupyterhub-singleuser'>默认情况下，密码为系统中该用户对应的密码
安装Dashboard插件Kubernetes Dashboard 是 k8s集群的一个 WEB UI管理工具，代码托管在 github 上。
安装wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
安装之后会生成一个kubernetes-dashboard.yaml文件
kind: ServiceapiVersion: v1metadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardnamespace: kube-systemspec:ports:- port: 443targetPort: 8443type: NodePortselector:k8s-app: kubernetes-dashboard然后直接部署新版本的dashboard即可：kubectl create -f kubernetes-dashboard.yaml
查看 dashboard 的外网访问端口：kubectl get svc kubernetes-dashboard -n kube-system
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
haproxy ClusterIP 10.254.125.90 <none> 8440/TCP,8442/TCP 2d
kubernetes-dashboard NodePort 10.254.122.185 <none> 443:31694/TCP 10s
然后直接访问集群中的任何一个节点 IP 加上上面的31694端口即可打开 dashboard 页面了.
由于 dashboard 默认是自建的 https 证书，该证书是不受浏览器信任的，所以我们需要强制跳转就可以了。
默认 dashboard 会跳转到登录页面，我们可以看到 dashboard 提供了Kubeconfig和token两种登录方式，我们可以直接跳过或者使用本地的Kubeconfig文件进行登录，可以看到会跳转到如下页面：
这是由于该用户没有对default命名空间的访问权限。
生成token登录 dashboard 的时候支持 Kubeconfig 和token 两种认证方式，Kubeconfig 中也依赖token 字段，所以生成token 这一步是必不可少的。
我们创建一个admin用户并授予admin 角色绑定，使用下面的yaml文件创建admin用户并赋予他管理员权限，然后就可以通过token 登陆dashbaord，这种认证方式本质实际上是通过Service Account 的身份认证加上Bearer token请求 API server 的方式实现。
kind: ClusterRoleBindingapiVersion: rbac.authorization.k8s.io/v1beta1metadata:name: adminannotations:rbac.authorization.kubernetes.io/autoupdate: "true"roleRef:kind: ClusterRolename: cluster-adminapiGroup: rbac.authorization.k8s.iosubjects:- kind: ServiceAccountname: adminnamespace: kube-system---apiVersion: v1kind: ServiceAccountmetadata:name: adminnamespace: kube-systemlabels:kubernetes.io/cluster-service: "true"addonmanager.kubernetes.io/mode: Reconcile上面的admin用户创建完成后我们就可以获取到该用户对应的token了，如下命令：
$ kubectl get secret -n kube-system|grep admin-token
admin-token-d5jsg kubernetes.io/service-account-token 3 1d
$ kubectl get secret admin-token-d5jsg -o jsonpath={.data.token} -n kube-system |base64 -d# 会生成一串很长的base64后的字符串
然后在 dashboard 登录页面上直接使用上面得到的 token 字符串即可登录，这样就可以拥有管理员权限操作整个 kubernetes 集群的对象，当然你也可以为你的登录用户新建一个指定操作权限的用户。
下一节会更新一些常见的错误及处理办法，欢迎大家与我一起交流学习
