(资料图片)

https://kubernetes.io/zh-cn/docs/setup/production-environment/container-runtimes/https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

在master和worker节点上安装containerd、kubelet、kubeadm、kubectl

lsmod | grep br_netfilterlsmod | grep overlay# 以上两个命令应该有输出，否则需要做如下设置：# cat < /etc/containerd/config.tomlsed -i "s/SystemdCgroup = false/SystemdCgroup = true/" /etc/containerd/config.tomlsed -iE "s/sandbox_image.*/sandbox_image = "registry.k8s.io\/pause:3.9"/g" /etc/containerd/config.tomlsystemctl daemon-reloadsystemctl enable containerdsystemctl restart containerdcat <
[kubernetes]name=Kubernetesbaseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\$basearchenabled=1gpgcheck=1gpgkey=https://packages.cloud.google.com/yum/doc/rpm-package-key.gpgexclude=kubelet kubeadm kubectlEOF# 将 SELinux 设置为 permissive 模式（相当于将其禁用）sudo setenforce 0sudo sed -i "s/^SELINUX=enforcing$/SELINUX=permissive/" /etc/selinux/configsudo yum install -y kubelet-1.27.3 kubeadm-1.27.3 kubectl-1.27.3 --disableexcludes=kubernetessudo systemctl enable --now kubelet
在master节点里使用kubeadm创建集群：
https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
echo "export POD_SUBNET=10.100.0.1/16">>/etc/profilesource /etc/profilekubeadm config images pull --kubernetes-version=v1.27.3# 执行完以上命令之后，使用crictl images可以看到下载的镜像
kubeadm init --kubernetes-version=v1.27.3 --pod-network-cidr=$POD_SUBNET --control-plane-endpoint=${dns/master_ip}# 配置 kubectlrm -rf /root/.kube/mkdir /root/.kube/cp -i /etc/kubernetes/admin.conf /root/.kube/configecho "export KUBECONFIG=/etc/kubernetes/admin.conf">>/etc/profilesource /etc/profile# 允许master节点运行pod：kubectl taint nodes --all node-role.kubernetes.io/control-plane-# kubeadm init完了之后，还需要安装一个CNI # https://kubernetes.io/docs/concepts/cluster-administration/networking/#how-to-implement-the-kubernetes-networking-model# https://github.com/containernetworking/cni# https://github.com/projectcalico/calico# https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/tigera-operator.yamlwget https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/custom-resources.yamlsed -i "s#192.168.0.0/16#${POD_SUBNET}#" custom-resources.yamlkubectl apply -f custom-resources.yaml# 等待一段时间口即可看到所有pods都处于running状态：
在master节点里创建完成之后，就可以让worker节点加入到master里，在master里执行：kubeadm token create --print-join-command 输出的内容在worker节点里运行，输出如下：
在master节点里运行kubectl get nodes即可看到当前的所有节点
安装图形化管理工具
官方推荐的dashboard：
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yamlkubectl proxy --address="0.0.0.0" --port=8080 --accept-hosts=".*"安全性限制的很严格，只支持localhost或者是https登录，这种情况需要将master节点挂到一个域名后面并且添加CA证书然后访问：https://your_domain/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/#/login另一个比较好用的：https://github.com/eip-work/kuboard-press
sudo docker run -d \  --restart=unless-stopped \  --name=kuboard \  -p 8080:80/tcp \  -p 10081:10081/tcp \  -e KUBOARD_ENDPOINT="http://内网IP:8080" \  -e KUBOARD_AGENT_SERVER_TCP_PORT="10081" \  -v /root/kuboard-data:/data \  eipwork/kuboard:v3
创建完成后在浏览器端用masterip:8080即可打开，按照引导步骤将集群导入到UI里面之后就可以看到dashboard
从界面也可以看到所有的namespace：
在k8s里面部署一个服务
可以在界面手动创建一个namespace：test，然后在test里面创建deployment，测试将我们stage里用的airflow的worker部署到k8s里面，需要配置工作容器的信息，挂在efs到容器。
由于我们使用aws里的ecr，拉取镜像的时候需要登录，所以需要在这个新建的namespace里先创建拉取镜像需要的docker-registry类型的secret，可以使用kubectl创建一个secret，名字是ecrsecret：kubectl create secret docker-registry ecrsecret -n test --docker-server=https://${your_accountId}.dkr.ecr.${your_region}.amazonaws.com --docker-username=AWS --docker-password=$(aws ecr get-login --no-include-email --region ${your_region} --registry-ids ${your_account_id}|awk "{print $6}")，输出：secret/ecrsecret created，表示创建成功，创建deployment的时候就可以使用这个secret
全部设置好之后点击保存即可创建deployment，查看pod和airflow的flower，发现成功添加到airflow集群，并且已经开始运行task：
使用Velero备份k8s集群数据到aws的S3
wget https://github.com/vmware-tanzu/velero/releases/download/v1.10.3/velero-v1.10.3-linux-amd64.tar.gztar zxvf velero-v1.10.3-linux-amd64.tar.gzcd velero-v1.10.3-linux-amd64/cp velero /usr/bin/velero# 执行完后要等待十几秒才能看到可用备份velero install \  --provider aws \  --image velero/velero:v1.10.3 \  --plugins velero/velero-plugin-for-aws:v1.6.0 \  --bucket ${your_store_bucket_name} \  --prefix ${prefix} \  --use-volume-snapshots=false \  --backup-location-config region=us-east-1 \  --no-secret#备份 velero backup create backup$(date "+%Y%m%d%H%M%S") aws s3 ls s3://${your_store_bucket_name}/${prefix}   #查看可用的备份 velero backup get#如果更改了备份文件的地址，可以使用如下命令添加location velero backup-location create location2 \  --provider aws \  --bucket ${your_store_bucket_name} \  --prefix ${backups_prefix} \  --config region=${your_region}velero backup-location get#  然后再次查看可用备份velero backup get#恢复velero restore create --from-backup backupname