k3s 安装笔记#

k3s 是轻量级单节点集群，当然也可以加入多节点。

集群引导#

单master节点#

1
curl -sfL https://get.k3s.io | sh -
2

3
# 中国区加速
4
curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -

运行完就安装完成了，需要保证 6443 和 443 端口可用。

安装完，集群默认配置文件在/etc/rancher/k3s/k3s.yaml，如果不想sudo使用的话，可以移动配置文件：

1
mkdir -p ~/.kube
2
sudo cp /etc/rancher/k3s/k3s.yaml ~/.kube/config
3
sudo chown $USER:$USER ~/.kube/config

设置环境变量export KUBECONFIG=~/.kube/config

加入agent节点

查看/var/lib/rancher/k3s/server/node-token得到token，加入

1
curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC='agent --node-ip=10.0.0.14 --node-name=p4' K3S_URL='master url' K3S_TOKEN='token' sh -
2

3
# 建议指定--node-ip和-node-name，多网卡下自动获取的node-ip可能不对，而node-name一般不太标准

多主节点#

上面的初始化是单master节点的，因为使用的是sqlite，如果要使用多节点，需要在第一台机器上加入--cluster-init，即：

1
curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC='server --node-ip=10.0.0.21 --node-name=h1 --flannel-backend=none --disable-network-policy --disable=traefik --cluster-init' sh -
2

3
# --flannel-backend=none --disable-network-policy --disable=traefik
4
# 是禁用自带的CNI和网络配置，为后面的cilium做准备

后面的server节点不需要，即：

1
curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC='server --node-ip=10.0.0.24 --node-name=h4 --flannel-backend=none --disable-network-policy --disable=traefik' K3S_URL='https://10.0.0.21:6443' K3S_TOKEN='token' sh -
2

3
# 除此之外的INSTALL_K3S_EXEC参数需要和第一个节点相同，否则无法同步

其他agent加入与server相同，但注意不要INSTALL_K3S_EXEC参数控制网络插件

1
curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC='agent --node-ip=10.0.0.14 --node-name=p4' K3S_URL='https://10.0.0.21:6443' K3S_TOKEN='token' sh -

删除#

1
# master
2
/usr/local/bin/k3s-uninstall.sh
3
# agent
4
/usr/local/bin/k3s-agent-uninstall.sh

删除后集群数据并不会完全删除，可能残留有网络插件数据，查阅文档删除即可。

‍

集群网络#

CNI cilium#

由于自带的是flannel+vxlan，性能比较差，一般希望换成cilium，官方文档：

由于cilium是取代了kube-proxy的，这里面还需要处理一下，安装server的时候：

1
curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC='--flannel-backend=none --disable-network-policy' sh -
2

3
# 如果不想使用自带的LB，再加入--disable=traefik

来diable network

然后照官方文档安装cilium就可以了

1
 helm install cilium ./cilium --version 1.17.0 \
2
   --namespace cilium \
3
   --set hubble.relay.enabled=true \
4
   --set operator.replicas=1 \
5
   --set hubble.ui.enabled=true \
6
   --create-namespace
7

8
# operator.replicas=1建议只使用1

另外注意的是ip段，cilium默认使用10.0.0.0/8，如果CIDR冲突，需要更改集群IP段，用helm拉下找到CIDR即可，不然cilium修改route后会断网

集群存储#

Longhorn#

按照官网的安装教程来，使用helm，但是需要做一些初始化工作，每个节点都需要达到要求

1
# 基础工具nfs-common
2
sudo apt install -y nfs-common cryptsetup
3

4
# dm_crypt 模块
5
lsmod | grep dm_crypt
6
sudo modprobe dm_crypt
7
sudo echo "dm_crypt" | sudo tee -a /etc/modules # 加入启动列表自动加载
8

9

10
# 关闭multipathd
11
sudo systemctl stop multipathd.socket
12
sudo systemctl disable multipathd.socket
13
sudo systemctl stop multipathd.service
14
sudo systemctl disable multipathd.service

完毕后，安装：

1
helm install longhorn longhorn/longhorn --namespace longhorn-system --create-namespace --version 1.8.0

longhorn自带一个UI来设置所有的values，所以我们不需要改

集群LB#

Ingress Gateway#

安装

1
helm install eg oci://docker.io/envoyproxy/gateway-helm --version v0.0.0-latest -n envoy-gateway-system --create-namespace

1
# 测试
2
kubectl wait --timeout=5m -n envoy-gateway-system deployment/envoy-gateway --for=condition=Available
3
kubectl apply -f https://github.com/envoyproxy/gateway/releases/download/latest/quickstart.yaml -n default

HA Loadbalance#

‍

1
frontend k3s-frontend
2
    bind *:16443 # 这里必须是*，否则没拿到IP的backup节点启动失败
3
    mode tcp
4
    option tcplog
5
    default_backend k3s-backend
6

7
backend k3s-backend
8
    mode tcp
9
    option tcp-check
10
    balance roundrobin
11
    default-server inter 10s downinter 5s
12
    server server-1 10.0.0.21:6443 check
13
    server server-2 10.0.0.22:6443 check
14
    server server-3 10.0.0.24:6443 check

‍

1
global_defs {
2
  enable_script_security
3
  script_user root
4
}
5

6
vrrp_script chk_haproxy {
7
    script 'killall -0 haproxy' # 测试haproxy进程是否存在
8
    interval 2
9
}
10

11
vrrp_instance haproxy-vip {
12
    interface eth1 # 修改通信网卡
13
    state <STATE> # MASTER, BACKUP, BACKUP
14
    priority <PRIORITY> # 200, 150, 100
15

16
    virtual_router_id 51
17

18
    virtual_ipaddress {
19
        10.0.0.99/24
20
    }
21

22
    track_script {
23
        chk_haproxy
24
    }
25
}

其他#

集群调试#

实践中关键数据库一般不会暴露到集群外，如 mysql，假设上面我们只有一个 mysql-ci-service 可用，怎么连上mysql 进行调试呢？

port-forward：使用 kubectl 端口转发：可以转发到 pod 和服务，只转发端口
proxy：通过 k8s api 访问集群服务，但只能访问 http 服务
使用 telepresence：推荐

port-forward#

我们已知上面的service 名称为 mysql-ci-service，端口为 30002，则可以输入：

1
kubectl port-forward service/mysql-ci-service 3306:30002

就把本地端口转发到 service 的 30002，service 再转发到 pod 3306

如果要转发 pod（比如说可能想绕过 service 的负载均衡到达指定 pod），则需要得到 pod 名称，然后输入：

1
kubectl port-forward pod/mysql-6d57fdf866-f492r 3306:3306

proxy#

输入 kubectl proxy 即可使用

telepresence#

telepresence 可以直接拦截本地流量发送到 k8s 上，看起来就好像身处集群中。

telepresence

1
telepresence connect

如果想要拦截云上服务的流量，telepresence 也能做到，详细参考文档。

‍

其他问题#

本地私有仓库配置#

k3s不是在containerd的配置文件中配置本地仓库，而是配置k3s，自动生成containerd的配置文件，假设10.0.0.21:5000上有一个镜像站：

1
sudo mkdir -p /etc/rancher/k3s
2
# 添加
3
mirrors:
4
  "10.0.0.21:5000":
5
    endpoint:
6
      - "http://10.0.0.21:5000"

然后重启k3s服务

‍

命名空间无法删除的问题#

查看命名空间存在的资源：

1
kubectl api-resources --verbs=list --namespaced -o name | xargs -n 1 kubectl -n <name-of-namespace> get

然后删除对应的资源

音乐