K8s 持久化 Pod 控制台日志到节点本地：使用 Fluent Bit

1
# --- 第 1 部分：RBAC 权限 ---
2
# Fluent Bit 需要从 K8s API 读取 Pod 和 Namespace 元数据的权限。
3
apiVersion: v1
4
kind: ServiceAccount
5
metadata:
6
  name: fluent-bit
7
  namespace: my-app-ns # 替换为你的目标命名空间
8
---
9
apiVersion: rbac.authorization.k8s.io/v1
10
kind: ClusterRole
11
metadata:
12
  name: fluent-bit-read
13
rules:
14
- apiGroups: [""]
15
  resources:
16
  - namespaces
17
  - pods
18
  verbs: ["get", "list", "watch"]
19
---
20
apiVersion: rbac.authorization.k8s.io/v1
21
kind: ClusterRoleBinding
22
metadata:
23
  name: fluent-bit-read
24
roleRef:
25
  apiGroup: rbac.authorization.k8s.io
26
  kind: ClusterRole
27
  name: fluent-bit-read
28
subjects:
29
- kind: ServiceAccount
30
  name: fluent-bit
31
  namespace: my-app-ns # 替换为你的目标命名空间
32
---
33
# --- 第 2 部分：FLUENT BIT 配置 ---
34
apiVersion: v1
35
kind: ConfigMap
36
metadata:
37
  name: fluent-bit-config
38
  namespace: my-app-ns # 替换为你的目标命名空间
39
  labels:
40
    k8s-app: fluent-bit
41
data:
42
  # 主配置文件
43
  fluent-bit.conf: |
44
    [SERVICE]
45
        Flush         5
46
        Log_Level     info
47
        Parsers_File  parsers.conf
48

49
    [INPUT]
50
        # 'tail' 插件是我们的输入源，用于监控文件内容
51
        Name              tail
52
        Tag               kube.*
53
        # 这是 K8s 节点上所有容器日志的标准路径
54
        Path              /var/log/containers/*.log
55
        # 使用下面定义的 'cri' 解析器来提取原始的日志消息
56
        Parser            cri
57
        # 一个数据库文件，用于记录已读取的日志位置，防止重启后重复采集
58
        DB                /var/fluent-bit/db/flb_kube.db
59
        Mem_Buf_Limit     5MB
60

61
    [FILTER]
62
        # 'kubernetes' 过滤器会用 K8s API 中的元数据来丰富日志记录
63
        Name                kubernetes
64
        Match               kube.*
65
        # 将解析出的日志消息合并回主记录中
66
        Merge_Log           On
67
        # 指定合并后日志消息所使用的键名
68
        Merge_Log_Key       log_processed
69

70
    [FILTER]
71
        # 'grep' 过滤器用于筛选来自特定应用的日志
72
        Name                grep
73
        Match               kube.*
74
        # 这是核心过滤逻辑：只保留 'app' 标签为 'my-app' 的日志
75
        Regex               $kubernetes['labels']['app'] ^my-app$ # 将 'my-app' 替换为你的应用标签值
76

77
    [OUTPUT]
78
        # 'file' 输出插件将日志写入文件
79
        Name          file
80
        Match         kube.*
81
        # 日志将被写入到宿主机的这个目录下
82
        Path          /host-logs/
83
        # 指定输出日志文件的名称
84
        File          app.log
85
        # 使用自定义模板来格式化输出
86
        Format        template
87
        Template      {log}
88

89
  # 解析器配置文件
90
  parsers.conf: |
91
    [PARSER]
92
        Name   cri
93
        Format regex
94
        # 这个正则表达式用于剥离容器运行时添加的时间戳和流信息（stdout/stderr），
95
        # 只捕获原始的日志内容并存入 'log' 字段。
96
        Regex  ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>[^ ]*) (?<log>.*)$
97
        Time_Key time
98
        Time_Format %Y-%m-%dT%H:%M:%S.%L%z
99
---
100
# --- 第 3 部分：DAEMONSET 部署 ---
101
# 这个 DaemonSet 确保集群中的每个节点上都运行一个 Fluent Bit Pod，
102
# 从而能够采集该节点上所有应用的日志。
103

104
apiVersion: apps/v1
105
kind: DaemonSet
106
metadata:
107
  name: fluent-bit
108
  namespace: my-app-ns # 替换为你的目标命名空间
109
  labels:
110
    k8s-app: fluent-bit
111
spec:
112
  selector:
113
    matchLabels:
114
      k8s-app: fluent-bit
115
  template:
116
    metadata:
117
      labels:
118
        k8s-app: fluent-bit
119
    spec:
120
      # 使用我们在第 1 部分中创建的 Service Account
121
      serviceAccountName: fluent-bit
122
      terminationGracePeriodSeconds: 10
123

124
      # 定义卷，用于将宿主机路径和 ConfigMap 挂载到 Pod 中
125
      volumes:
126
      # 用于从宿主机读取容器日志的卷
127
      - name: varlog
128
        hostPath:
129
          path: /var/log
130
      # 用于容器运行时状态的卷（某些运行时需要）
131
      - name: varlibdockercontainers
132
        hostPath:
133
          path: /var/lib/docker/containers
134
      # 用于将最终的日志文件写入宿主机的卷
135
      - name: host-log-output
136
        hostPath:
137
          path: /var/log/my-app # 替换为你期望的宿主机输出目录
138
          type: DirectoryOrCreate
139
      # 用于从 ConfigMap 挂载配置文件的卷
140
      - name: config
141
        configMap:
142
          name: fluent-bit-config
143
      # 用于在宿主机上存放 Fluent Bit 数据库文件的可写卷
144
      - name: fluent-bit-db
145
        hostPath:
146
          path: /var/lib/fluent-bit/
147
          type: DirectoryOrCreate
148

149
      # 定义 Fluent Bit 容器
150
      containers:
151
      - name: fluent-bit
152
        image: fluent/fluent-bit:latest
153
        # 将上面定义的卷挂载到容器的文件系统中
154
        volumeMounts:
155
        - name: varlog
156
          mountPath: /var/log
157
          readOnly: true
158
        - name: varlibdockercontainers
159
          mountPath: /var/lib/docker/containers
160
          readOnly: true
161
        - name: host-log-output
162
          mountPath: /host-logs
163
        - name: config
164
          mountPath: /fluent-bit/etc/
165
        - name: fluent-bit-db
166
          mountPath: /var/fluent-bit/db/