Мониторинг кластера с помощью Prometheus и Grafana

Статья создана

Перед началом работы
Установите Prometheus
Установите кеширующий прокси trickster
Установите Grafana
Настройте и проверьте работу Grafana
Удалите созданные ресурсы

Managed Service for Kubernetes позволяет выгружать метрики объектов кластера в системы мониторинга.

Из этой статьи вы узнаете, как настроить систему сбора метрик Prometheus и систему визуализации Grafana в кластере Managed Service for Kubernetes. Для ускорения передачи метрик будет установлен кеширующий прокси trickster.

Чтобы настроить систему мониторинга кластера Kubernetes:

Установите Prometheus.
Установите кеширующий прокси trickster.
Установите Grafana.
Настройте и проверьте работу Grafana.

Перед началом работы

Создайте кластер Managed Service for Kubernetes и группу узлов любой подходящей конфигурации с доступом в интернет.
Установите kubectl и настройте его на работу с созданным кластером.
Установите менеджер пакетов Helm версии не ниже 3.7.0.

Установите Prometheus

Система мониторинга Prometheus сканирует объекты кластера Kubernetes и собирает их метрики в собственную базу данных. Собранные метрики доступны внутри кластера по протоколу HTTP.

Добавьте репозиторий, содержащий дистрибутив Prometheus:

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts && \
helm repo update

Установите Prometheus:

helm install my-prom prometheus-community/prometheus

Убедитесь, что все поды перешли в состояние Running:

kubectl get pods -l "app=prometheus"

Результат выполнения команды:

NAME                                              READY  STATUS   RESTARTS  AGE
my-prom-prometheus-alertmanager-7b8f48b99d-xt6ws  2/2    Running  0         81s
my-prom-prometheus-node-exporter-pxpwg            1/1    Running  0         81s
my-prom-prometheus-pushgateway-69f47c5f55-swrfb   1/1    Running  0         81s
my-prom-prometheus-server-7b4c958476-m4v78        2/2    Running  0         81s

Установите кеширующий прокси trickster

Кеширующий прокси trickster ускоряет чтение из базы данных Prometheus, что позволяет отображать метрики Grafana практически в реальном времени, а также снизить нагрузку на Prometheus.

Добавьте репозиторий, содержащий дистрибутив trickster:
```
helm repo add tricksterproxy https://helm.tricksterproxy.io && \
helm repo update
```

Создайте конфигурационный файл trickster.yaml, содержащий настройки trickster:

trickster.yaml

frontend:
  listenAddress: ""
  tlsListenAddress: ""
  tlsListenPort: ""
  connectionsLimit: "0"
origins:
  - name: default
    originType: prometheus
    originURL: http://my-prom-prometheus-server:80
profiler:
  enabled: false
  port: 6060
prometheusScrape: false
prometheus:
  serviceMonitor:
    enabled: false
    interval: 30s
    labels: {}
replicaCount: 1
image:
  repository: tricksterproxy/trickster
  tag: "1.1"
  pullPolicy: IfNotPresent
service:
  annotations: {}
  labels: {}
  clusterIP: ""
  externalIPs: []
  loadBalancerIP: ""
  loadBalancerSourceRanges: []
  metricsPort: 8481
  servicePort: 8480
  type: ClusterIP
ingress:
  enabled: false
  annotations: {}
  extraLabels: {}
  hosts: []
  tls: []
volumes:
  persistent:
    type: "persistentVolume"
    enabled: false
    mountPath: "/tmp/trickster"
    accessModes:
      - ReadWriteOnce
    annotations: {}
    existingClaim: ""
    size: 15Gi
  generic:
    type: "generic"
    enabled: true
    mountPath: "/tmp/trickster"
podAnnotations: {}
resources: {}
securityContext: {}

Вы можете изменить размер хранилища, отведенного для работы кеширующего прокси. Укажите нужное значение размера хранилища в параметре volumes.persistent.size.

Установите trickster:

helm install trickster tricksterproxy/trickster --namespace default -f trickster.yaml

Убедитесь, что под trickster перешел в состояние Running:
```
kubectl get pods -l "app=trickster"
```

Кеширующий прокси доступен внутри кластера по адресу http://trickster:8480. Grafana будет обращаться по этому URL для получения метрик.

Установите Grafana

При развертывании приложения будут созданы:

Deployment приложения Grafana.
PersistentVolumeClaim для резервирования внутреннего хранилища.
Service типа LoadBalancer для организации сетевого доступа к консоли управления Grafana.

Чтобы установить Grafana:

Создайте конфигурационный файл grafana.yaml.

grafana.yaml

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: grafana-pvc
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: grafana
  name: grafana
spec:
  selector:
    matchLabels:
      app: grafana
  template:
    metadata:
      labels:
        app: grafana
    spec:
      securityContext:
        fsGroup: 472
        supplementalGroups:
          - 0
      containers:
        - name: grafana
          image: grafana/grafana:latest
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 3000
              name: http-grafana
              protocol: TCP
          readinessProbe:
            failureThreshold: 3
            httpGet:
              path: /robots.txt
              port: 3000
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 30
            successThreshold: 1
            timeoutSeconds: 2
          livenessProbe:
            failureThreshold: 3
            initialDelaySeconds: 30
            periodSeconds: 10
            successThreshold: 1
            tcpSocket:
              port: 3000
            timeoutSeconds: 1
          resources:
            requests:
              cpu: 250m
              memory: 750Mi
          volumeMounts:
            - mountPath: /var/lib/grafana
              name: grafana-pv
      volumes:
        - name: grafana-pv
          persistentVolumeClaim:
            claimName: grafana-pvc
---
apiVersion: v1
kind: Service
metadata:
  name: grafana
spec:
  ports:
    - port: 3000
      protocol: TCP
      targetPort: http-grafana
  selector:
    app: grafana
  sessionAffinity: None
  type: LoadBalancer

При необходимости измените:

Размер хранилища, отведенного для работы Grafana, в параметре spec.resources.requests.storage для kind: PersistentVolumeClaim.
Вычислительные ресурсы, выделяемые поду Grafana, в параметрах spec.containers.resources для kind: Deployment.

Установите Grafana:
```
kubectl apply -f grafana.yaml
```
Убедитесь, что под Grafana перешел в состояние Running:
```
kubectl get pods -l "app=grafana"
```

Настройте и проверьте работу Grafana

Узнайте адрес, на котором доступен сервис Grafana, и перейдите по этому адресу:

export GRAFANA_IP=$(kubectl get service/grafana -o jsonpath='{.status.loadBalancer.ingress[0].ip}') && \
export GRAFANA_PORT=$(kubectl get service/grafana -o jsonpath='{.spec.ports[0].port}') && \
echo http://$GRAFANA_IP:$GRAFANA_PORT

В открывшемся окне браузера введите логин и пароль admin/admin, после чего установите новый пароль для пользователя admin.
Добавьте источник данных с типом Prometheus и следующими настройками:
- Name — Prometheus.
- URL — http://trickster:8480.
Нажмите кнопку Save & test и убедитесь, что источник данных успешно подключен (Data source is working).
Импортируйте дашборд Kubernetes Deployment Statefulset Daemonset metrics, содержащий основные метрики Kubernetes. Укажите идентификатор дашборда (8588) при импорте.

Совет

Для проверки сценария вы можете использовать любой подходящий дашборд из каталога Grafana.
Откройте дашборд и убедитесь, что Grafana получает метрики от кластера Managed Service for Kubernetes.

Удалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

Удалите кластер Managed Service for Kubernetes.
Если вы зарезервировали для кластера публичный статический IP-адрес, удалите его.