работающим с большими потоками данных, которым нужен надёжный инструмент для их обработки и передачи
создающим распределённые и микросервисные архитектуры, где необходима асинхронная обработка сообщений
ответственным за развертывание и поддержку высоконагруженных систем, включая брокеры сообщений
Команда Rebrain изучает, какие из компетенций требуются на разных уровнях профессий.
В данном задании мы запустим брокер Kafka и подключим к нему мониторинг Prometheus.
Что Kafka, что Prometheus представлены в виде docker-compose
Подключитесь к выделенной при старте задания машине по SSH. Архив с Kafka уже развёрнут в папке /opt/kafka. После подключения добавьте следующие записи в файл /etc/hosts. Вместо 10.129.0.13 укажите ваш адрес.
129.0.13 kafka-centos-8
129.0.13 kafka1
129.0.13 kafka2
129.0.13 kafka3
129.0.13 grafana
129.0.13 prometheus
В папке /opt/docker/kafka для вас подготовлен docker-compose файл. Запустите его в фоне, предварительно добавив параметры jmx к каждому экземпляру kafka
KAFKA_OPTS: >-
javaagent:/etc/jmx_exporter/jmx_exporter.jar=7072:/etc/jmx_exporter/config.yml
volumes:
'./data/node1:/opt/kafka/data' ### где номера нод соответствуют экземплярам kafka
'./jmx_exporter/jmx_exporter.jar:/etc/jmx_exporter/jmx_exporter.jar'
'./jmx_exporter/config.yml:/etc/jmx_exporter/config.yml'
И выставляем порт JMX
7072 как 20100 для kafka1
7072 как 20200 для kafka2
7072 как 20300 для kafka3
В папке /opt/docker/kafka-monitoring для вас подготовлен docker-compose файл. Запустите его в фоне, предварительно поменяв таргет для сбора метрик в файле /opt/docker/kafka-monitoring/prometheus/prometheus.yml
При использовании данного сайта, вы подтверждаете свое согласие на использование файлов cookie и других похожих технологий в соответствии с настоящим Уведомлением.
