Брокеры и репликация
Kafka хранит каждую партицию в нескольких копиях на разных серверах. От того, сколько копий и как подтверждается запись, зависит ответ на вопрос заказчика «а что будет, если сервер упадёт?».
Кластер, лидер и реплики
Кластер Kafka — это несколько брокеров. Каждая партиция хранится на нескольких из них: число копий задаёт фактор репликации (replication factor). В промышленной эксплуатации обычно ставят 3.
Одна из копий партиции — лидер, остальные — реплики (их ещё называют фолловерами). Продюсеры пишут только в лидера, потребители по умолчанию тоже читают у лидера, а реплики непрерывно копируют к себе всё, что появилось у лидера. Лидеры разных партиций кластер раскладывает по разным брокерам, чтобы нагрузка делилась поровну.
- Синхронные реплики ISR, in-sync replicas
- Копии, которые не отстают от лидера дольше допустимого. Только они могут стать новым лидером без потери данных.
Как подтверждается запись: acks
Продюсер сам решает, какого подтверждения ждать от брокера. За это отвечает настройка acks:
| Значение | Когда продюсер считает запись успешной | Риск |
|---|---|---|
acks=0 | Сразу после отправки, ответа не ждёт | Потеря незаметна: продюсер даже не узнает об ошибке |
acks=1 | Когда лидер записал сообщение к себе | Лидер упал до копирования на реплики — сообщение потеряно, хотя продюсер получил «успешно» |
acks=all | Когда сообщение записали все синхронные реплики | Дольше ждать подтверждения |
С Kafka 3.0 продюсер по умолчанию работает с acks=all и включённой идемпотентностью. Но в старых
сервисах и в «оптимизированных» конфигурациях всё ещё встречается acks=1 — стоит проверить.
Нижняя планка: min.insync.replicas
У acks=all есть ловушка. «Все синхронные реплики» — это сколько угодно, хоть одна. Если реплики отстали
и выпали из ISR, лидер остаётся единственным синхронным участником и подтверждает запись в одиночку.
Настройка топика min.insync.replicas задаёт минимум: если синхронных копий меньше, брокер
отклоняет запись с ошибкой, а не принимает её без страховки. По умолчанию значение — 1, то есть
планки фактически нет.
| Конфигурация | Что получаем | Чем платим |
|---|---|---|
| Фактор 1 | Простота, минимум диска | Отказ брокера — партиция недоступна, при потере диска — данные потеряны |
Фактор 3, acks=1 | Быстрая запись | При отказе лидера можно потерять последние сообщения |
Фактор 3, acks=all, min.insync = 2 | Переживает отказ одного брокера без потерь и без остановки записи | Задержка записи выше |
Фактор 3, acks=all, min.insync = 3 | Максимальная сохранность | Отказ любого брокера останавливает запись |
Третья строка — типовая промышленная связка, её стоит помнить наизусть.
Что происходит, когда брокер падает
- Кластер замечает, что брокер перестал отвечать.
- Для каждой партиции, чей лидер был на этом брокере, новым лидером выбирается одна из синхронных реплик.
- Продюсеры и потребители узнают о новом лидере и переподключаются. Обычно это занимает секунды, и всё это время запись в затронутые партиции не идёт — продюсер повторяет попытки.
- Если синхронных реплик не осталось, партиция недоступна, пока не вернётся брокер с её данными. Выбрать в лидеры отставшую копию можно, но это сознательная потеря данных — по умолчанию такое выключено.
- Когда брокер возвращается, его копии догоняют лидеров и снова входят в ISR. Позже кластер возвращает лидерство на исходные брокеры, чтобы нагрузка снова распределилась ровно.
Тренажёр моделирует поведение старых настроек по умолчанию: acks=1 и
min.insync.replicas=1. Поэтому лидер без живых реплик в нём продолжает принимать запись. В конфигурации
«фактор 3, min.insync = 2» такая запись была бы отклонена.
Попробуйте сами: задания «Брокер без реплик» и «Переключение лидера».
Заказчик говорит на языке потерь и простоя, команда эксплуатации — на языке настроек. Задача аналитика — перевести одно в другое и записать оба варианта в документ:
- RPO (recovery point objective) — сколько данных допустимо потерять при сбое. «Ни одного платежа» означает
acks=allи min.insync не меньше 2. - RTO (recovery time objective) — сколько времени допустим простой. Секунды на переключение лидера обычно укладываются, а «ждать, пока поднимут брокер» — нет.
- Сколько отказов одновременно должна переживать система: один брокер, стойка, площадка.
Если на вопрос «что будет, если упадёт брокер?» в документе нет ответа — его придумает разработчик, и не факт, что совпадёт с ожиданиями бизнеса.
Чтение с реплик, стойки и площадки
- Чтение с ближайшей реплики. С версии 2.4 потребитель может читать не у лидера, а у реплики в своём
дата-центре (настройки
client.rackиreplica.selector.class). Экономит межзональный трафик ценой небольшой задержки свежих данных. - Учёт стоек. Параметр
broker.rackзаставляет кластер раскладывать копии партиции по разным стойкам или зонам доступности. Без него три копии могут оказаться в одной стойке и погибнуть вместе. - Несколько площадок. Растянуть один кластер на далёкие дата-центры сложно из-за задержек. Обычно ставят отдельные кластеры и копируют топики между ними (MirrorMaker 2 и аналоги). Тогда RPO при потере площадки больше нуля — это надо проговорить с заказчиком.
- Контроллер. В режиме KRaft выбором лидеров управляет кворум контроллеров — отдельная роль внутри кластера. Для аналитика это значит одно: ZooKeeper в архитектурной схеме новой системы рисовать не нужно.
Фактор репликации 3, acks=all, min.insync.replicas = 2. Из трёх брокеров упали два. Что будет с записью в партиции?
- Продолжится, просто без копий
- Сообщения будут теряться без ошибок
- Брокер станет отклонять запись с ошибкой, пока не вернётся ещё хотя бы один брокер
- Kafka автоматически переключит продюсер на другой топик
Продюсер работает с acks=1. В каком случае он потеряет сообщение, о котором получил подтверждение?
- Если потребитель не успел его прочитать
- Если лидер упал до того, как сообщение скопировали реплики
- Если истёк срок хранения топика
- Ни в каком — подтверждение гарантирует сохранность
acks=1 подтверждение означает «записано у лидера». Новым лидером станет реплика,
у которой этого сообщения ещё нет, — и оно исчезнет из истории партиции.