06.3Теория≈ 14 минут

Брокеры и репликация

Kafka хранит каждую партицию в нескольких копиях на разных серверах. От того, сколько копий и как подтверждается запись, зависит ответ на вопрос заказчика «а что будет, если сервер упадёт?».

Кластер, лидер и реплики

Кластер Kafka — это несколько брокеров. Каждая партиция хранится на нескольких из них: число копий задаёт фактор репликации (replication factor). В промышленной эксплуатации обычно ставят 3.

Одна из копий партиции — лидер, остальные — реплики (их ещё называют фолловерами). Продюсеры пишут только в лидера, потребители по умолчанию тоже читают у лидера, а реплики непрерывно копируют к себе всё, что появилось у лидера. Лидеры разных партиций кластер раскладывает по разным брокерам, чтобы нагрузка делилась поровну.

Три брокера, три партиции, фактор репликации 3 На каждом брокере лежат копии всех трёх партиций. Лидер партиции 0 на брокере 1, лидер партиции 1 на брокере 2, лидер партиции 2 на брокере 3. БРОКЕР 1 P0 · лидер P1 · реплика P2 · реплика БРОКЕР 2 P0 · реплика P1 · лидер P2 · реплика БРОКЕР 3 P0 · реплика P1 · реплика P2 · лидер Если упадёт брокер 2, лидером P1 станет одна из реплик на брокере 1 или 3
Фактор репликации 3: у каждой партиции три копии, лидеры распределены по брокерам
Синхронные реплики ISR, in-sync replicas
Копии, которые не отстают от лидера дольше допустимого. Только они могут стать новым лидером без потери данных.

Как подтверждается запись: acks

Продюсер сам решает, какого подтверждения ждать от брокера. За это отвечает настройка acks:

ЗначениеКогда продюсер считает запись успешнойРиск
acks=0Сразу после отправки, ответа не ждётПотеря незаметна: продюсер даже не узнает об ошибке
acks=1Когда лидер записал сообщение к себеЛидер упал до копирования на реплики — сообщение потеряно, хотя продюсер получил «успешно»
acks=allКогда сообщение записали все синхронные репликиДольше ждать подтверждения

С Kafka 3.0 продюсер по умолчанию работает с acks=all и включённой идемпотентностью. Но в старых сервисах и в «оптимизированных» конфигурациях всё ещё встречается acks=1 — стоит проверить.

Нижняя планка: min.insync.replicas

У acks=all есть ловушка. «Все синхронные реплики» — это сколько угодно, хоть одна. Если реплики отстали и выпали из ISR, лидер остаётся единственным синхронным участником и подтверждает запись в одиночку.

Настройка топика min.insync.replicas задаёт минимум: если синхронных копий меньше, брокер отклоняет запись с ошибкой, а не принимает её без страховки. По умолчанию значение — 1, то есть планки фактически нет.

КонфигурацияЧто получаемЧем платим
Фактор 1Простота, минимум дискаОтказ брокера — партиция недоступна, при потере диска — данные потеряны
Фактор 3, acks=1Быстрая записьПри отказе лидера можно потерять последние сообщения
Фактор 3, acks=all, min.insync = 2Переживает отказ одного брокера без потерь и без остановки записиЗадержка записи выше
Фактор 3, acks=all, min.insync = 3Максимальная сохранностьОтказ любого брокера останавливает запись

Третья строка — типовая промышленная связка, её стоит помнить наизусть.

Что происходит, когда брокер падает

  1. Кластер замечает, что брокер перестал отвечать.
  2. Для каждой партиции, чей лидер был на этом брокере, новым лидером выбирается одна из синхронных реплик.
  3. Продюсеры и потребители узнают о новом лидере и переподключаются. Обычно это занимает секунды, и всё это время запись в затронутые партиции не идёт — продюсер повторяет попытки.
  4. Если синхронных реплик не осталось, партиция недоступна, пока не вернётся брокер с её данными. Выбрать в лидеры отставшую копию можно, но это сознательная потеря данных — по умолчанию такое выключено.
  5. Когда брокер возвращается, его копии догоняют лидеров и снова входят в ISR. Позже кластер возвращает лидерство на исходные брокеры, чтобы нагрузка снова распределилась ровно.
В тренажёре

Тренажёр моделирует поведение старых настроек по умолчанию: acks=1 и min.insync.replicas=1. Поэтому лидер без живых реплик в нём продолжает принимать запись. В конфигурации «фактор 3, min.insync = 2» такая запись была бы отклонена.

Попробуйте сами: задания «Брокер без реплик» и «Переключение лидера».

Что важно аналитику

Заказчик говорит на языке потерь и простоя, команда эксплуатации — на языке настроек. Задача аналитика — перевести одно в другое и записать оба варианта в документ:

  • RPO (recovery point objective) — сколько данных допустимо потерять при сбое. «Ни одного платежа» означает acks=all и min.insync не меньше 2.
  • RTO (recovery time objective) — сколько времени допустим простой. Секунды на переключение лидера обычно укладываются, а «ждать, пока поднимут брокер» — нет.
  • Сколько отказов одновременно должна переживать система: один брокер, стойка, площадка.

Если на вопрос «что будет, если упадёт брокер?» в документе нет ответа — его придумает разработчик, и не факт, что совпадёт с ожиданиями бизнеса.

Чтение с реплик, стойки и площадки
  • Чтение с ближайшей реплики. С версии 2.4 потребитель может читать не у лидера, а у реплики в своём дата-центре (настройки client.rack и replica.selector.class). Экономит межзональный трафик ценой небольшой задержки свежих данных.
  • Учёт стоек. Параметр broker.rack заставляет кластер раскладывать копии партиции по разным стойкам или зонам доступности. Без него три копии могут оказаться в одной стойке и погибнуть вместе.
  • Несколько площадок. Растянуть один кластер на далёкие дата-центры сложно из-за задержек. Обычно ставят отдельные кластеры и копируют топики между ними (MirrorMaker 2 и аналоги). Тогда RPO при потере площадки больше нуля — это надо проговорить с заказчиком.
  • Контроллер. В режиме KRaft выбором лидеров управляет кворум контроллеров — отдельная роль внутри кластера. Для аналитика это значит одно: ZooKeeper в архитектурной схеме новой системы рисовать не нужно.

Фактор репликации 3, acks=all, min.insync.replicas = 2. Из трёх брокеров упали два. Что будет с записью в партиции?

  1. Продолжится, просто без копий
  2. Сообщения будут теряться без ошибок
  3. Брокер станет отклонять запись с ошибкой, пока не вернётся ещё хотя бы один брокер
  4. Kafka автоматически переключит продюсер на другой топик
Синхронная копия осталась одна, а требуется минимум две. Kafka выбирает сохранность вместо доступности: лучше честная ошибка, чем запись без страховки. Чтение при этом продолжается.

Продюсер работает с acks=1. В каком случае он потеряет сообщение, о котором получил подтверждение?

  1. Если потребитель не успел его прочитать
  2. Если лидер упал до того, как сообщение скопировали реплики
  3. Если истёк срок хранения топика
  4. Ни в каком — подтверждение гарантирует сохранность
При acks=1 подтверждение означает «записано у лидера». Новым лидером станет реплика, у которой этого сообщения ещё нет, — и оно исчезнет из истории партиции.