Что такое Apache Kafka?

Kafka — это распределённый журнал событий. Приложения пишут в него сообщения и читают их в том же порядке, в каком они были записаны, а сами сообщения хранятся на диске и переживают перезапуск и продюсера, и потребителя.

Сообщения группируются в топики. Топик физически нарезан на партиции: каждая партиция — отдельный упорядоченный журнал, и именно партиция, а не топик, даёт гарантию порядка. Партиции раскладываются по брокерам, поэтому топик можно масштабировать шире одного сервера.

Отправитель и получатель ничего не знают друг о друге: продюсер пишет в топик, потребитель читает из топика в своём темпе. Эта развязка — причина, по которой один и тот же поток событий одновременно кормит и аналитику, и биллинг, и поиск.

Подробнее — в уроках 06.1 и 06.2.

Продюсер:
Что такое продюсер?

Продюсер — клиентское приложение, которое пишет сообщения в топик. Партиционер продюсера решает, в какую партицию отправить конкретное сообщение (обычно по хешу ключа, здесь — случайно), и отправляет запрос лидеру этой партиции.

Все записи идут только через лидера. Реплики подтягивают данные следом; если лидер падает, одна из реплик становится новым лидером. Сколько будет реплик, задаёт фактор репликации.

Коротко
  • продюсер устроен проще потребителя — ему не нужна координация группы;
  • его настройки (acks, батчинг, сжатие) напрямую определяют пропускную способность и гарантии доставки.

Подробнее — в уроках 06.2 и 06.3.

Брокеры:
Что такое брокер?

Брокер — это узел кластера Kafka. Он принимает сообщения от продюсеров, складывает их на диск и отдаёт потребителям по координатам «топик — партиция — оффсет». Каждая партиция живёт на одном брокере как лидер и ещё на нескольких как реплика.

Боевой кластер — это обычно три брокера и больше: при факторе репликации 3 выход из строя одного узла оставляет две копии данных, и кластер переживёт ещё один отказ без потерь.

Нажмите кнопку питания слева от брокера: его партиции погаснут, лидерство перейдёт к живым репликам, а потребители переразберут партиции между собой.

Подробнее — в уроке 06.3.

Потребители:
Что такое потребитель?

Потребитель — клиентское приложение, подписанное на один или несколько топиков. Потребители объединяются в группу: внутри группы каждая партиция закреплена ровно за одним участником, поэтому параллелизм группы ограничен числом партиций. Добавьте шестого потребителя к пяти партициям — шестой останется без работы.

Позицию чтения хранит оффсет. Он коммитится не на каждое сообщение, а раз в N сообщений: увеличьте интервал коммита и выключите брокер — увидите, как часть сообщений будет прочитана повторно.

Альтернатива — share-группы (KIP-932, «очереди для Kafka»). Все участники share-группы тянут сообщения из всех партиций наперегонки, как из общей очереди, поэтому потребителей может быть больше, чем партиций, но гарантии порядка внутри партиции больше нет. Выберите группу «Q1 (share)» слева — такая группа рисуется пунктиром. Обработка сообщения занимает разное число тиков, так что сообщение, взятое позже свободным участником, вполне может завершиться раньше соседнего.

Коротко
  • отдельная группа нужна каждому приложению, которому требуется весь поток топика;
  • новые потребители в существующей группе масштабируют чтение — каждый получает свою долю партиций.
Совет

Число партиций выбирается на этапе создания топика и задаёт потолок параллелизма группы на всё время жизни топика. Закладывайте запас.

Подробнее — в уроках 06.4 и 06.5.


Это учебная модель: она намеренно упрощает батчинг, ISR, ребалансировку и подтверждения отдельных записей в share-группах.