06.2Теория≈ 15 минут

Топики, партиции и сообщения

Три понятия, без которых не написать ни одного требования к интеграции через Kafka. Главная мысль урока: порядок сообщений существует только внутри партиции — и аналитик управляет им через ключ.

Сообщение

Единица данных в Kafka — сообщение (в документации его называют записью, record). У него четыре части:

Ключ keyНеобязательный. Определяет, в какую партицию попадёт сообщение. Обычно — идентификатор сущности: номер заказа, клиента, счёта.
Значение valueСамо событие. Чаще всего JSON, Avro или Protobuf.
Заголовки headersМетаданные: тип события, идентификатор трассировки, версия схемы.
Метка времени timestampКогда сообщение создано продюсером или записано брокером — зависит от настройки топика.

Kafka не заглядывает внутрь значения — для неё это просто байты. Поэтому формат, обязательность полей и их смысл — договорённость между командами, и зафиксировать её должен аналитик.

Размер сообщения по умолчанию ограничен примерно одним мегабайтом. Kafka рассчитана на поток множества мелких событий, поэтому файлы и большие документы кладут в хранилище, а в сообщение — ссылку на них.

Топик

Топик — именованный поток однотипных событий, например orders.created. Удобная аналогия — таблица в базе данных, в которую можно только дописывать строки: ни изменить, ни удалить отдельную запись нельзя.

У имени топика должна быть одна конвенция на весь проект. Частый вариант — <домен>.<сущность>.<событие>.v<версия>: shop.order.created.v1. Версия в имени пригодится, когда контракт изменится несовместимо (урок 06.6).

Партиция и оффсет

Топик разрезан на партиции. Каждая партиция — отдельный упорядоченный журнал, в который можно только дописывать в конец. Номер записи внутри партиции называется оффсет (offset, смещение). У каждой партиции свой счёт с нуля, поэтому сообщение однозначно определяет пара «партиция + оффсет».

Топик из трёх партиций Три партиции разной длины, в каждой записи пронумерованы с нуля. Продюсер дописывает сообщение с ключом order-42 в конец партиции 1. ТОПИК orders · 3 ПАРТИЦИИ партиция 0 0 1 2 3 4 5 партиция 1 0 1 2 3 4 партиция 2 0 1 2 3 4 5 6 Продюсер key = order-42 ← старые записи новые дописываются в конец →
Ключ order-42 всегда попадает в партицию 1 и получает там следующий оффсет — 4

Зачем резать топик на части? Партиция — единица параллелизма. Разные партиции лежат на разных брокерах и читаются разными потребителями одновременно. Один топик без партиций упёрся бы в возможности одного сервера и одного читателя.

В тренажёре

Для наглядности партиции в тренажёре нумеруются с единицы, а сообщения пронумерованы сквозным счётчиком продюсера. В настоящей Kafka партиции начинаются с нуля, а оффсеты в каждой партиции свои.

Как продюсер выбирает партицию

  • Ключ задан — номер партиции вычисляется из хеша ключа: hash(key) mod число_партиций. Один и тот же ключ всегда попадает в одну и ту же партицию, пока число партиций не меняли.
  • Ключа нет — продюсер раскладывает сообщения сам, заполняя пачками то одну партицию, то другую. Нагрузка распределяется ровно, но о порядке между сообщениями можно забыть.
  • Партиция указана явно — бывает, но редко: обычно это признак, что нужен другой ключ.

Порядок — только внутри партиции

Kafka гарантирует, что потребитель увидит сообщения одной партиции в том порядке, в каком они были записаны. Между партициями порядка нет.

Пример. Заказ проходит статусы «создан → оплачен → отгружен». Если эти события уйдут в разные партиции, сервис доставки может получить «отгружен» раньше, чем «создан», и заказ зависнет в непонятном состоянии. Решение — ключом сделать номер заказа: все события одного заказа лягут в одну партицию по порядку. Порядок между разными заказами бизнесу обычно не важен — и Kafka его не обеспечивает.

Что важно аналитику

Ключ выбирается из вопроса «порядок каких событий важен для бизнеса?». Почти всегда ответ — идентификатор сущности: заказа, счёта, клиента.

Ключ с малым числом значений — регион, тип операции, признак «да/нет» — даёт перекос: одна партиция перегружена, остальные простаивают. Такую партицию называют горячей.

Сколько сообщения хранятся

Сообщения удаляются не после чтения, а по политике хранения (retention): по времени — по умолчанию семь дней — или по объёму партиции. Для потоков событий обычно задают срок, за который любой потребитель гарантированно успеет восстановиться после сбоя, с запасом на выходные и праздники.

Есть второй режим — компактизация (cleanup.policy=compact). Kafka хранит только последнее сообщение для каждого ключа, а остальные со временем вычищает. Такой топик — снимок текущего состояния: справочник курсов валют, профиль клиента, настройки тарифа. Чтобы удалить ключ, пишут сообщение с этим ключом и пустым значением (его называют tombstone, «надгробие»).

Сколько партиций нужно

  • Число партиций — потолок параллелизма одной группы потребителей. Из топика на 6 партиций одна группа читает максимум шестью экземплярами.
  • Увеличить число партиций можно, уменьшить — нельзя.
  • После увеличения меняется соответствие «ключ → партиция»: новые события ключа могут уйти в другую партицию, и на стыке порядок по ключу нарушится.
  • Партиции не бесплатны: каждая нагружает кластер и удлиняет восстановление после сбоя.

Практическое правило: закладывайте число партиций с запасом на рост числа потребителей через год-два, и не больше.

Что зафиксировать в ТЗ
  1. Имя топика по конвенции проекта.
  2. Ключ сообщения и почему именно он.
  3. Требование к порядку: для каких событий и в пределах чего.
  4. Срок хранения или компактизацию.
  5. Ожидаемый поток: сообщений в секунду в среднем и в пике, средний размер сообщения.
  6. Требование к параллелизму — число партиций по нему выберет команда.
Горячие ключи, трассировка, долгое хранение
  • Горячий ключ. Даже при хорошем ключе один клиент может давать половину трафика (крупный маркетплейс-продавец, системная учётная запись). Варианты: составной ключ с «солью», отдельный топик для крупных клиентов, осознанный отказ от порядка для этой части потока.
  • Заголовки для трассировки. Передавайте идентификатор трассировки (например, в формате W3C traceparent) и correlationId в заголовках — тогда путь события через пять сервисов можно восстановить в системе мониторинга.
  • Время события. Метка времени Kafka — это время создания или записи, а не время бизнес-события. Если важно, когда произошло событие в предметной области, кладите поле occurredAt в само сообщение.
  • Долгое хранение. С Kafka 3.9 многоуровневое хранение (tiered storage) готово к промышленной эксплуатации: старые сегменты уезжают в дешёвое объектное хранилище, и месяцы истории перестают быть дорогими.

Посмотреть, как перемешивается порядок между партициями, можно в задании «Порядок сообщений».

События «создан», «оплачен», «отменён» по одному заказу нужно обрабатывать строго по порядку. Что сделать ключом сообщения?

  1. Тип события
  2. Номер заказа
  3. Ничего — оставить ключ пустым
  4. Дату создания заказа
Одинаковый ключ — одна партиция — сохранённый порядок. Тип события дал бы три «горячие» партиции и разнёс события одного заказа по разным, дата — тоже: сутки ушли бы в одну партицию.

В топике 6 партиций. Сколько экземпляров одной группы потребителей могут читать его одновременно?

  1. Один
  2. Три
  3. Шесть
  4. Сколько угодно
Внутри группы каждая партиция закреплена ровно за одним участником. Седьмой и следующие будут простаивать. Исключение — share-группы из урока 06.4.

Почему опасно увеличивать число партиций у работающего топика, где важен порядок по ключу?

  1. Изменится соответствие «ключ → партиция», и новые события ключа могут лечь в другую партицию
  2. Старые сообщения перераспределятся и перемешаются
  3. Потребители перестанут читать до перезапуска кластера
  4. Увеличить нельзя, топик придётся пересоздать
Старые сообщения остаются на месте, а новые вычисляются по новому числу партиций. На стыке потребитель может прочитать новое событие ключа раньше старого, если они оказались в разных партициях.