Топики, партиции и сообщения
Три понятия, без которых не написать ни одного требования к интеграции через Kafka. Главная мысль урока: порядок сообщений существует только внутри партиции — и аналитик управляет им через ключ.
Сообщение
Единица данных в Kafka — сообщение (в документации его называют записью, record). У него четыре части:
Ключ key | Необязательный. Определяет, в какую партицию попадёт сообщение. Обычно — идентификатор сущности: номер заказа, клиента, счёта. |
Значение value | Само событие. Чаще всего JSON, Avro или Protobuf. |
Заголовки headers | Метаданные: тип события, идентификатор трассировки, версия схемы. |
Метка времени timestamp | Когда сообщение создано продюсером или записано брокером — зависит от настройки топика. |
Kafka не заглядывает внутрь значения — для неё это просто байты. Поэтому формат, обязательность полей и их смысл — договорённость между командами, и зафиксировать её должен аналитик.
Размер сообщения по умолчанию ограничен примерно одним мегабайтом. Kafka рассчитана на поток множества мелких событий, поэтому файлы и большие документы кладут в хранилище, а в сообщение — ссылку на них.
Топик
Топик — именованный поток однотипных событий, например orders.created. Удобная аналогия — таблица
в базе данных, в которую можно только дописывать строки: ни изменить, ни удалить отдельную запись нельзя.
У имени топика должна быть одна конвенция на весь проект. Частый вариант —
<домен>.<сущность>.<событие>.v<версия>: shop.order.created.v1.
Версия в имени пригодится, когда контракт изменится несовместимо (урок 06.6).
Партиция и оффсет
Топик разрезан на партиции. Каждая партиция — отдельный упорядоченный журнал, в который можно только дописывать в конец. Номер записи внутри партиции называется оффсет (offset, смещение). У каждой партиции свой счёт с нуля, поэтому сообщение однозначно определяет пара «партиция + оффсет».
Зачем резать топик на части? Партиция — единица параллелизма. Разные партиции лежат на разных брокерах и читаются разными потребителями одновременно. Один топик без партиций упёрся бы в возможности одного сервера и одного читателя.
Для наглядности партиции в тренажёре нумеруются с единицы, а сообщения пронумерованы сквозным счётчиком продюсера. В настоящей Kafka партиции начинаются с нуля, а оффсеты в каждой партиции свои.
Как продюсер выбирает партицию
- Ключ задан — номер партиции вычисляется из хеша ключа:
hash(key) mod число_партиций. Один и тот же ключ всегда попадает в одну и ту же партицию, пока число партиций не меняли. - Ключа нет — продюсер раскладывает сообщения сам, заполняя пачками то одну партицию, то другую. Нагрузка распределяется ровно, но о порядке между сообщениями можно забыть.
- Партиция указана явно — бывает, но редко: обычно это признак, что нужен другой ключ.
Порядок — только внутри партиции
Kafka гарантирует, что потребитель увидит сообщения одной партиции в том порядке, в каком они были записаны. Между партициями порядка нет.
Пример. Заказ проходит статусы «создан → оплачен → отгружен». Если эти события уйдут в разные партиции, сервис доставки может получить «отгружен» раньше, чем «создан», и заказ зависнет в непонятном состоянии. Решение — ключом сделать номер заказа: все события одного заказа лягут в одну партицию по порядку. Порядок между разными заказами бизнесу обычно не важен — и Kafka его не обеспечивает.
Ключ выбирается из вопроса «порядок каких событий важен для бизнеса?». Почти всегда ответ — идентификатор сущности: заказа, счёта, клиента.
Ключ с малым числом значений — регион, тип операции, признак «да/нет» — даёт перекос: одна партиция перегружена, остальные простаивают. Такую партицию называют горячей.
Сколько сообщения хранятся
Сообщения удаляются не после чтения, а по политике хранения (retention): по времени — по умолчанию семь дней — или по объёму партиции. Для потоков событий обычно задают срок, за который любой потребитель гарантированно успеет восстановиться после сбоя, с запасом на выходные и праздники.
Есть второй режим — компактизация (cleanup.policy=compact). Kafka хранит только последнее
сообщение для каждого ключа, а остальные со временем вычищает. Такой топик — снимок текущего состояния: справочник
курсов валют, профиль клиента, настройки тарифа. Чтобы удалить ключ, пишут сообщение с этим ключом и пустым значением
(его называют tombstone, «надгробие»).
Сколько партиций нужно
- Число партиций — потолок параллелизма одной группы потребителей. Из топика на 6 партиций одна группа читает максимум шестью экземплярами.
- Увеличить число партиций можно, уменьшить — нельзя.
- После увеличения меняется соответствие «ключ → партиция»: новые события ключа могут уйти в другую партицию, и на стыке порядок по ключу нарушится.
- Партиции не бесплатны: каждая нагружает кластер и удлиняет восстановление после сбоя.
Практическое правило: закладывайте число партиций с запасом на рост числа потребителей через год-два, и не больше.
- Имя топика по конвенции проекта.
- Ключ сообщения и почему именно он.
- Требование к порядку: для каких событий и в пределах чего.
- Срок хранения или компактизацию.
- Ожидаемый поток: сообщений в секунду в среднем и в пике, средний размер сообщения.
- Требование к параллелизму — число партиций по нему выберет команда.
Горячие ключи, трассировка, долгое хранение
- Горячий ключ. Даже при хорошем ключе один клиент может давать половину трафика (крупный маркетплейс-продавец, системная учётная запись). Варианты: составной ключ с «солью», отдельный топик для крупных клиентов, осознанный отказ от порядка для этой части потока.
- Заголовки для трассировки. Передавайте идентификатор трассировки (например, в формате W3C
traceparent) иcorrelationIdв заголовках — тогда путь события через пять сервисов можно восстановить в системе мониторинга. - Время события. Метка времени Kafka — это время создания или записи, а не время бизнес-события.
Если важно, когда произошло событие в предметной области, кладите поле
occurredAtв само сообщение. - Долгое хранение. С Kafka 3.9 многоуровневое хранение (tiered storage) готово к промышленной эксплуатации: старые сегменты уезжают в дешёвое объектное хранилище, и месяцы истории перестают быть дорогими.
Посмотреть, как перемешивается порядок между партициями, можно в задании «Порядок сообщений».
События «создан», «оплачен», «отменён» по одному заказу нужно обрабатывать строго по порядку. Что сделать ключом сообщения?
- Тип события
- Номер заказа
- Ничего — оставить ключ пустым
- Дату создания заказа
В топике 6 партиций. Сколько экземпляров одной группы потребителей могут читать его одновременно?
- Один
- Три
- Шесть
- Сколько угодно
Почему опасно увеличивать число партиций у работающего топика, где важен порядок по ключу?
- Изменится соответствие «ключ → партиция», и новые события ключа могут лечь в другую партицию
- Старые сообщения перераспределятся и перемешаются
- Потребители перестанут читать до перезапуска кластера
- Увеличить нельзя, топик придётся пересоздать