06.1Теория≈ 12 минут

Зачем аналитику Kafka

Kafka появляется в требованиях, когда систем становится больше двух и они начинают зависеть друг от друга. Разберёмся, какую задачу она решает, чем за это решение платят и в каких случаях её лучше не трогать.

Две модели интеграции

Синхронная. Система A вызывает систему B и ждёт ответа — как телефонный звонок. Это просто и наглядно: результат известен сразу. Но A теперь зависит от того, доступна ли B и насколько быстро она отвечает. В цепочке из пяти вызовов задержки складываются, а падение любого звена роняет всю операцию. При пиковой нагрузке B захлёбывается и тянет A за собой.

Асинхронная, через брокер. Система A публикует событие «заказ создан» и продолжает работу. Склад, доставка и уведомления забирают событие, когда готовы. Это уже не звонок, а лента объявлений: написал — и не ждёшь, пока каждый прочитает.

Интеграция точка-точка и через брокер Слева сервис заказов напрямую вызывает четыре системы. Справа сервис заказов пишет в один топик, из которого читают четыре системы. ТОЧКА-ТОЧКА (REST) Заказы Склад Доставка Уведомления Аналитика Заказы знают всех получателей и ждут каждого ЧЕРЕЗ БРОКЕР (KAFKA) Заказы топик orders Склад Доставка Уведомления Аналитика Заказы пишут один раз и не знают, кто читает
Новый получатель справа подключается к топику, не трогая сервис заказов

Брокер развязывает системы по трём направлениям:

  • по времени — получатель может быть выключен, событие его дождётся;
  • по нагрузке — брокер принимает пик и отдаёт его в темпе получателя;
  • по знанию друг о друге — отправитель не знает, кто читает, и новый получатель подключается без изменений у отправителя.
Продюсер producer
Система, которая пишет сообщения в брокер.
Брокер broker
Сервер, который принимает, хранит и отдаёт сообщения. Несколько брокеров образуют кластер.
Потребитель consumer
Система, которая читает сообщения из брокера и обрабатывает их.

Чем Kafka отличается от обычной очереди

В классической очереди (RabbitMQ, ActiveMQ) сообщение доставляется одному получателю и удаляется, как только он подтвердил обработку. Kafka устроена иначе: это журнал. Сообщения дописываются в конец и хранятся заданный срок — неважно, прочитал их кто-нибудь или нет. Из этого следуют три свойства, ради которых Kafka обычно и выбирают:

  1. одно и то же событие независимо читает сколько угодно систем;
  2. историю можно перечитать — например, наполнить новый сервис данными за прошлую неделю;
  3. медленный потребитель не тормозит запись: он просто отстаёт, а брокер продолжает принимать сообщения.

Когда что выбирать

ЗадачаЧто подходитПочему
Нужен ответ прямо сейчас: проверить остаток, авторизовать платёжREST, gRPCКлиент не может продолжить без результата
Одно событие должны получить несколько системKafkaКаждая система читает весь поток независимо
Большой поток: клики, логи, телеметрия, изменения из БДKafkaМасштабируется партициями, хранит поток
Нужна история событий и повторное чтениеKafkaЖурнал хранится по сроку, а не до прочтения
Очередь задач со сложной маршрутизацией, приоритетами, отложенной доставкойRabbitMQГибкая маршрутизация и приоритеты из коробки
Пара систем, десятки сообщений в минуту, нет команды эксплуатацииREST или простая очередьKafka — дорогая в поддержке инфраструктура

Где Kafka встречается на проектах

  • Событийная интеграция сервисов — «заказ создан», «платёж прошёл», «статус изменился».
  • Выгрузка изменений из базы данных (CDC, Change Data Capture) — каждое изменение строки становится событием и уходит в хранилище, поиск, кэш.
  • Сбор кликов, логов и метрик — миллионы мелких событий в секунду.
  • Буфер перед медленной системой — принять быстро, обработать в своём темпе.
  • Потоковая обработка — антифрод, агрегаты и витрины в реальном времени.

Цена асинхронности

Что важно аналитику

Kafka меняет не только транспорт, но и поведение системы. Эти последствия должны быть явно описаны в требованиях, иначе их обнаружат на тестировании или в проде:

  1. Ответа нет. Отправитель не знает, обработано ли событие. Если пользователю нужен результат — нужен отдельный механизм: статус заказа, уведомление, опрос.
  2. Данные сходятся не сразу. Склад узнает о заказе через секунды, и всё это время системы расходятся. Сколько секунд допустимо — это требование, а не деталь реализации.
  3. Сообщение может прийти дважды. Обработчик обязан быть к этому готов — об этом урок 06.5.
  4. Порядок есть только внутри партиции. Подробно — в уроке 06.2.
  5. Эксплуатация. Отставание потребителей, срок хранения, схемы сообщений — всё это нужно мониторить и кому-то поручить.
Типичная ошибка

«Переведём интеграцию на Kafka, чтобы стало быстрее». Kafka не ускоряет отдельный запрос — она добавляет в цепочку ещё одно звено. Выигрыш в пропускной способности и в независимости систем, а не в задержке одного вызова.

Экосистема и актуальные версии
  • С Kafka 4.0 (март 2025) кластер работает только в режиме KRaft: координация встроена в сами брокеры, отдельный ZooKeeper больше не нужен. Если в документации проекта упомянут ZooKeeper — это версия 3.x или устаревший текст.
  • Kafka Connect — готовые коннекторы к базам данных, объектным хранилищам, поиску. Часто интеграция «БД → Kafka → хранилище» делается вообще без кода.
  • Kafka Streams и Apache Flink — потоковая обработка: фильтрация, обогащение, агрегаты в окне.
  • Schema Registry — реестр схем сообщений, разберём в уроке 06.6.
  • Граница между «журналом» и «очередью» стирается: RabbitMQ с версии 3.9 умеет потоки (streams), а в Kafka с версии 4.2 полноценно работают очереди — share-группы. Поэтому выбирайте по требованиям, а не по названию продукта.

Сервис оформления заказа должен сразу показать пользователю, хватило ли товара на складе. Чем проверить остаток?

  1. Опубликовать событие в Kafka и прочитать ответ из другого топика
  2. Синхронным вызовом REST или gRPC
  3. Через RabbitMQ — он быстрее Kafka
  4. Неважно, это деталь реализации
Пользователь ждёт ответа прямо сейчас, без него экран не продолжить — это синхронный сценарий. Схема «запрос-ответ через два топика» возможна, но сложна и не даёт гарантии времени ответа.

Что происходит с сообщением в Kafka после того, как потребитель его прочитал?

  1. Удаляется из топика
  2. Остаётся в топике до истечения срока хранения
  3. Переносится в архивный топик
  4. Становится недоступным для других потребителей
Kafka — журнал. Чтение ничего не меняет в топике: потребитель только сдвигает свою позицию. Сообщение удалит политика хранения — по сроку или по объёму.