Зачем аналитику Kafka
Kafka появляется в требованиях, когда систем становится больше двух и они начинают зависеть друг от друга. Разберёмся, какую задачу она решает, чем за это решение платят и в каких случаях её лучше не трогать.
Две модели интеграции
Синхронная. Система A вызывает систему B и ждёт ответа — как телефонный звонок. Это просто и наглядно: результат известен сразу. Но A теперь зависит от того, доступна ли B и насколько быстро она отвечает. В цепочке из пяти вызовов задержки складываются, а падение любого звена роняет всю операцию. При пиковой нагрузке B захлёбывается и тянет A за собой.
Асинхронная, через брокер. Система A публикует событие «заказ создан» и продолжает работу. Склад, доставка и уведомления забирают событие, когда готовы. Это уже не звонок, а лента объявлений: написал — и не ждёшь, пока каждый прочитает.
Брокер развязывает системы по трём направлениям:
- по времени — получатель может быть выключен, событие его дождётся;
- по нагрузке — брокер принимает пик и отдаёт его в темпе получателя;
- по знанию друг о друге — отправитель не знает, кто читает, и новый получатель подключается без изменений у отправителя.
- Продюсер producer
- Система, которая пишет сообщения в брокер.
- Брокер broker
- Сервер, который принимает, хранит и отдаёт сообщения. Несколько брокеров образуют кластер.
- Потребитель consumer
- Система, которая читает сообщения из брокера и обрабатывает их.
Чем Kafka отличается от обычной очереди
В классической очереди (RabbitMQ, ActiveMQ) сообщение доставляется одному получателю и удаляется, как только он подтвердил обработку. Kafka устроена иначе: это журнал. Сообщения дописываются в конец и хранятся заданный срок — неважно, прочитал их кто-нибудь или нет. Из этого следуют три свойства, ради которых Kafka обычно и выбирают:
- одно и то же событие независимо читает сколько угодно систем;
- историю можно перечитать — например, наполнить новый сервис данными за прошлую неделю;
- медленный потребитель не тормозит запись: он просто отстаёт, а брокер продолжает принимать сообщения.
Когда что выбирать
| Задача | Что подходит | Почему |
|---|---|---|
| Нужен ответ прямо сейчас: проверить остаток, авторизовать платёж | REST, gRPC | Клиент не может продолжить без результата |
| Одно событие должны получить несколько систем | Kafka | Каждая система читает весь поток независимо |
| Большой поток: клики, логи, телеметрия, изменения из БД | Kafka | Масштабируется партициями, хранит поток |
| Нужна история событий и повторное чтение | Kafka | Журнал хранится по сроку, а не до прочтения |
| Очередь задач со сложной маршрутизацией, приоритетами, отложенной доставкой | RabbitMQ | Гибкая маршрутизация и приоритеты из коробки |
| Пара систем, десятки сообщений в минуту, нет команды эксплуатации | REST или простая очередь | Kafka — дорогая в поддержке инфраструктура |
Где Kafka встречается на проектах
- Событийная интеграция сервисов — «заказ создан», «платёж прошёл», «статус изменился».
- Выгрузка изменений из базы данных (CDC, Change Data Capture) — каждое изменение строки становится событием и уходит в хранилище, поиск, кэш.
- Сбор кликов, логов и метрик — миллионы мелких событий в секунду.
- Буфер перед медленной системой — принять быстро, обработать в своём темпе.
- Потоковая обработка — антифрод, агрегаты и витрины в реальном времени.
Цена асинхронности
Kafka меняет не только транспорт, но и поведение системы. Эти последствия должны быть явно описаны в требованиях, иначе их обнаружат на тестировании или в проде:
- Ответа нет. Отправитель не знает, обработано ли событие. Если пользователю нужен результат — нужен отдельный механизм: статус заказа, уведомление, опрос.
- Данные сходятся не сразу. Склад узнает о заказе через секунды, и всё это время системы расходятся. Сколько секунд допустимо — это требование, а не деталь реализации.
- Сообщение может прийти дважды. Обработчик обязан быть к этому готов — об этом урок 06.5.
- Порядок есть только внутри партиции. Подробно — в уроке 06.2.
- Эксплуатация. Отставание потребителей, срок хранения, схемы сообщений — всё это нужно мониторить и кому-то поручить.
«Переведём интеграцию на Kafka, чтобы стало быстрее». Kafka не ускоряет отдельный запрос — она добавляет в цепочку ещё одно звено. Выигрыш в пропускной способности и в независимости систем, а не в задержке одного вызова.
Экосистема и актуальные версии
- С Kafka 4.0 (март 2025) кластер работает только в режиме KRaft: координация встроена в сами брокеры, отдельный ZooKeeper больше не нужен. Если в документации проекта упомянут ZooKeeper — это версия 3.x или устаревший текст.
- Kafka Connect — готовые коннекторы к базам данных, объектным хранилищам, поиску. Часто интеграция «БД → Kafka → хранилище» делается вообще без кода.
- Kafka Streams и Apache Flink — потоковая обработка: фильтрация, обогащение, агрегаты в окне.
- Schema Registry — реестр схем сообщений, разберём в уроке 06.6.
- Граница между «журналом» и «очередью» стирается: RabbitMQ с версии 3.9 умеет потоки (streams), а в Kafka с версии 4.2 полноценно работают очереди — share-группы. Поэтому выбирайте по требованиям, а не по названию продукта.
Сервис оформления заказа должен сразу показать пользователю, хватило ли товара на складе. Чем проверить остаток?
- Опубликовать событие в Kafka и прочитать ответ из другого топика
- Синхронным вызовом REST или gRPC
- Через RabbitMQ — он быстрее Kafka
- Неважно, это деталь реализации
Что происходит с сообщением в Kafka после того, как потребитель его прочитал?
- Удаляется из топика
- Остаётся в топике до истечения срока хранения
- Переносится в архивный топик
- Становится недоступным для других потребителей