Гарантии доставки
«Сообщение обязательно дойдёт ровно один раз» — самое частое и самое неточное требование к интеграции. Разберёмся, что Kafka гарантирует на самом деле и что остаётся на совести обработчика.
Три семантики
Всё решает порядок двух действий потребителя: обработать сообщение и зафиксировать позицию (закоммитить оффсет). Между ними может случиться сбой.
| Семантика | Как достигается | Что может случиться |
|---|---|---|
| Не больше одного раза at-most-once | Коммит до обработки | Потеря сообщения при сбое. Годится для метрик и логов, где одна точка ничего не решает |
| Хотя бы один раз at-least-once | Обработка, затем коммит | Повторная обработка. Стандарт для бизнес-событий |
| Ровно один раз exactly-once | Транзакции Kafka — только внутри Kafka; во внешних системах — идемпотентная обработка | Сложность и накладные расходы |
Откуда берутся дубли
- Повторы продюсера. Брокер записал сообщение, но подтверждение потерялось в сети — продюсер отправит ещё раз. Эту причину закрывает идемпотентный продюсер: брокер узнаёт повтор по номеру и не пишет дубль. С Kafka 3.0 он включён по умолчанию.
- Сбой потребителя до коммита. Обработал, упал, после перезапуска прочитал снова.
- Ребалансировка. Партиция перешла к другому участнику группы, и тот начал с последнего закоммиченного оффсета.
- Повторы на стороне отправителя бизнес-события. Сервис-источник не уверен, что опубликовал событие, и публикует ещё раз — уже с новым идентификатором сообщения Kafka, но тем же смыслом.
Вывод: при at-least-once дубли — нормальная работа системы, а не авария. Требование «дублей не должно быть» нужно переформулировать в «повторная обработка не должна менять результат».
Идемпотентная обработка
Идемпотентная операция при повторе даёт тот же результат, что и в первый раз. Это главный инструмент против дублей, и описать его — задача аналитика. Типовые приёмы:
- Журнал обработанных событий. У каждого события есть уникальный
eventId. Перед обработкой сервис проверяет его в таблице обработанных и пропускает повтор. Запись в журнал и бизнес-изменение — в одной транзакции БД. - Запись по бизнес-ключу. «Создать или обновить заказ с номером 42» вместо «вставить новую строку».
- Проверка версии. Событие несёт номер версии сущности; обработчик применяет его, только если версия новее сохранённой. Заодно защищает от событий, пришедших не по порядку.
- Операции «установить», а не «прибавить». «Статус = оплачен» безопасно повторить, «баланс += 100» — нет. Если без приращений не обойтись — только с журналом обработанных.
«Включим exactly-once в Kafka — и клиенту не придёт два письма». Не придёт два одинаковых сообщения в выходной топик Kafka. Письмо, списание денег, вызов внешнего API — побочные эффекты за пределами Kafka, и транзакции их не покрывают. Для них нужна идемпотентность на стороне обработчика.
Двойная запись и transactional outbox
Сервис заказов сохраняет заказ в свою базу и публикует событие «заказ создан». Это две разные системы, и общей транзакции у них нет. Если сервис упадёт между ними, будет либо заказ без события, либо событие без заказа. Это называют проблемой двойной записи.
Стандартное решение — transactional outbox:
- в той же транзакции, что и заказ, сервис пишет событие в служебную таблицу
outboxсвоей БД; - отдельный процесс читает
outboxи публикует события в Kafka — опрашивая таблицу или через выгрузку изменений (CDC, например Debezium); - после успешной публикации запись помечается отправленной.
Заказ и событие теперь сохраняются атомарно. Цена — публикация «хотя бы один раз»: при сбое ретранслятора событие уйдёт повторно. Значит, потребители всё равно должны быть идемпотентными. Outbox и идемпотентность всегда идут парой.
- Семантику доставки для потока: «хотя бы один раз» для бизнес-событий почти всегда.
- Поле-идентификатор события (
eventId) и правило его формирования: генерирует источник, не меняется при повторной отправке. - Механизм дедупликации у каждого потребителя: где хранится журнал обработанных и сколько.
- Что делать с повтором: молча пропустить, обновить, записать в журнал аудита.
- Как источник гарантирует публикацию: outbox или иной механизм.
- Когда потребитель коммитит оффсет: только после сохранения результата.
Как устроен exactly-once внутри Kafka
- Идемпотентный продюсер нумерует сообщения, брокер отбрасывает повторы. Порядок при повторах сохраняется, если одновременно в полёте не больше пяти запросов — это ограничение по умолчанию соблюдено.
- Транзакции позволяют атомарно записать сообщения в несколько партиций и вместе с ними закоммитить
оффсеты входного топика. Потребители с
isolation.level=read_committedне видят незавершённых и отменённых транзакций. - В связке «прочитал из Kafka → преобразовал → записал в Kafka» это даёт честное «ровно один раз». На этом работает
режим
exactly_once_v2в Kafka Streams. - Цена — задержка: потребитель с
read_committedждёт завершения транзакции, а частые маленькие транзакции снижают пропускную способность. - Если источник событий — база данных, а не код, вместо outbox-таблицы иногда публикуют прямо изменения бизнес-таблиц через CDC. Это проще, но контракт события становится копией схемы таблицы — и ломается при её рефакторинге.
Посмотреть, как редкий коммит превращается в повторную доставку, можно в задании «Повторная доставка».
Потребитель списывает деньги со счёта и коммитит оффсет после списания. Он упал сразу после списания, до коммита. Что произойдёт после перезапуска?
- Ничего: Kafka знает, что сообщение обработано
- Сообщение будет потеряно
- Сообщение придёт снова, и деньги спишутся повторно, если обработка не идемпотентна
- Kafka откатит списание
eventId в той же транзакции, что и списание.Какую проблему решает transactional outbox?
- Дубли у потребителей
- Несогласованность между изменением в базе данных и публикацией события
- Нарушение порядка сообщений между партициями
- Переполнение топика