Потребители и группы
Самый насыщенный урок раздела: здесь решается, кто получит сообщение, сколько раз, с какого места начнёт читать новый сервис и что будет, когда потребителей станет больше, чем партиций.
Потребитель читает сам
Kafka не рассылает сообщения — потребитель сам приходит за ними и забирает пачку, когда готов. Поэтому медленный потребитель не мешает быстрому и не тормозит продюсера: он просто отстаёт. Эта модель называется pull, в отличие от push в классических очередях.
Группа потребителей
Чтобы обрабатывать поток параллельно, запускают несколько экземпляров сервиса с одним идентификатором группы
(group.id). Kafka делит между ними партиции топика по правилу:
- каждая партиция внутри группы закреплена ровно за одним участником;
- один участник может читать несколько партиций;
- если участников больше, чем партиций, лишние простаивают — им ничего не достаётся.
Несколько групп — каждая получает всё
Разные группы ничего не знают друг о друге. Склад и аналитика из схемы выше получат каждое сообщение — по одному разу на группу. Отсюда простое правило проектирования: одна система-получатель — одна группа. Экземпляры одного сервиса живут в общей группе, разные сервисы — в разных.
Два разных сервиса случайно запустили с одинаковым group.id — например, скопировали конфигурацию.
Kafka разделит между ними партиции, и каждый будет молча получать только часть событий. Проверяйте уникальность
групп в ТЗ.
Позиция чтения и её фиксация
Группа помнит, до какого места дочитала каждую партицию. Сохранение этой позиции называют
коммитом оффсета. Kafka хранит закоммиченные оффсеты у себя, в служебном топике
__consumer_offsets. Если экземпляр упал или партицию передали другому, чтение продолжится с последнего
закоммиченного места.
- Автоматический коммит включён по умолчанию: клиент сохраняет позицию раз в 5 секунд, независимо от того, закончена ли обработка.
- Ручной коммит — сервис фиксирует позицию сам, обычно после того, как обработал сообщение и сохранил результат.
Всё, что прочитано, но не закоммичено, после сбоя будет прочитано снова. Чем реже коммит — тем больше повторов. Как с этим жить, разбираем в уроке 06.5.
Откуда начинает новая группа
У новой группы закоммиченных оффсетов нет. Где она начнёт читать, решает настройка auto.offset.reset:
latest— значение по умолчанию: только сообщения, пришедшие после подключения;earliest— с самого старого сообщения, которое ещё хранится;none— ошибка: пусть решает человек.
Это бизнес-решение, а не техническая мелочь. Новый сервис отчётности, запущенный со значением по умолчанию, не увидит ни одного события за прошлую неделю, хотя они лежат в топике. Если история нужна — так и пишите: «при первом запуске вычитать топик с начала», и проверьте, что срок хранения покрывает нужный период.
Ребалансировка
Когда в группу приходит новый участник, кто-то уходит или у топика меняется число партиций, Kafka заново раскладывает партиции между участниками. Это ребалансировка.
В старом протоколе на время раскладки останавливалась вся группа. С Kafka 4.0 по умолчанию доступен новый протокол (KIP-848): раскладку считает брокер, а партиции переезжают по одной — остальные участники читают без остановки.
Ребалансировка — частый источник повторной доставки: партиция переходит к новому участнику, и он начинает с последнего закоммиченного оффсета, даже если предыдущий уже обработал дальше. Увидеть это можно в задании «Повторная доставка».
Отставание
Лаг (lag) — сколько сообщений записано, но ещё не обработано группой. Считается для каждой партиции как разница между последним оффсетом и закоммиченным. Это главная метрика здоровья потребителя:
- лаг постоянно растёт — потребитель не справляется с потоком, нужно больше экземпляров или быстрее обработка;
- лаг подбирается к сроку хранения — сообщения удалятся непрочитанными, это потеря данных.
Посмотреть, как растёт отставание, можно в задании «Потребитель не успевает».
Share-группы: очередь внутри Kafka
Обычная группа упирается в число партиций и сохраняет порядок внутри партиции. Share-группа (KIP-932, «Queues for Kafka») устроена как очередь: все участники берут сообщения из всех партиций наперегонки, по одному.
- участников может быть больше, чем партиций — масштабирование не ограничено топиком;
- каждое сообщение подтверждается отдельно: принято, отложено на повтор или отклонено;
- есть счётчик попыток доставки (по умолчанию до 5), после чего сообщение больше не выдаётся;
- порядка нет — даже внутри партиции.
История версий: в 4.0 — ранний доступ, в 4.1 — предварительная версия, с 4.2 (февраль 2026) share-группы готовы к промышленному использованию. В 4.4 к ним добавилась очередь «мёртвых писем» (KIP-1191).
Подходят для задач, где порядок не важен, а обработка неравномерная: генерация документов, отправка писем, обработка изображений. В тренажёре это группы «Q1» и «Q2», задание — «Share-группа и порядок».
- Список групп: какая система читает топик и под каким
group.id. - Тип группы — обычная или share — и почему.
- Откуда читать при первом запуске: только новое или с начала.
- Когда фиксируется позиция: автоматически или после обработки.
- Допустимое отставание и что делать при его превышении: кто получает тревогу.
- Ожидаемый рост нагрузки и как масштабируется обработка.
Статическое членство, паузы и долгая обработка
- Долгая обработка. Если между двумя обращениями к брокеру проходит больше
max.poll.interval.ms(по умолчанию 5 минут), участник считается «зависшим», его партиции отдают другим — и сообщения обработаются дважды. Для тяжёлых задач уменьшают размер пачки или выносят работу в отдельный пул. - Статическое членство. Параметр
group.instance.idпозволяет перезапускать экземпляр без ребалансировки — полезно при плановых обновлениях в Kubernetes. - Пауза партиции. Потребитель может приостановить чтение одной партиции (например, пока недоступна зависимая система) и продолжать остальные — без ребалансировки.
- Сдвиг оффсетов вручную. Администратор может сдвинуть позицию группы на время или конкретный оффсет — так перечитывают данные после исправления ошибки. Это стоит предусмотреть в инструкции сопровождения.
Топик из 4 партиций читает обычная группа из 6 экземпляров. Сколько из них будут простаивать?
- Ни одного — нагрузка поделится поровну
- Один
- Два
- Четыре
Новый сервис отчётности подключили к топику новой группой без дополнительных настроек. В топике лежит неделя событий. Что он прочитает?
- Всю неделю, с самого начала
- Только сообщения, пришедшие после подключения
- Последние сутки
- Ничего, пока администратор не задаст позицию
auto.offset.reset=latest. Если отчёту нужна история, это должно быть
написано в требованиях и выставлено явно.В каком случае share-группа подходит лучше обычной группы потребителей?
- Важно обрабатывать изменения баланса счёта строго по порядку
- Нужно, чтобы каждую систему-получатель достигло каждое сообщение
- Нужно перечитать историю топика за месяц
- Задачи независимы, обработка занимает разное время, а экземпляров нужно больше, чем партиций