06.4Теория≈ 16 минут

Потребители и группы

Самый насыщенный урок раздела: здесь решается, кто получит сообщение, сколько раз, с какого места начнёт читать новый сервис и что будет, когда потребителей станет больше, чем партиций.

Потребитель читает сам

Kafka не рассылает сообщения — потребитель сам приходит за ними и забирает пачку, когда готов. Поэтому медленный потребитель не мешает быстрому и не тормозит продюсера: он просто отстаёт. Эта модель называется pull, в отличие от push в классических очередях.

Группа потребителей

Чтобы обрабатывать поток параллельно, запускают несколько экземпляров сервиса с одним идентификатором группы (group.id). Kafka делит между ними партиции топика по правилу:

  • каждая партиция внутри группы закреплена ровно за одним участником;
  • один участник может читать несколько партиций;
  • если участников больше, чем партиций, лишние простаивают — им ничего не достаётся.
Две группы читают один топик Топик из четырёх партиций. Группа A из двух потребителей: первый читает партиции 0 и 1, второй — 2 и 3. Группа B из одного потребителя читает все четыре партиции. ТОПИК orders партиция 0 партиция 1 партиция 2 партиция 3 ГРУППА A · склад потребитель A1 — партиции 0, 1 потребитель A2 — партиции 2, 3 ГРУППА B · аналитика потребитель B1 — партиции 0–3
Внутри группы партиции делятся, а разные группы читают весь поток независимо

Несколько групп — каждая получает всё

Разные группы ничего не знают друг о друге. Склад и аналитика из схемы выше получат каждое сообщение — по одному разу на группу. Отсюда простое правило проектирования: одна система-получатель — одна группа. Экземпляры одного сервиса живут в общей группе, разные сервисы — в разных.

Типичная ошибка

Два разных сервиса случайно запустили с одинаковым group.id — например, скопировали конфигурацию. Kafka разделит между ними партиции, и каждый будет молча получать только часть событий. Проверяйте уникальность групп в ТЗ.

Позиция чтения и её фиксация

Группа помнит, до какого места дочитала каждую партицию. Сохранение этой позиции называют коммитом оффсета. Kafka хранит закоммиченные оффсеты у себя, в служебном топике __consumer_offsets. Если экземпляр упал или партицию передали другому, чтение продолжится с последнего закоммиченного места.

  • Автоматический коммит включён по умолчанию: клиент сохраняет позицию раз в 5 секунд, независимо от того, закончена ли обработка.
  • Ручной коммит — сервис фиксирует позицию сам, обычно после того, как обработал сообщение и сохранил результат.

Всё, что прочитано, но не закоммичено, после сбоя будет прочитано снова. Чем реже коммит — тем больше повторов. Как с этим жить, разбираем в уроке 06.5.

Откуда начинает новая группа

У новой группы закоммиченных оффсетов нет. Где она начнёт читать, решает настройка auto.offset.reset:

  • latest — значение по умолчанию: только сообщения, пришедшие после подключения;
  • earliest — с самого старого сообщения, которое ещё хранится;
  • none — ошибка: пусть решает человек.
Что важно аналитику

Это бизнес-решение, а не техническая мелочь. Новый сервис отчётности, запущенный со значением по умолчанию, не увидит ни одного события за прошлую неделю, хотя они лежат в топике. Если история нужна — так и пишите: «при первом запуске вычитать топик с начала», и проверьте, что срок хранения покрывает нужный период.

Ребалансировка

Когда в группу приходит новый участник, кто-то уходит или у топика меняется число партиций, Kafka заново раскладывает партиции между участниками. Это ребалансировка.

В старом протоколе на время раскладки останавливалась вся группа. С Kafka 4.0 по умолчанию доступен новый протокол (KIP-848): раскладку считает брокер, а партиции переезжают по одной — остальные участники читают без остановки.

Ребалансировка — частый источник повторной доставки: партиция переходит к новому участнику, и он начинает с последнего закоммиченного оффсета, даже если предыдущий уже обработал дальше. Увидеть это можно в задании «Повторная доставка».

Отставание

Лаг (lag) — сколько сообщений записано, но ещё не обработано группой. Считается для каждой партиции как разница между последним оффсетом и закоммиченным. Это главная метрика здоровья потребителя:

  • лаг постоянно растёт — потребитель не справляется с потоком, нужно больше экземпляров или быстрее обработка;
  • лаг подбирается к сроку хранения — сообщения удалятся непрочитанными, это потеря данных.

Посмотреть, как растёт отставание, можно в задании «Потребитель не успевает».

Share-группы: очередь внутри Kafka

Обычная группа упирается в число партиций и сохраняет порядок внутри партиции. Share-группа (KIP-932, «Queues for Kafka») устроена как очередь: все участники берут сообщения из всех партиций наперегонки, по одному.

  • участников может быть больше, чем партиций — масштабирование не ограничено топиком;
  • каждое сообщение подтверждается отдельно: принято, отложено на повтор или отклонено;
  • есть счётчик попыток доставки (по умолчанию до 5), после чего сообщение больше не выдаётся;
  • порядка нет — даже внутри партиции.

История версий: в 4.0 — ранний доступ, в 4.1 — предварительная версия, с 4.2 (февраль 2026) share-группы готовы к промышленному использованию. В 4.4 к ним добавилась очередь «мёртвых писем» (KIP-1191).

Подходят для задач, где порядок не важен, а обработка неравномерная: генерация документов, отправка писем, обработка изображений. В тренажёре это группы «Q1» и «Q2», задание — «Share-группа и порядок».

Что зафиксировать в ТЗ
  1. Список групп: какая система читает топик и под каким group.id.
  2. Тип группы — обычная или share — и почему.
  3. Откуда читать при первом запуске: только новое или с начала.
  4. Когда фиксируется позиция: автоматически или после обработки.
  5. Допустимое отставание и что делать при его превышении: кто получает тревогу.
  6. Ожидаемый рост нагрузки и как масштабируется обработка.
Статическое членство, паузы и долгая обработка
  • Долгая обработка. Если между двумя обращениями к брокеру проходит больше max.poll.interval.ms (по умолчанию 5 минут), участник считается «зависшим», его партиции отдают другим — и сообщения обработаются дважды. Для тяжёлых задач уменьшают размер пачки или выносят работу в отдельный пул.
  • Статическое членство. Параметр group.instance.id позволяет перезапускать экземпляр без ребалансировки — полезно при плановых обновлениях в Kubernetes.
  • Пауза партиции. Потребитель может приостановить чтение одной партиции (например, пока недоступна зависимая система) и продолжать остальные — без ребалансировки.
  • Сдвиг оффсетов вручную. Администратор может сдвинуть позицию группы на время или конкретный оффсет — так перечитывают данные после исправления ошибки. Это стоит предусмотреть в инструкции сопровождения.

Топик из 4 партиций читает обычная группа из 6 экземпляров. Сколько из них будут простаивать?

  1. Ни одного — нагрузка поделится поровну
  2. Один
  3. Два
  4. Четыре
Внутри обычной группы у партиции только один читатель. Четыре партиции — четыре занятых участника, двое остаются в резерве: они подхватят партиции, если кто-то из работающих упадёт.

Новый сервис отчётности подключили к топику новой группой без дополнительных настроек. В топике лежит неделя событий. Что он прочитает?

  1. Всю неделю, с самого начала
  2. Только сообщения, пришедшие после подключения
  3. Последние сутки
  4. Ничего, пока администратор не задаст позицию
По умолчанию auto.offset.reset=latest. Если отчёту нужна история, это должно быть написано в требованиях и выставлено явно.

В каком случае share-группа подходит лучше обычной группы потребителей?

  1. Важно обрабатывать изменения баланса счёта строго по порядку
  2. Нужно, чтобы каждую систему-получатель достигло каждое сообщение
  3. Нужно перечитать историю топика за месяц
  4. Задачи независимы, обработка занимает разное время, а экземпляров нужно больше, чем партиций
Share-группа снимает ограничение «не больше участников, чем партиций», но не даёт порядка. Для балансов и статусов она не подходит, для независимых задач — отлично.