Apache Kafka для системного аналитика
Аналитику не нужно администрировать Kafka. Нужно другое: понимать, какие свойства системы появляются вместе с ней, и превращать их в требования, которые разработка, тестирование и эксплуатация прочитают одинаково.
Что вы сможете после раздела
- Обосновать, нужна ли интеграции Kafka, или хватит REST и простой очереди.
- Выбрать ключ сообщения под требование к порядку.
- Перевести «потерь быть не должно» в фактор репликации,
acksиmin.insync.replicas. - Спроектировать группы потребителей и стартовую позицию чтения.
- Описать дедупликацию, повторы и DLQ так, чтобы в проде не было сюрпризов.
- Написать раздел ТЗ по интеграции через Kafka по готовому шаблону.
Два маршрута
Если Kafka для вас новая
Уроки 06.1–06.6 по порядку, после каждого — задания на тренажёре, на которые ссылается урок. Блоки «Для продвинутых» пропускайте. Затем «Kafka в ТЗ» и итоговый тест.
Если уже писали ТЗ с Kafka
Начните с итогового теста — он покажет пробелы. Потом «Kafka в ТЗ» и задания З-6 и З-8. Уроки открывайте по вопросам, где ошиблись, вместе с блоками «Для продвинутых».
Содержание раздела
Тренажёр — упрощённая модель: в ней нет пачек сообщений, сетевых задержек и настроек продюсера, а запись
подтверждается в режиме старых версий (acks=1). Зато в нём видно главное — как партиции, реплики и группы
ведут себя при сбоях. Где модель расходится с настоящей Kafka, уроки и задания говорят об этом прямо.