Этот тренинг будет полезен слушателям, которые работают с Apache Kafka и хотят углубить свои знания и навыки в этой области.
В рамках данного тренинга вы изучите различные аспекты Kafka, начиная с архитектуры и основных компонентов, таких как кластеры, брокеры и клиенты. Вы освоите концепцию топиков и разделов, а также настройку параметры производительности Kafka.
Тренинг также включает модуль, посвященный устройству Producer и Consumer. Вы освоите внутреннее устройство Kafka Producer и Consumer, включая потоки, буферы и таймауты, а также узнаете о смещениях, группах получателей и методах сохранения смещений.
В следующем модуле рассматривается надежная доставка сообщений. Вы ознакомитесь с различными гарантиями порядка сообщений и доставки, включая гарантии "at least once" и "exactly once", а также узнаете о транзакциях, обработке ошибок и повторной передаче сообщений.
Вы изучите Kafka Connect, инструмент для создания конвейеров данных, рассмотрите внутреннее устройство Kafka Connect, настройку и преобразованиях данных, примеры коннекторов.
Другой важный модуль тренинга посвящен Kafka Streams – библиотеке для обработки и анализа данных в реальном времени. Вы изучите такие концепции, как сериализация, окна, агрегирование и сохранение состояния, познакомитесь с Processor API и научитесь использовать Kafka Streams для создания потоковых приложений.
Тренинг завершается изучением ksqlDB – расширения Kafka, предоставляющего SQL-подобный интерфейс для работы с данными. В рамках данного модуля вы узнаете о потоках, таблицах, преобразованиях и непрерывных запросах в ksqlDB, а также ознакомитесь с методами развертывания кластера ksqlDB.
В каждом модуле тренинга предусмотрено выполнение практических заданий, которые помогут освоить знания и решать реальные задачи, связанные с обработкой данных в реальном времени.
Темы курса
01Модуль 1. Архитектура Kafka (2 часа теории, 2 часа практики)
- Кластер, брокеры, клиенты
- Топики и разделы
- Очистка сегментов (retention, compaction)
- Репликация, лидеры и следующие, ISR
- Контроллеры, KRaft
- Настройка производительности
Практика: запуск кластера, запись в и чтение сообщений из тем, работа с темами (вывод списка и описаний), работа с разделами (увеличиваем количество), изменение параметров тем, работа с сегментами (просмотр информации о сегментах, смещениях, записях), работа с репликами (проверка поведения при отказе брокера), тестирование производительности кластера.
02Модуль 2. Устройство Producer и Consumer (1,5 часа теории, 1,5 часа практики)
- Внутреннее устройство: потоки, буферы, таймауты
- Смещения, группы получателей
- Автоматическое и ручное сохранение смещений
- Перебалансировка группы
Практика:изучение влияния параметров производителя на производительность при отправке сообщений, проверяем влияние параметров потребителя на производительность при чтении сообщений.
03Модуль 3. Надежная доставка (1,5 часа теории, 1,5 часа практики)
- Гарантии порядка сообщений
- Гарантии доставки at least once, exactly once
- Транзакции
- Обработка ошибок и повторная передача
- Сбои сети, брокеров и клиентов
Практика: разработка приложений, которые используют транзакции.
04Модуль 4. Kafka Connect (4 часа теории, 4 часа практики)
- Конвейеры данных
- Обзор Kafka Connect
- Внутреннее устройство
- Преобразования
- Запуск Kafka Connect
- Примеры коннекторов
- Разработка коннекторов
Практика: работа с Kafka Connect — запуск разных сценариев интеграции с внешними системами.
05Модуль 5. Kafka Streams (4 часа теории, 4 часа практики)
- Источники и приемники
- Сериализация, SerDe, схемы сообщений
- Окна
- Преобразования
- Агрегирование
- Сохранение состояния
- Транзакции
- Processor API
Практика: разработка приложений Kafka Streams с использованием разных API.
06Модуль 6. ksqlDB (2 часа теории, 2 часа практики)
- Источники и приемники
- Потоки и таблицы
- Преобразования
- Непрерывные запросы
- Окна
- Агрегирование
- Транзакции
- Развертывание кластера ksqlDB
Практика: работа с ksqlDB — интеграция с Kafka Connect, преобразования сообщений, непрерывные запросы.
