Kafka 3.9 добавляет динамические кворумы KRaft

Вышел релиз Kafka 3.9. Команда сообщает, что это крупный релиз и последний в линейке 3.x. Это также последний крупный релиз с устаревшим режимом Apache ZooKeeper. Kafka - это распределенная потоковая платформа, которая может быть использована для построения конвейеров потоковых данных в реальном времени между системами или приложениями.

Изначально Kafka была разработана в LinkedIn, откуда она была взята в качестве проекта Apache. Это быстрая, масштабируемая, долговечная и отказоустойчивая система обмена сообщениями с публикацией и подпиской, которая может использоваться вместо традиционных брокеров сообщений.

Основным улучшением этой версии является поддержка динамических кворумов KRaft, на которые Kafka опирается для хранения журнала метаданных в режиме KRaft. До сих пор кворумы контроллеров задавались статической конфигурацией, которая должна была быть установлена на всех брокерах и контроллерах. Это затрудняло внесение изменений в имена хостов контроллеров, их добавление или удаление без простоя. KRaft Controller Membership Changes делает членство в кворуме динамическим. Команда Kafka говорит, что эту функцию с нетерпением ждало сообщество, и что, хотя в 3.9 есть основное ограничение - отсутствие поддержки преобразования статических кворумов метаданных в динамические, эта возможность скоро появится.

Поскольку это последняя версия, поддерживающая режим ZooKeeper, неудивительно, что она также предлагает улучшенную миграцию ZooKeeper. Колин МакКейб, который в настоящее время работает в компании Confluent над улучшением производительности, масштабируемости и «общей крутости» Apache Kafka, сказал, что Kafka 3.9 - это последняя и лучшая итерация текущей функции миграции ZooKeeper, и разработчики устранили причины, которые заставляли некоторых пользователей привязываться к ZooKeeper:

«Kafka 4.0 полностью прощается с ZooKeeper. Не будет поддержки работы в режиме ZK или миграции из режима ZK».

Это означает, что администраторам, которые все еще используют устаревший режим ZooKeeper и нуждаются в обновлении до 4.0 и последующих версий, придется выполнить промежуточное обновление до версии 3.9, прежде чем завершить переход на 4.0 и последующие версии.

Многоуровневое хранилище теперь готово к производству в этом выпуске. Многоуровневое хранилище позволяет Kafka легко выгружать данные на подключаемые внешние системы хранения, такие как облачные хранилища объектов. В этой версии также появился механизм динамического отключения многоуровневого хранилища на основе каждой темы, а также возможность устанавливать квоты на скорость загрузки и выгрузки данных из многоуровневого хранилища.

Кроме того, Kafka Connect лучше обрабатывает нулевые значения, и вы можете установить конечную точку REST, которая может быть использована для определения работоспособности рабочих Kafka Connect.

Kafka 3.9 доступна уже сейчас.