Apache Storm 2.6 добавляет образ Docker

Выпущена версия Apache Storm 2.6. Обновленная версия добавляет официальный Docker-образ Storm наряду с другими улучшениями.

Apache Storm - это распределенная аналитическая система реального времени для Hadoop, которая может использоваться для обработки больших объемов быстро меняющихся данных. Она может использоваться для аналитики в реальном времени, машинного обучения в режиме онлайн, непрерывных вычислений, распределенного RPC и ETL. Одним из преимуществ Storm является его скорость - по данным бенчмарка, он обрабатывает более миллиона кортежей в секунду на одном узле.

Обновления текущей версии начинаются с включения официального образа Storm для Docker. Эта функция была востребована уже давно, и команда стремилась добавить ее с момента выхода первой версии Storm.

Storm также перешел на использование GitHub Actions, а не Travis CI. Travis CI - это хостируемый сервис непрерывной интеграции, используемый для сборки и тестирования программных проектов, и раньше он был проектом Apache Software Foundation. Однако Apache в целом отходит от Travis CI, и команда Storm последовала его примеру.

В этом выпуске также добавлена стратегия планировщика RoundRobin с ограничениями по узлам, предназначенная для равномерного распределения компонентов по узлам. По умолчанию нагрузка распределяется между всеми узлами, но разработчики могут ограничить ее, указав максимальное количество узлов.

Отчетность и мониторинг были улучшены благодаря возможности настраивать конфигурацию Storm для интервала отчетности по метрикам, а также возможности добавлять измерения для метрик Storm. Также была добавлена поддержка добавления отчетов о метриках во все топологии.

Используемая версия Hadoop была обновлена до Hadoop 3, также были обновлены зависимые фреймворки для Hive и HBase. Код Thrift в Storm также был обновлен, чтобы использовать текущую версию Thrift, используемую в Storm. Программный фреймворк Apache Thrift предназначен для масштабируемой разработки межъязыковых сервисов. Он сочетает в себе программный стек и механизм генерации кода для создания сервисов, работающих между языками.

Новый выпуск Storm доступен на сайте проекта Storm.