Ibis 8 добавляет потоковое вещание

Выпущена версия Ibis 8.0 с бэкендами для обработки потоков. Новый выпуск включает Apache Flink в качестве бэкенда потоковой обработки и RisingWave, бэкенд потоковой базы данных. Также появился новый бэкенд пакетной обработки данных Exasol, в результате чего общее число поддерживаемых Ibis бэкендов достигло 20.

Команда Ibis утверждает, что большинство геопространственных операций теперь поддерживается в бэкенде DuckDB, что делает Ibis локальным вариантом для геопространственной аналитики.

Ibis - это переносимая библиотека фреймов данных на языке Python. Она обеспечивает поддержку масштабирования кода преобразования данных в Python и может быть использована для работы с данными на различных платформах данных. Ibis была загружена более 10 миллионов раз.

Ibis - проект с открытым исходным кодом и управляется независимо. Хотя четверо из пяти членов руководящего комитета работают в Voltron Data, он не является собственностью Voltron Data. Пятый член руководящего комитета работает в Alphabet над Google BigQuery.

Ibis позволяет работать с несколькими фреймами данных, предоставляет общий API для работы с данными на языке Python и компилирует этот API в родной язык бэкенда. Команда Ibis признает, что переносимость с Ibis не идеальна, но говорит, что общность бэкендов и диалектов SQL в сочетании с многолетними инженерными усилиями дает полнофункциональный и надежный фреймворк для манипулирования данными на Python.

Новая поддержка потоковой обработки открывает возможности использования Ibis для работы с высокопроизводительными данными с низкой задержкой и временной семантикой для таких приложений, как обнаружение мошенничества, аналитика в реальном времени и IoT. Включение Apache Flink означает, что Ibis имеет самый популярный фреймворк для обработки потоков с открытым исходным кодом, а RisingWave - совместимую с Postgres базу данных потоковой обработки с открытым исходным кодом и облачным предложением.

С выходом версии 8.0 Ibis теперь поддерживает 20 различных механизмов запросов, что позволяет удовлетворить широкий спектр потребностей в обработке данных - от небольших запросов с помощью DuckDB до крупных распределенных заданий по препроцессингу/ETL с помощью таких механизмов, как BigQuery, Spark, Theseus и других.

Обновленный список поддерживаемых бэкендов включает Google BigQuery, ClickHouse, Dask, DataFusion, Druid, DuckDB, Exasol, Flink, Impala, Microsoft SQL Server, MySQL, Oracle, pandas, Polars, PostgreSQL, PySpark, RisingWave, Snowflake, SQLite и Trino.

Ibis 8 доступен уже сейчас.