Выпущен Apache Iceberg Rust

Apache выпустил версию 0.3 Iceberg-rust, официальную Rust-реализацию высокопроизводительного формата Iceberg для огромных аналитических таблиц.

Iceberg был изначально разработан компанией Netflix, в 2018 году стал инкубаторским проектом Apache с открытым исходным кодом, а в 2020 году перешел в разряд проектов высшего уровня.

Iceberg широко используется и поддерживается почти всеми движками запросов. Пользователи могут писать SQL-запросы к данным из таблиц Iceberg, хранящихся в объектных хранилищах, без их предварительного ввода в базу данных.

Iceberg Rust 0.3 собран и протестирован на стабильном rust, и будет поддерживать MSRV (минимальную поддерживаемую версию rust). Этот релиз используется в Databend, облачном хранилище данных с открытым исходным кодом, которое служит экономически эффективной альтернативой Snowflake; и iceberg-catalog, Rust-реализации спецификации Iceberg REST Catalog.

По словам разработчиков, этот релиз включает в себя большую часть функциональности, необходимой пользователям для чтения и записи таблиц Iceberg, хотя на данный момент реализован только REST-каталог. Другие каталоги находятся в стадии активной разработки.

Основные изменения в этой версии начинаются с добавления Sync и Send к трейту Catalog. Send и Sync являются фундаментальными для обработки параллелизма в Rust и используются для определения того, может ли тип быть отправлен или передан другим потокам.

В этом выпуске также реализован OAuth для REST-клиента каталога. OAuth - это открытый стандартный протокол авторизации, который приложения могут использовать для обеспечения безопасного доступа к назначенным данным.

Также появились новые возможности записи и чтения Parquet с поддержкой проекции данных, а также поддержка ввода-вывода из каталога памяти и файла памяти. Создан каталог SQL, для которого теперь существует подпроект.

Добавлена поддержка токенов сессий Google Cloud Storage (GCS) и AWS, чтобы Iceberg-rust можно было использовать с сессиями GCS и AWS.

Поддержка параллелизма в Iceberg-rust была расширена за счет реализации параллельного сканирования таблиц и получения файлов данных, а также улучшены конструкторы предикатов и вычислители выражений. Разработчики также добавили поддержку столбцов временных меток в фильтрах строк.

По словам разработчиков, в планах на следующий выпуск - интеграция встроенной поддержки DataFusion и возможность подключения к Iceberg других движков запросов, например Databend.

Iceberg-rust 0.30 доступен уже сейчас.