Apache Arrow 16 добавляет поддержку Azure Blob

Выпущен Apache Arrow 16 с улучшениями в интерфейсе данных C и Arrow Flight RPC, а также добавлена поддержка формата данных Azure Blob.

Apache Arrow - это платформа разработки для аналитики in-memory. В ней реализованы технологии, позволяющие системам больших данных быстро обрабатывать и перемещать данные. Arrow не зависит от языка, может использоваться для плоских и иерархических данных, а хранилище данных организовано для эффективных аналитических операций. Она также предоставляет библиотеки для вычислений. В настоящее время поддерживаются следующие языки: C, C++, C#, Go, Java, JavaScript, Julia, MATLAB, Python, R, Ruby и Rust.

Улучшения в новом выпуске начинаются с добавления начальной поддержки Azure Blob Storage в библиотеку C++ в Arrow. Хранилище Azure Blob обеспечивает масштабируемое и экономически эффективное хранение объектов в облаке и может использоваться для хранения и доступа к неструктурированным данным. Другие улучшения в поддержке C++ в Arrow включают возможность создания Arrow C++ с помощью Emscripten, что закладывает основу для запуска Arrow C++ под управлением WASM, а в перспективе и PyArrow. Также была добавлена поддержка преобразования таблиц и RecordBatch в тензоры.

Arrow Flight RPC теперь поддерживает RPC с переменной сессии, а поддержка Go в Flight корректно обрабатывает существующие учетные данные при разных соединениях.

Улучшения в поддержке Python в Arrow включают добавление ранее отсутствовавших методов в RecordBatch, а также добавление поддержки Binary и StringView в PyArrow. Также добавлена поддержка массивов с кодировкой Run-End в PyArrow.

Интерфейс данных C теперь управляет сопоставлениями между типом и идентификатором устройства и менеджером памяти; в интерфейсе потока C появилась поддержка работы с массивами Chunked.

В более общем плане в Arrow Flight RPC добавлены RPC с переменными сеанса, улучшены драйвер JDBC и функции Java.

Apache Arrow 16 доступен уже сейчас.