Apache Arrow 15 стабилизирует полет SQL

Выпущен Apache Arrow 15. Среди улучшений - новые строки формата в интерфейсе данных C, а также стабильная работа Flight SQL в Arrow Flight.

Apache Arrow - это платформа разработки для аналитики in-memory. В ней реализованы технологии, позволяющие системам больших данных быстро обрабатывать и перемещать данные. Arrow не зависит от языка, может использоваться для плоских и иерархических данных, а хранилище данных организовано для эффективных аналитических операций. Кроме того, она предоставляет библиотеки для вычислений. В настоящее время поддерживаются следующие языки: C, C++, C#, Go, Java, JavaScript, Julia, MATLAB, Python, R, Ruby и Rust.

Улучшения в новом выпуске начинаются с добавления новых форматных строк для интерфейса данных C. Дополнительные строки формата были добавлены для типов массивов ListView, LargeListView, BinaryView и StringView.

Flight SQL теперь считается стабильным для Arrow Flight RPC. Flight RPC - это RPC-фреймворк для высокопроизводительных сервисов данных на основе данных Arrow, построенный на базе gRPC и формата IPC. RPC (Remote Procedure Call) - это протокол "запрос-ответ". Одной из главных особенностей, отличающих Flight от других фреймворков для передачи данных, является параллельная передача, позволяющая передавать данные на кластер серверов или с них одновременно. Это позволяет разработчикам легче создавать масштабируемые сервисы данных, способные обслуживать растущую клиентскую базу. Спецификация Flight SQL также была уточнена в этом выпуске, чтобы указать, как схема набора результатов подготовленного оператора влияет на связанные параметры. Еще одно улучшение - драйвер JDBC Arrow Flight SQL теперь поддерживает аутентификацию mTLS и связывание параметров. Он также может повторно использовать учетные данные в соединениях с метаданными и данными.

C++ в Arrow стал быстрее кодировать и декодировать скалярные данные, а поддержка Parquet добавила возможность фильтрации групп строк для вложенных путей, а также другие улучшения.

Улучшения в Java включают в себя более эффективную обработку 256-битных десятичных дробей в адаптере JDBC и добавление пакета bill-of-materials.

По словам разработчиков, в следующем выпуске Apache 16 ожидаются изменения в Java. Это будет связано с добавлением поддержки модулей Java 9, что потребует изменения флагов JVM, используемых при запуске приложения. На Arrow 15.0.0 это не повлияет.

Другие незначительные улучшения были добавлены для JavaScript, Python, R, Go, C# и Ruby.