Google анонсирует метахранилище BigQuery

Компания Google объявила о публичной предварительной версии метахранилища BigQuery, полностью управляемого унифицированного сервиса метаданных, который работает с несколькими движками и поддерживает последовательное управление данными.

Google описывает метахранилище BigQuery как высокомасштабируемый сервис метаданных, работающий с несколькими движками, включая BigQuery, Apache Spark, Apache Hive и Apache Flink, и поддерживающий открытый формат таблиц Apache Iceberg.

Google BigQuery - это распределенный, бессерверный SQL-движок, обеспечивающий возможность запросов к петабайтам данных. Он имеет встроенное машинное обучение, является бессерверным и поддерживается Google Cloud.

Новый сервис разработан таким образом, чтобы аналитические системы могли работать и запрашивать одну копию данных с единой схемой, независимо от того, хранятся ли данные в таблицах хранилища BigQuery, таблицах BigQuery для Apache Iceberg или внешних таблицах BigLake.

По словам Google, метахранилище BigQuery станет важнейшим компонентом для клиентов, стремящихся перейти от устаревших озер данных к современной архитектуре Lakehouse. Он тесно интегрирован с BigQuery и обеспечивает встроенную безопасность и управление взаимодействием пользователей с данными.

По словам Google, ключевыми преимуществами метахранилища BigQuery являются его кросс-инженерная совместимость, поддержка открытых форматов и каталогов, встроенные средства управления, а также то, что он полностью управляется в масштабе BigQuery.

Кросс-инженерная совместимость означает, что он обеспечивает единое представление всех метаданных для всех источников данных в хранилище, что позволяет обрабатывать запросы и DML для данных, хранящихся в открытых и проприетарных форматах в объектных хранилищах, хранилище BigQuery и во всех аналитических средах выполнения.

Встроенное управление происходит благодаря возможностям управления, предоставляемым в BigQuery, таким как автоматическая каталогизация и универсальный поиск, бизнес-метаданные, профилирование данных, качество данных, тонкий контроль доступа, маскировка данных, совместное использование, анализ данных и ведение журнала аудита.

Будучи бессерверным, полностью управляемым сервисом, метахранилище BigQuery имеет интеграцию с такими движками, как BigQuery, Spark, Hive и Flink.

Метахранилище Google BigQuery уже доступно в предварительной версии.