Microsoft Fabric превращается из озера данных в платформу для приложений

Если современный бизнес и нуждается в чем-то, так это в данных - как можно большем их количестве. Начиная с хранилищ данных и заканчивая озерами данных, мы используем локальные и облачные инструменты для управления и анализа этих данных, придавая им форму, необходимую для понимания бизнеса.

Сегодня данные приобретают все большее значение, поскольку они используются для обучения и точной настройки пользовательских моделей ИИ или для обеспечения необходимой основы для существующих приложений ИИ. Microsoft Fabric - это размещенная аналитическая платформа, которая строится поверх существующих инструментов для работы с данными, таких как Azure Synapse, поэтому неудивительно, что Microsoft использовала свое мероприятие BUILD 2024, ориентированное на ИИ, чтобы представить новые функции, нацеленные на поддержку масштабной аналитики и требований к данным современных приложений ИИ.

Microsoft описывает Fabric как платформу, которая устраняет сложности работы со значительными объемами данных, позволяя вместо этого сосредоточиться на аналитике и извлечении пользы из этих данных. Это может быть использование таких инструментов, как Power BI, для создания и обмена информационными панелями, а также использование этих данных для обучения, тестирования и работы пользовательских ИИ или для обоснования существующих генеративных моделей ИИ.

Обертывание айсбергов в ткань

Одной из наиболее важных новых функций стало добавление поддержки большего количества форматов данных, что поможет интегрировать Microsoft Fabric с другими платформами для работы с крупномасштабными данными. До сих пор Fabric была построена на базе формата данных Delta Parquet, управляемого Linux Foundation и используемого многими платформами на базе Lakehouse. Его технология хранения данных с открытым исходным кодом позволяет смешивать журналы транзакций с облачными объектными хранилищами. Нет необходимости использовать специализированные хранилища данных; вместо этого выбранный вами движок данных может просто работать с файлом Delta Lake, хранящимся в Azure Blob Storage.

Это важная форма данных, но не единственная, которая используется для управления большими объемами данных. Одна из популярных платформ - управляемая облачная платформа данных Snowflake, которая использует формат открытых таблиц Iceberg от Apache. Для управления большими данными используются SQL-подобные инструменты, позволяющие быстро редактировать большие таблицы и вносить изменения в текущую схему.

Для того чтобы Microsoft Fabric стала центром данных ИИ в Azure, она должна поддерживать как можно больше источников данных. Поэтому одним из наиболее значимых анонсов платформы данных на BUILD стала поддержка Iceberg в среде данных Microsoft Fabric OneLake наряду с Delta Parquet, а также инструменты для двусторонней связи между Microsoft Fabric и Snowflake, позволяющие работать с теми инструментами, которые вы предпочитаете.

Одним из ключевых аспектов поддержки Iceberg в Fabric является использование ярлыков для перевода метаданных между двумя форматами, что позволяет запросам и аналитическим инструментам рассматривать их как единый источник, независимо от того, где они размещены. Это должно позволить организациям с существующими большими наборами данных, размещенными в Snowflake или других средах Iceberg, воспользоваться преимуществами Microsoft Fabric и ее интеграции с такими инструментами, как Azure AI Studio. Это должно упростить процесс обучения моделей ИИ на данных, хранящихся в облаке Snowflake, без необходимости хранить их в двух разных местах.

Такой же подход используется и в облачных маркетинговых инструментах Adobe, и в Azure Databricks. Поскольку они используют инструменты быстрого доступа Microsoft Fabric, вы сможете перенести существующие каталоги Databricks в Fabric, и в то же время ваши данные OneLake будут видны как каталог в Azure Databricks. Это позволит вам использовать инструмент, который лучше всего подходит для решения нужной задачи, с рабочими процессами, которые пересекаются с различными наборами инструментов без ущерба для ваших данных.

Улучшенная поддержка данных в режиме реального времени

Хотя в Microsoft Fabric была базовая поддержка одного ключевого типа данных - потоковых данных реального времени, - для эффективного использования этих данных требовалось два разных инструмента. Аналитика данных, полученных в реальном времени из бизнес-систем и промышленных систем Интернета вещей, позволяет быстро получить информацию, которая поможет вам выявить проблемы до того, как они повлияют на ваш бизнес, особенно если она связана с инструментами, которые могут запускать оповещения и действия, когда данные указывают на проблемы.

Новый инструмент Real-Time Intelligence обеспечивает концентрацию для работы с потоковыми данными. Его можно рассматривать как эквивалент озера данных для ваших данных в реальном времени, которое поступает из различных источников и предоставляет набор инструментов для управления и преобразования этих данных. В результате получается среда разработки без кода, которая использует знакомую метафору коннектора, чтобы помочь построить пути для ваших данных, извлечь информацию и направить потоковые данные в озеро данных для дальнейшего анализа. Потоковые данные могут поступать как из самой Azure, так и из других внешних источников данных.

Такой подход помогает извлечь максимальную ценность из потоковых данных. Срабатывание на внешние события позволяет быстро реагировать на них, выявляя мошенничество на платформе электронной коммерции или зарождающиеся неисправности в оборудовании, оснащенном приборами. Данные становятся инструментом для обучения новых моделей ИИ, которые могут автоматизировать эти процессы.

Запросы на естественном языке с помощью Copilots

Microsoft добавляет в Fabric интерфейс на естественном языке в виде собственного Copilot. Он предназначен для того, чтобы пользователи могли быстро задавать вопросы о своих данных временных рядов, генерируя базовый язык запросов Kusto Query Language (KQL), необходимый для повторения или уточнения запроса. Такой подход помогает научиться использовать KQL. Вы можете быстро увидеть, как запрос KQL связан с вашим первоначальным вопросом, что позволяет неопытным пользователям приобрести необходимые навыки анализа данных.

Этот же базовый Copilot используется для создания новой функции искусственного интеллекта Microsoft Fabric. Здесь вы начинаете с выбора источника данных и, используя вопросы на естественном языке и без дополнительных настроек, быстро создаете сложные запросы, добавляя по мере необходимости дополнительные источники и таблицы. И снова инструмент искусственного интеллекта покажет вам построенный запрос, позволит внести правки и поделиться результатом с коллегами. Microsoft намерена распространить эти навыки на Copilot Studio, чтобы создать сквозную среду разработки данных и рабочих процессов без кода.

Добавление прикладных API в аналитику Microsoft Fabric

Microsoft Fabric - важный аналитический инструмент, а также центр управления и контроля над большими данными, готовый к использованию в других приложениях. Необходим способ подключения API к этим данным, чтобы конечные точки Fabric можно было встроить в ваш код. До сих пор все API Fabric были RESTful API для управления, для создания собственных административных инструментов. Последний набор обновлений позволяет вам добавлять собственные API GraphQL к вашим данным.

Озера данных могут содержать множество различных схем, поэтому использование определений API на основе типов в GraphQL позволяет создавать API, которые работают со всеми данными Fabric, возвращая данные из всех источников в одном объекте JSON. Нет необходимости в том, чтобы ваш код имел какие-либо знания о данных в среде Fabric; механизм запросов Fabric обеспечивает всю необходимую абстракцию.

Создание API - несложный процесс. В среде управления Microsoft Fabric начните с присвоения имени своему API. Затем выберите источники и таблицы, которые вы хотите отобразить. После этого создается схема GraphQL, и вы можете работать во встроенном проводнике схем, чтобы определить запросы и все необходимые связи между таблицами. На данный момент поддерживаются не все источники данных Fabric, но вы сможете начать работу с текущим набором аналитических конечных точек, которые позволяют предоставлять доступ к существующим аналитическим данным. Это позволяет Microsoft Fabric хранить данные, выполнять аналитические запросы, сохранять результаты в таблицах, а затем предлагать API-доступ к этим результатам.

После того как API будет готов, вам останется только скопировать полученную конечную точку и передать ее разработчикам приложений. Они должны будут включить соответствующие авторизации, чтобы доступ получали только авторизованные пользователи (особенно важно, если API позволяет изменять данные).

Последние обновления Microsoft Fabric устраняют многие из очевидных недостатков платформы. Благодаря упрощению работы с альтернативными форматами данных, в том числе потоковыми, вы можете использовать существующие инвестиции, а поддержка API GraphQL дает возможность создавать приложения, которые могут работать с большими данными, в то время как Fabric обрабатывает базовые запросы за сценой.

Предлагая способ абстрагироваться от сложностей, связанных с масштабными данными, и предоставляя агентов искусственного интеллекта, Microsoft Fabric демонстрирует, как управляемая платформа данных может позволить вам перейти от необработанных данных к аналитическим приложениям независимо от вашей квалификации. Все, что вам нужно делать, - это задавать вопросы.