Grafana выпускает Loki 3

Компания Grafana объявила о выпуске Loki 3 с улучшениями, включая ускорение запросов с помощью фильтров Блума и встроенную поддержку OpenTelemetry.

Loki - это горизонтально масштабируемая, высокодоступная, многопользовательская система агрегации логов, созданная по мотивам Prometheus. Она состоит из набора компонентов, которые могут быть объединены в полнофункциональный стек логирования.

По сравнению с другими системами агрегации журналов, Loki не выполняет полнотекстовую индексацию журналов. Вместо этого он хранит сжатые неструктурированные журналы и индексирует только метаданные, что делает его более простым в управлении и дешевым в эксплуатации. Он также индексирует и группирует потоки журналов, используя те же метки, что и Prometheus, поэтому пользователи могут переключаться между метриками и журналами, используя одни и те же метки.

Основное улучшение в этой версии Loki - ускорение запросов с помощью фильтров Блума, экспериментальной функции, призванной помочь пользователям быстрее находить конкретные данные журнала.

Разработчики утверждают, что предыдущие версии Loki позволяли быстро находить данные журнала при наличии информации о том, где именно искать, например, селекторов меток для фильтрации. В этом выпуске добавлены фильтры Bloom, предназначенные для поиска в тех случаях, когда нет возможности использовать фильтры. По их словам, до сих пор, если пользователь хотел найти одно конкретное сообщение в журнале, Loki приходилось просматривать каждую строку журнала во всех подходящих потоках. Фильтры Bloom добавляют возможность поиска по строкам, таким как ID заказа или ID пользователя, пропуская большие куски данных, которые не содержат нужной информации. По словам разработчиков, первые внутренние тесты показывают, что с помощью фильтров Bloom Loki может пропускать значительный процент данных журнала при выполнении запросов:

"Наши тесты в dev-среде показывают, что теперь мы можем отфильтровать от 70 до 90 % фрагментов, которые ранее требовались для обработки запроса".

Фильтр Блума - это вероятностная структура данных, основанная на хешировании, названная в честь изобретателя, Бертона Говарда Блума.

Второе главное изменение - поддержка OpenTelemetry, которую, по словам команды Loki, 54 % респондентов, принявших участие в опросе Grafana 2024 Observability Survey, заявили, что используют ее чаще, чем в прошлом году. OpenTelemetry призван обеспечить не зависящий от производителя способ легкого инструментария для приложений или систем, независимо от их языка, инфраструктуры или среды выполнения.

До сих пор, если вы хотели просматривать журналы в формате OpenTelemetry в Loki, их нужно было получать с помощью Loki Exporter, который сериализовывал данные в JSON, а значит, их нужно было десериализовать во время запроса, чтобы взаимодействовать с атрибутами OTel и метаданными в записях журнала.

В новой версии появилась встроенная поддержка приема данных OpenTelemetry, что избавляет от необходимости выполнять эти этапы.

Loki 3 доступна уже сейчас.