Почему управление журналами необходимо для высоконагруженных систем
В современном конкурентном мире компании не могут позволить себе ни секунды простоя или низкой производительности своих приложений, так как проблемы могут повлечь за собой репутационные и финансовые потери.
Чтобы обеспечивать постоянную доступность и безопасность приложений, DevOps-инженеры создают инфраструктуру, поддерживающую определенные типы данных. Эти данные, будь то журналы событий или метрики, позволяют осуществлять мониторинг систем, а также выявлять и устранять проблемы в случае их возникновения.
Журналы существуют уже со времен первых веб-серверов, поэтому для их анализа были разработаны различные инструменты. Однако с течением времени базовая архитектура превращается в микросервисы, контейнеры и облачную инфраструктуру.
Кроме того, при масштабировании приложений постоянно растет объем данных, и со временем это начинает становиться проблемой. В небольших приложениях системный администратор может просто подключиться к серверу по SSH и просмотреть лог журнала. Но это невозможно сделать в средах, состоящих из сотен контейнеров, ежедневно генерирующих ГБ данных журнала.
Тогда на помощь приходят решения для централизованного управления журналами. Они позволяют инженерам, будь то DevOps, системный администратор или SRE(Site Reliability Engineer), получать необходимую им информацию и обеспечивать постоянную доступность и производительность приложений.
Современные решения для управления и анализа журналов должны включать в себя следующие возможности:
- Агрегация — возможность собирать и отправлять журналы из нескольких источников данных;
- Обработка — возможность преобразовывать сообщения журнала в значимые данные для облегчения анализа;
- Хранение — возможность хранить данные в течение длительных периодов времени для мониторинга, анализа тенденций и вариантов использования в целях безопасности;
- Анализ — возможность анализировать данные, запрашивая их и создавая на их основе визуализации и информационные панели.
Теперь рассмотрим, почему именно стек ELK стал фаворитом в области аналитики журналов, и в чем заключаются его основные особенности.
Что такое ELK-stack?
ELK (или Elastic-stack)— это аббревиатура из трех названий: Elasticsearch , Logstash и Kibana. Три программы изначально были отдельными проектами, но были объединены в общий стек компанией Elastic, чтобы предоставить администраторам баз данных контроль и гибкость над функциями поиска и анализа.
Elasticsearch
Elasticsearch (сокращенно ES) представляет собой механизм поиска и аналитики, основанный на Apache Lucene. Он разработан на Java и имеет открытый исходный код. Elasticsearch представляет собой базу данных NoSQL, однако уделяет большое внимание поисковым возможностям и функциям. Он способен выполнять полнотекстовый поиск, создавать фильтры, фасеты, агрегации, имеет быстрое время отклика и осуществляет анализ информации.
Logstash
Logstash — это агрегатор и процессор журналов, который извлекает данные практически из любого источника, преобразовывает их и отправляет в Elasticsearch. Таким образом, Logstash позволяет фильтровать, массировать и структурировать данные, чтобы упростить дальнейшую работу.
Kibana
Kibana — это плагин визуализации данных для Elasticsearch. Пользователи могут создавать гистограммы, линейные и точечные диаграммы, а также круговые диаграммы и карты на основе больших объемов данных.
Kibana также предоставляет инструмент для презентаций Canvas, который позволяет пользователям создавать наборы слайдов, извлекающие оперативные данные непосредственно из Elasticsearch.
Beats
Позже всех к стеку присоединился четвертый инструмент — Beats. Это набор легковесных поставщиков журналов с открытым исходным кодом, которые действуют как агенты, установленные на разных серверах в инфраструктуре для сбора журналов или метрик.
При централизованном ведении журнала конвейер данных состоит из трех основных этапов: агрегация, обработка и хранение. В Elastic стеке за первые два этапа традиционно отвечал Logstash. Но из-за проблем с проектированием этого инструмента возникали сложности с производительностью, особенно при больших объемах данных.
Поэтому было решено передать другим инструментам некоторые обязанности Logstash, в частности задачу извлечения данных. В конце концов был представлен новый и улучшенный протокол, который стал основой того, что сейчас называется семейством Beats.
Почему стек ELK так популярен?
Когда IT-инфраструктуры переместились в облачные сервисы, понадобилось решение для управления неструктурированными данными. Разработчики ELK создали платформу, которая собирает и обрабатывает данные из нескольких источников, сохраняет их в одном централизованном хранилище, которое может масштабироваться по мере роста объемов, и предоставляет набор инструментов для анализа данных.
Основным преимуществом перед конкурентами стало то, что стек имеет открытый исходный код, поскольку IT-структуры отдают предпочтение open source-продуктам. К тому же, открытый исходный код позволяет сообществу внедрять новые функции и открывать новые возможности технологии.
Области применения стека ELK
На первый взгляд может показаться, что ELK пригодится только для высоконагруженных сервисов. Но это не так. Платформа используется в качестве инструмента для различных типов проектов и целей — от мониторинга и устранения неполадок в безопасности до SEO и бизнес-аналитики:
- Устранение неполадок на этапе разработки приложения.
Благодаря анализу журналов разработчики могут сопоставлять, выявлять и устранять ошибки на этапах разработки или тестирования приложения.
- Мониторинг производительности приложений (APM).
Хотя Elasticsearch не предназначен для хранения метрик, некоторые компании используют его для этой цели. Например, Linkedin — одна из крупных компаний, использующих ELK для мониторинга производительности.
- Мониторинг безопасности.
С ростом числа кибератак компании вынуждены соблюдать все больше и больше нормативных требований, таких как HIPAA, FISMA, SOC или PCI. Таким образом, они должны иметь надежный механизм безопасности.
Стек ELK объединяет данные, которые наглядно могут продемонстрировать, что происходит с приложением или системой в режиме реального времени.
Netflix использует ELK в целях безопасности, а также для мониторинга и анализа операций, связанных с обслуживанием клиентов .
- Операции с облачными сервисами
В отличие от обычных сред, облачные и гибридные среды являются многоуровневыми и распределенными, что значительно усложняет управление. Поднимаются такие вопросы, как доступ к каждой машине, как собирать и обрабатывать данные, где их хранить и как долго, как анализировать, защищать и создавать резервные копии данных.
ELK со всеми его четырьмя компонентами может покрыть все потребности. Beats устанавливается на каждой машине для пересылки данных в Logstash. Logstash нормализует его и отправляет в Elasticsearch, где он индексируется и сохраняется. И, наконец, информационные панели и визуализации Kibana помогают анализировать, обнаруживать и устранять неполадки.
- Бизнес-аналитика
Стек отлично подходит для обработки больших данных. Это дает возможность собирать необработанные данные из нескольких источников, таких как цепочка поставок, производственные данные, записи о персонале, метрики продаж, маркетинговые кампании и многие другие. Для бизнес-аналитика эти данные несут ценную информацию, которая поможет принять обоснованные решения для развития бизнеса и повышения производительности компании.
- SEO
Журналы доступа к веб-серверу позволяют видеть, кто посещал сайт или приложение. Притом они позволяют отслеживать как людей, так и ботов поисковых систем, что помогает SEO-специалистам понять, когда происходит переиндексация сайта при внесении изменений в метаданные.
- Функция поиска для веб-сервисов и сайтов
Многие сервисы используют Elasticsearch в качестве поискового движка для оптимизации поисковых запросов пользователей. Например, Elasticsearch умеет осуществлять поиск по части слова или по синонимам, автоматически исправляет поисковой запрос с опечатками и множество других функций.
Github, Wikipedia и Stack Overflow — это лишь некоторые из компаний, которые используют ELK для своих функций поиска и фильтрации.
Когда следует передать разработку на стеке ELK на аутсорсинг
Несмотря на то, что ELK хорошо подходит для обработки больших данных в крупных корпорациях, стек также является очень ценным пакетом для компаний, использующих небольшие системы. Аутстаффинг разработчиков ELK будет уместным, если часть работ закрывается внутренней командой.
Установка и запуск стека — непростой процесс, поэтому организациям, не имеющим внутри компании необходимых навыков и ресурсов, придется инвестировать в программу обучения или заказать аутсорсинг разработки на стеке ELK.
Различные инструменты в стеке были разработаны для взаимодействия друг с другом. Однако то, как построена архитектура приложения, сильно влияет на настройки компонентов. Если для малогабаритной среды разработки достаточно стандартного набора Elasticsearch + Logstash + Kibana + Beats, то для более сложных структур понадобится внедрять дополнительные компоненты для обеспечения отказоустойчивости(Kafka, RabbitMQ, Redis) и безопасности (Nginx).
Найти разработчика, который сможет создать поддерживаемую и понятную структуру, не так просто. Знания только штатных компонентов стека может быть недостаточно, поэтому заказная разработка на стеке ELK поможет закрыть необходимые компетенции.
