Elastic Stack

Внедрение, сопровождение, интеграция
Elastic Stack
Внедрение, сопровождение, интеграция
Применение Elastic Stack
  • Зонтичная система мониторинга
    Elastic Stack может выступать в роли агрегатора событий с удобным поиском, корреляцией и визуализацией.
  • SIEM-система
    Анализ логов аутентификации, аудит-логов операционных систем или flow-трафика от сетевых устройств — Elastic Stack умеет делать «из коробки».
  • Аналитическая система
    Elastic Stack можно использовать для бизнес аналитики, делать прогнозы по существующим данным. и использовать другие возможности алгоритмов машинного обучения.
  • Мониторинг сетевой инфраструктуры
    Приём, разбор и склейка flow-трафика от сетевых устройств. Гибкая настройка разбора полей позволяет распознавать любой их набор.
  • APM-мониторинг
    Поддерживаются Java, Python, Ruby, Go, Node. js, SPA-приложения (инжекция JS-кода). Удобный поиск внутри собранных данных поможет быстро выявить нештатное поведение кода.
  • Единое хранилище данных
    Подходит для долговременного хранения массивов данных и быстрого доступа к ним. Новые ноды добавляются в несколько кликов мышью.
Применение Elastic Stack
  • Зонтичная система мониторинга
    Elastic Stack может выступать в роли агрегатора событий с удобным поиском, корреляцией и визуализацией.
  • SIEM-система
    Анализ логов аутентификации, аудит-логов операционных систем или flow-трафика от сетевых устройств — Elastic Stack умеет делать «из коробки».
  • Аналитическая система
    Elastic Stack можно использовать для бизнес аналитики, делать прогнозы по существующим данным. и использовать другие возможности алгоритмов машинного обучения.
  • Мониторинг сетевой инфраструктуры
    Приём, разбор и склейка flow-трафика от сетевых устройств. Гибкая настройка разбора полей позволяет распознавать любой их набор.
  • APM-мониторинг
    Поддерживаются Java, Python, Ruby, Go, Node. js, SPA-приложения (инжекция JS-кода). Удобный поиск внутри собранных данных поможет быстро выявить нештатное поведение кода.
  • Единое хранилище данных
    Подходит для долговременного хранения массивов данных и быстрого доступа к ним. Новые ноды добавляются в несколько кликов мышью.
Архитектура Elastic Stack
Архитектура Elastic Stack
Архитектура Elastic Stack
  • Elasticsearch
    Elasticsearch — это ядро Elastic Stack. Поисковая система, которая хранит неструктурированные данные и выдаёт их по запросу. Есть удобный механизм масштабирования и резервирования. Работает на Java и использует в работе библиотеки Lucene.
  • Logstash
    Logstash — это инструмент сбора, анализа логов и других типов данных. Подключается напрямую к Elasticsearch и загружает данные туда. Можно настроить предобработку данных с помощью встроенных фильтров (самый известный —grok, но для разбора данных есть и другие).
  • Kibana
    Kibana — это интерфейс для представления данных из Elasticsearch. В Kibana есть настриваемые представления: линейные графики, секторные диаграммы, географических карты. Здесь же настраиваются функции машинного обучения и многое другое.
  • Filebeat
    Filebeat — это универсальный сборщик логов с удалённых систем и сервисов. Нативно поставляет логи в Logstash или напрямую в Elasticsearch. Имеет готовые обработчики для логов различных форматов: системные, Nginx, Apache, MySQL и других.
  • Metricbeat
    Metricbeat — это универсальный сборщик метрик с систем и сервисов. Нативно поставляет метрики в Logstash или напрямую в Elasticsearch. Имеет готовые обработчики для системных метрик (CPU, Memory и т. д.), Redis, Nginx и других.
  • Packetbeat
    Packetbeatt — это сборщик и анализатор сетевого трафика. Нативно поставляет метрики в Logstash или напрямую в Elasticsearch. Имеет готовые обработчики для следующих видов трафика: HTTP (S), Flow (Netflow, JFlow и других) и MySQL.
  • Winlogbeat
    Winlogbeat — это легковесный сборщик журналов Windows. Нативно поставляет метрики в Logstash или напрямую в Elasticsearch. Настраивается на чтение любых журналов и событий с определёнными кодами (например, код события 4625 — неудачный вход в систему).
  • Auditbeat
    Auditbeat — это сборщик событий с Linux-подобных систем. Работает аналогично утилите auditd и поставляет события в Logstash или напрямую в Elasticsearch. Auditbeat дедуплицирует и группирует связанные события, извлечённые из модуля аудита Linux.
  • Heartbeat
    Heartbeat — это инструмент сбора данных о доступности удалённых сервисов. Работает по протоколам ICMP, TCP и HTTP. Кроме элементарной проверки доступности умеет работать c TLS, аутентификацией, прокси-серверами и разбирать ответ от удалённого сервиса.
Интерфейсы Kibana
Линейные графики, гистограммы, секторные диаграммы, конструктор Vega и другие инструменты визуализируют разнообразные структуры данных.
Гибкая визуализация гео-данных. Представление с картами можно использовать как оперативный дашборд или аналитическое представление.
Данные, меняющиеся во времени можно трансформировать, добавлять аннотации и экспортировать в виде отчётов.
Представление в виде связанного графа показывет взаимосвязи между данными. Например, сетевые подключения между двумя клиентами или банковские транзакции.
Алгоритмы машинного обучения для связанных метрик покажут аномальные отклонения в поведении метрик или прогнозные значения.
На типе представлений Canvas можно формировать собственные автообновляемые дашборды. Сюда же можно вывести события или гео-данные.
Canvas можно формировать при помощи CSS-стилей и накладывать изображения в нескольких слоёв.
Ответственные за онлайн-продажи могут получать оперативную информацию из представлений типа Canvas. В нижней части экрана можно переключать представления.
Авторизация в интерфейсе Kibana —теперь бесплатно!
Начиная с версии 6.8.0 и 7.1.0 в Kibana стал бесплатно доступен функционал аутентификации, ролевого доступа и шифрованного подключения по протоколу TLS.
Особенности Elastic Stack
Elastic Stack — не серебряная пуля
Хотя продукт и имеет большой набор функций, но не всегда в одиночку может решить поставленную задачу. В проектах Elastic Stack обычно интегрируется с другими системами, например, Zabbix или Grafana.
Elastic Stack не полностью бесплатен и открыт
Основные компоненты продукта бесплатны, но есть Stack Features (бывший X-Pack), которые вендор поставляет на платной основе. Среди них авторизация через LDAP, машинное обучение, система алертинга и другое.
Elastic Stack непрерывно развивается
Релизы новых версий компонентов Elastic Stack происходят почти каждый месяц, постоянно добавляются новые функции. Например, в одной из последних версий Kibana появились новые SIEM- представления.
Мы пишем и публикуем статьи
Статья на Хабре
Читать
Статья на Хабре
Читать
Статья на Хабре
Читать
Статья на Хабре
Читать

Наши услуги по Elasticsearch

  • Проектирование
    Выполним проектирование кластера Elastic Stack согласно вашим потребностям и в соответствии с рекомендациями вендора, составим необходимую техническую документацию, необходимую для начала работ.
  • Внедрение
    Внедрим решение на базе Elastic Stack согласно технической документации, разработанной на этапе проектирования. Настроим мониторинг приложений модулем APM в Elastic Stack.
  • Интеграции
    Интегрируем Elastic Stack c внешними системами: SIEM, мониторинг приложений, Service Desk, CMDB и другими.
  • Поддержка
    После окончания проекта внедрения возьмём на себя развитие и поддержку Elasticsearch, Logstash, Kibana и остальных компонентов Elastic Stack.
  • Лицензии
    Выполним поставку лицензий на платный функционал Elastic Stack. Стоимость лицензий зависит от количества нод Elasticsearch. Чтобы купить лицензии Elastic, оставьте заявку в форме ниже.
  • Обучение
    Проведём авторский курс обучения Elastic Stack (Elasticsearch) в вашей компании. Научим разворачивать кластер, выполнять тюнинг производительности, оптимизировать политики хранения данных, настраивать приём различных видов данных и многое другое. Подробнее об обучении.