Elastic Stack

Внедрение, сопровождение, интеграция
Elastic Stack
Внедрение, сопровождение, интеграция

Приглашаем наши тренинги по Zabbix, OpenSearch, ElasticSearch

Максимум знаний за короткое время
Применение Elastic Stack
Зонтичная система мониторинга
Elastic Stack может выступать в роли агрегатора событий с удобным поиском, корреляцией и визуализацией.
SIEM-система
Анализ логов аутентификации, аудит-логов операционных систем или flow-трафика от сетевых устройств — Elastic Stack умеет делать «из коробки».
Аналитическая система
Elastic Stack можно использовать для бизнес аналитики, делать прогнозы по существующим данным. и использовать другие возможности алгоритмов машинного обучения.
Мониторинг сетевой инфраструктуры
Приём, разбор и склейка flow-трафика от сетевых устройств. Гибкая настройка разбора полей позволяет распознавать любой их набор.
APM-мониторинг
Поддерживаются Java, Python, Ruby, Go, Node. js, SPA-приложения (инжекция JS-кода). Удобный поиск внутри собранных данных поможет быстро выявить нештатное поведение кода.
Единое хранилище данных
Подходит для долговременного хранения массивов данных и быстрого доступа к ним. Новые ноды добавляются в несколько кликов мышью.
Применение Elastic Stack
Зонтичная система мониторинга
Elastic Stack может выступать в роли агрегатора событий с удобным поиском, корреляцией и визуализацией.
SIEM-система
Анализ логов аутентификации, аудит-логов операционных систем или flow-трафика от сетевых устройств — Elastic Stack умеет делать «из коробки».
Аналитическая система
Elastic Stack можно использовать для бизнес аналитики, делать прогнозы по существующим данным. и использовать другие возможности алгоритмов машинного обучения.
Мониторинг сетевой инфраструктуры
Приём, разбор и склейка flow-трафика от сетевых устройств. Гибкая настройка разбора полей позволяет распознавать любой их набор.
APM-мониторинг
Поддерживаются Java, Python, Ruby, Go, Node. js, SPA-приложения (инжекция JS-кода). Удобный поиск внутри собранных данных поможет быстро выявить нештатное поведение кода.
Единое хранилище данных
Подходит для долговременного хранения массивов данных и быстрого доступа к ним. Новые ноды добавляются в несколько кликов мышью.
Архитектура Elastic Stack
Архитектура Elastic Stack
Архитектура Elastic Stack
Elasticsearch
Elasticsearch — это ядро Elastic Stack. Поисковая система, которая хранит неструктурированные данные и выдаёт их по запросу. Есть удобный механизм масштабирования и резервирования. Работает на Java и использует в работе библиотеки Lucene.
Logstash
Logstash — это инструмент сбора, анализа логов и других типов данных. Подключается напрямую к Elasticsearch и загружает данные туда. Можно настроить предобработку данных с помощью встроенных фильтров (самый известный —grok, но для разбора данных есть и другие).
Kibana
Kibana — это интерфейс для представления данных из Elasticsearch. В Kibana есть настриваемые представления: линейные графики, секторные диаграммы, географических карты. Здесь же настраиваются функции машинного обучения и многое другое.
Filebeat
Filebeat — это универсальный сборщик логов с удалённых систем и сервисов. Нативно поставляет логи в Logstash или напрямую в Elasticsearch. Имеет готовые обработчики для логов различных форматов: системные, Nginx, Apache, MySQL и других.
Metricbeat
Metricbeat — это универсальный сборщик метрик с систем и сервисов. Нативно поставляет метрики в Logstash или напрямую в Elasticsearch. Имеет готовые обработчики для системных метрик (CPU, Memory и т. д.), Redis, Nginx и других.
Packetbeat
Packetbeatt — это сборщик и анализатор сетевого трафика. Нативно поставляет метрики в Logstash или напрямую в Elasticsearch. Имеет готовые обработчики для следующих видов трафика: HTTP (S), Flow (Netflow, JFlow и других) и MySQL.
Winlogbeat
Winlogbeat — это легковесный сборщик журналов Windows. Нативно поставляет метрики в Logstash или напрямую в Elasticsearch. Настраивается на чтение любых журналов и событий с определёнными кодами (например, код события 4625 — неудачный вход в систему).
Auditbeat
Auditbeat — это сборщик событий с Linux-подобных систем. Работает аналогично утилите auditd и поставляет события в Logstash или напрямую в Elasticsearch. Auditbeat дедуплицирует и группирует связанные события, извлечённые из модуля аудита Linux.
Heartbeat
Heartbeat — это инструмент сбора данных о доступности удалённых сервисов. Работает по протоколам ICMP, TCP и HTTP. Кроме элементарной проверки доступности умеет работать c TLS, аутентификацией, прокси-серверами и разбирать ответ от удалённого сервиса.
Интерфейсы Kibana
Линейные графики, гистограммы, секторные диаграммы, конструктор Vega и другие инструменты визуализируют разнообразные структуры данных.
Гибкая визуализация гео-данных. Представление с картами можно использовать как оперативный дашборд или аналитическое представление.
Данные, меняющиеся во времени можно трансформировать, добавлять аннотации и экспортировать в виде отчётов.
Представление в виде связанного графа показывет взаимосвязи между данными. Например, сетевые подключения между двумя клиентами или банковские транзакции.
Алгоритмы машинного обучения для связанных метрик покажут аномальные отклонения в поведении метрик или прогнозные значения.
На типе представлений Canvas можно формировать собственные автообновляемые дашборды. Сюда же можно вывести события или гео-данные.
Canvas можно формировать при помощи CSS-стилей и накладывать изображения в нескольких слоёв.
Ответственные за онлайн-продажи могут получать оперативную информацию из представлений типа Canvas. В нижней части экрана можно переключать представления.
Авторизация в интерфейсе Kibana —теперь бесплатно!
Начиная с версии 6.8.0 и 7.1.0 в Kibana стал бесплатно доступен функционал аутентификации, ролевого доступа и шифрованного подключения по протоколу TLS.
Особенности Elastic Stack
1
Elastic Stack — не серебряная пуля
Хотя продукт и имеет большой набор функций, но не всегда в одиночку может решить поставленную задачу. В проектах Elastic Stack обычно интегрируется с другими системами, например, Zabbix или Grafana.
2
Elastic Stack не полностью бесплатен и открыт
Основные компоненты продукта бесплатны, но есть Stack Features (бывший X-Pack), которые вендор поставляет на платной основе. Среди них авторизация через LDAP, машинное обучение, система алертинга и другое.
3
Elastic Stack непрерывно развивается
Релизы новых версий компонентов Elastic Stack происходят почти каждый месяц, постоянно добавляются новые функции. Например, в одной из последних версий Kibana появились новые SIEM- представления.
Мы пишем и публикуем статьи
Статья на Хабре
Статья на Хабре
Статья на Хабре
Статья на Хабре

Наши услуги по Elasticsearch

Проектирование
Выполним проектирование кластера Elastic Stack согласно вашим потребностям и в соответствии с рекомендациями вендора, составим необходимую техническую документацию, необходимую для начала работ.
Внедрение
Внедрим решение на базе Elastic Stack согласно технической документации, разработанной на этапе проектирования. Настроим мониторинг приложений модулем APM в Elastic Stack.
Интеграции
Интегрируем Elastic Stack c внешними системами: SIEM, мониторинг приложений, Service Desk, CMDB и другими.
Поддержка
После окончания проекта внедрения возьмём на себя развитие и поддержку Elasticsearch, Logstash, Kibana и остальных компонентов Elastic Stack.
Лицензии
Выполним поставку лицензий на платный функционал Elastic Stack. Стоимость лицензий зависит от количества нод Elasticsearch. Чтобы купить лицензии Elastic, оставьте заявку в форме ниже.
Обучение
Проведём авторский курс обучения Elastic Stack (Elasticsearch) в вашей компании. Научим разворачивать кластер, выполнять тюнинг производительности, оптимизировать политики хранения данных, настраивать приём различных видов данных и многое другое. Подробнее об обучении.