OpenSearch

Внедрение, сопровождение, интеграция

OpenSearch

Внедрение, сопровождение, интеграция

Приглашаем на тренинги по Zabbix, OpenSearch, ElasticSearch

Максимум знаний за короткое время

Посмотреть расписание

Применение OpenSearch

Система наблюдаемости

Структура данных OpenSearch предназначена для хранения данных наблюдаемости: логов, трейсов и метрик. В дальнейшем в системе можно визуализировать все данные на удобных дашбордах. Есть специальные графовые представления.
SIEM-система

Анализ логов аутентификации, аудит-логов операционных систем или flow-трафика от сетевых устройств — OpenSearch умеет делать «из коробки». Источником может служить любой источник данных: Fluent Bit, Vector, Data Prepper, Kafka и т.д.
Контекст для RAG

OpenSearch может быть источником контекста для RAG (Retrieval-Augmented Generation). Помогает найти нужные куски документов, дает их LLM и запрещает ей фантазировать. Использует для этого векторный и гибридный поиск.
Мониторинг сетевой инфраструктуры

Приём, разбор и склейка flow-трафика от сетевых устройств. Гибкая настройка разбора полей позволяет распознавать любой набор данных и легко его визуализировать.
Векторный поиск и семантический поиск

Поддерживаются поиск по embeddings, semantic search, similarity search, поиск по статьям, товарам, новостям, блогам, автодополнение, синонимы, морфология.
Корпоративное хранилище данных

Подходит для долговременного хранения массивов данных и быстрого поиска по ним. Новые ноды легко добавить. Можно легко искать по wiki, PDF, DOCX с учетом контроля доступа (ACL).

Архитектура OpenSearch

OpenSearch

OpenSearch — это ядро системы. Неструктурированная БД, которая хранит данные в формате JSON и выдаёт их по запросу. Есть удобный механизм масштабирования и резервирования. Работает на Java и использует в работе библиотеки Lucene.
OpenSearch Dashboards

OpenSearch Dashboards— это интерфейс для представления данных из OpenSearch. В OpenSearch Dashboards есть настриваемые представления: линейные графики, секторные диаграммы, географических карты. Здесь же настраиваются функции машинного обучения и многое другое.
Logstash

Logstash — это инструмент сбора, анализа логов и других типов данных. Подключается напрямую к OpenSearch и загружает данные туда. Можно настроить предобработку данных с помощью встроенных фильтров (самый известный —grok, но для разбора данных есть и другие).
Vector

Vector — это высокопроизводительный open-source data pipeline для логов, метрик и трейсов, который собирает данные из разных источников, трансформирует их и надёжно доставляет в системы хранения и анализа (например, OpenSearch, S3, Kafka).
Fluent Bit

Fluent Bit — это лёгкий и высокопроизводительный агент для сбора, обработки и отправки логов и метрик, ориентированный на контейнеры и Kubernetes, где важны минимальное потребление CPU и памяти. По сравнению с Fluentd он проще и быстрее, поддерживает базовые трансформации, буферизацию и надёжную доставку.
Data Prepper

Data Prepper — это open-source ingestion-pipeline от экосистемы OpenSearch, предназначенный для приёма, обработки и обогащения данных (логи, трейсы, метрики, векторы) перед загрузкой в OpenSearch. Он хорошо интегрируется с OpenTelemetry и часто используется как замена Logstash в OpenSearch-стеке
Filebeat

Filebeat — это универсальный сборщик логов с удалённых систем и сервисов. Нативно поставляет логи в Logstash. Имеет готовые обработчики для логов различных форматов: системные, Nginx, Apache, MySQL и других.
Metricbeat

Metricbeat — это универсальный сборщик метрик с систем и сервисов. Нативно поставляет метрики в Logstash. Имеет готовые обработчики для системных метрик (CPU, Memory и т. д.), Redis, Nginx и других.
Packetbeat

Packetbeat — это сборщик и анализатор сетевого трафика. Нативно поставляет метрики в Logstash. Имеет готовые обработчики для следующих видов трафика: HTTP (S), Flow (Netflow, JFlow и других) и MySQL.
Winlogbeat

Winlogbeat — это легковесный сборщик журналов Windows. Нативно поставляет метрики в Logstash. Настраивается на чтение любых журналов и событий с определёнными кодами (например, код события 4625 — неудачный вход в систему).
Auditbeat

Auditbeat — это сборщик событий с Linux-подобных систем. Работает аналогично утилите auditd и поставляет события в Logstash. Auditbeat дедуплицирует и группирует связанные события, извлечённые из модуля аудита Linux.
Heartbeat

Heartbeat — это инструмент сбора данных о доступности удалённых сервисов. Работает по протоколам ICMP, TCP и HTTP. Кроме элементарной проверки доступности умеет работать c TLS, аутентификацией, прокси-серверами и разбирать ответ от удалённого сервиса.

Интерфейсы OpenSearch Dashboards

Особенности OpenSearch

Универсальное решение для различных типов данных

OpenSearch можно использовать для широкого спектра задач: хранение и аналитика логов, хранение observability-данных, поисковые задачи, включая контекст для RAG. И все это из «коробки».

Можно использовать on-premise или в облаке

OpenSearch можно установить в своем окружении (on-premise), а также использовать его в облаке. Например, в Яндекс Облаке. При каждом сценарии использования есть свои преимущества.

Непрерывно и регулярно развивается

Релизы новых версий компонентов OpenSearch происходят почти каждый месяц, постоянно добавляются новые функции. Как правило, такие функции появляются сначала в формате беты, а потом становятся общедоступными.

Вебинар по OpenSearch

🗣 Владислав Таболин, руководитель группы разработки Yandex Cloud, рассказывает об архитектуре и особенностях сервиса Managed OpenSearch, ключевых преимуществах управляемого сервиса, сценариях использования OpenSearch в корпоративных и высоконагруженных системах, вопросах надёжности, масштабирования и эксплуатации.

🗣Антон Касимов, основатель компании Галс Софтвэр, делится методами оптимизации хранения данных в OpenSearch, подходами к снижению затрат на хранение, способами повышения производительности кластеров, типичными ошибками и best practices из реальных проектов.

Презентации

OpenSearch Day — совместный вебинар Яндекс Облака и Галс Софтвэр

Возможности и практические аспекты работы с сервисом Managed OpenSearch.

Мы пишем и публикуем статьи

Сайзинг Elasticsearch

Статья на Хабре

Читать

Machine Learning в Elastic Stack

Статья на Хабре

Читать

Безопасность кластера Elasticsearch

Статья на Хабре

Читать

Как лицензируется Elastic Stack

Статья на Хабре

Читать

Наши услуги по OpenSearch

Проектирование

Выполним проектирование кластера OpenSearch согласно вашим потребностям и в соответствии с рекомендациями вендора, составим необходимую техническую документацию, необходимую для начала работ.
Внедрение

Внедрим решение на базе OpenSearch согласно технической документации, разработанной на этапе проектирования. Настроим интеграции с различными источниками данных.
Интеграции

Интегрируем OpenSearch c внешними системами: SIEM, мониторинг приложений, Service Desk, CMDB, LLM и другими.
Поддержка

После окончания проекта внедрения возьмём на себя развитие и поддержку OpenSearch, Logstash, OpenSearch Dashboards, Vector и остальных компонентов OpenSearch Stack.
Миграции

Выполним миграцию на OpenSearch с ElasticSearch или из вашей on-premise инсталляции в облако, например, в Яндекс Облако. Добавим, что мы являемся партнером Яндекс Облака и предоставляем сервис Managed OpenSearch.
Обучение

Проведём авторский курс обучения OpenSearch в вашей компании. Научим разворачивать кластер, выполнять тюнинг производительности, оптимизировать политики хранения данных, настраивать приём различных видов данных и многое другое. Предлагаем пройти базовый или продвинутый курсы на ваш выбор.