Установка Elasticsearch, Logstash и Kibana под Debian Linux

Установка Elasticsearch, Logstash и Kibana, с минимальными настройками, для работы в тестовом окружении. Установка проводилась под виртуальную машину с Debian Linux.

Все действия выполнялись от пользователя root (это ужасно, но на личном тестовом окружении почему бы и не позволить себе маленькие слабости, в т.ч. работу из-под root), поэтому sudo в приведенных примерах не используется.

Установка Java

Проверить версию установленной java:

Установка Elasticsearch на Debian

Elasticsearch - это поисковый сервер с открытым исходным кодом на основе Apache Lucene. Написан на Java, что позволяет Elasticsearch работать на разных платформах. Предоставляет RESTful web-API, хранит документы в JSON-формате без заранее определяемой структуры (schema less). Позволяет пользователям обрабатывать очень большой объем данных с очень высокой скоростью.

Копируем публичный ключ репозитория:

В файл /etc/apt/sources.list добавляем новую строку:

Приступаем к установке:

Запустить Elasticsearch:

Проверить состояние Elasticsearch:

Конфигурационные файлы Elasticsearch хранятся в директории /etc/elasticsearch.

Логи можно найти в директории /var/log/elasticsearch.

Индексы и прочие необходимые данные elasticsearch будет размещать по адресу /var/lib/elasticsearch. Местонахождение логов и индексов можно изменить, внеся правки в конфигурационные файлы.

Проверить, откликается elasticsearch или нет, можно отправив простой http-запрос:

Установка Kibana на Debian

Kibana - это web-интерфейс для визуализации данных Elasticsearch.

Запускаем Kibana:

Проверить работоспособность Kibana можно, отправив запрос по адресу http://localhost:5601. Kibana запускается достаточно долго, поэтому не стоит нервничать, если сразу после выполнения команды start сервис продолжает оставаться недоступным.

Конфиг Kibana - /etc/kibana/kibana.yml. Вспомогательные данные Kibana помещает в директорию /var/lib/kibana/.

Установка Logstash на Debian

Logstash принимает логи в различных форматах, обрабатывает и отправляет на индексацию Elasticsearch.

Запускаем Logstash:

Конфигурационные файлы Logstash можно найти по адресу /etc/logstash/. Логи - /var/log/logstash/.

Установка и настройка Nginx на Debian для работы с Kibana

Nginx выполняет роль прокси по отношению к Kibana. Nginx не является обязательным компонентом в тестовой среде, в начале изучения стека ELK. Но лучше сразу привыкать к его наличию. В реальных условиях nginx используют для добавления авторизации, ограничений доступа, ssl-сертификатов, управления доменными именами, и т.д.

Ниже приведен пример минимальной конфигурации nginx для работы с Kibana. Подобный конфиг подойдет на первое время для тестовой среды.

Устанавливаем nginx:

Создаем новый файл kibana по адресу /etc/nginx/sites-available/:

Вместо указанного в примере порта 9999 можно назначить любой другой, главное, чтоб он не конфликтовал со стандартными портами Linux и другими используемыми на вашей машине серверами.

Создаем символическую ссылку:

Запускаем nginx, если он еще не был запущен, либо перезагружаем: