ELK 入门教程之一

前言

官方教程

ELK 介绍

ELK 简介

ELK 是 Elasticsearch + Logstash + Kibana 的简称。

  • Elasticsearch 是一个分布式的搜索和分析引擎,可以用于全文检索、结构化检索和分析,并能将这三者结合起来。Elasticsearch 基于 Lucene 开发,现在是使用最广的开源搜索引擎之一。
  • Logstash 简单来说就是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端,与此同时这根管道还可以根据不同的需求在中间加上滤网,Logstash 提供了很多功能强大的滤网以满足各种应用场景。
  • Kibana 是一个开源的分析与可视化平台,设计出来用于和 Elasticsearch 一起使用的。开发者可以使用 Kibana 搜索、查看、交互存放在 Elasticsearch 索引里的数据,并使用各种不同的图标、表格、地图显示,Kibana 能够很轻易的展示高级数据分析与可视化。

ELK 架构

第一种架构

利用 FileBeat 将日志传输给 Logstash 处理,然后再写入 Elasticsearch,最后由 Kibana 负责分析和可视化展示。

第二种架构

在 FileBeat 与 Logstash 之间,引入 Kafka 作为缓冲区(利用发布 / 订阅特性)。

第三种架构

在 FileBeat 与 Logstash 之间,引入 Redis 作为缓冲区(利用发布 / 订阅特性)。