0%

1. 前言

我们搭建这一套ELK以来,一直都只是在关注怎么去使用和配置,截止至Day7,我们这一套基于ELK的日志监控和统计方案已经初具雏形,是时候考虑一下监控ELK本身了。

完善的监控有助于让我们实时了解到集群的运行状况,及时发现故障或者是高负载的情况,避免影响业务。同时,在足够多的监控数据的支持下,我们可以提前预知系统负载,提前做好扩容准备;或者是及时发现性能瓶颈或者是不合理的配置项,避免引起更大的问题。

在接下来的内容,我们会通过Metricbeat的简单示例配置,再配合Elastic Stack中的X-Pack实现集群的性能监控。

example

阅读全文 »

1. 前言

来了个新需求(假装不是一个人在战斗)。

网站是运行在一个公网带宽只有4Mbps的云服务器上,偶尔我会担心这条小水管会影响到用户体验,顺便我也想知道一下这个网站一共会产生多少公网流量,所以,就有了这次需求:

  1. 监控每个HTTP请求的处理时间
  2. 统计Nginx服务产生的流量

最后好不容易完成了,成果如下:

result

阅读全文 »

1. 前言

一说起分级统计图,大家可能会觉得陌生,但要是我说是类似疫情地图那种图,大家可能一下子就反应过来了。没错,分级统计图就是类似这样的图:

choropleth-example

在进行数据分析的时候,这种结合地图色块的呈现方式能很直观地反映数据和地区的联系,让人能一眼看出各个地区的差异,也常常用于对各个地区进行数值比较的场景中。

今天我们就用分级统计图来呈现我们这个网站在各个地区的热度。

阅读全文 »

1. 前言

我们在上一篇文章中初步实现了对Nginx日志的可视化分析,可以直观地了解网站在各个时间段对于不同维度的可视化输出。我们将在接下来的内容中介绍kibana的另一种可视化图表类型——地图。

heatmap-example
阅读全文 »

1. 前言

经过前面Day1搭建集群,Day2实现日志内容识别,Day3配置补充,我们从业务机器采集回来了大量易于分析的日志。在日常的运维工作中,我们要的并不只会是一堆索引数据,我们搭建ELK集群进行日志分析,也不会止步于简单的索引。我们前面做了那么多铺垫,为的就是要对我们的日志分析结果进行可视化输出。

毕竟,人类是视觉动物。

example

阅读全文 »

1. 前言

我们在上一篇文章《ELK专题:Day2——Logstash配置Nginx日志分析》中围绕着Web业务日志采集这个场景初步完成了必要的ELK Stack调试,但我们只是完成了一个雏形。在实际的运维场景中,还需要进行一些必要的补充,我们将会在后面继续探讨这个主题。

阅读全文 »

1. 前言

我们在文章《ELK专题:Day1——最小化搭建ELK集群,采集Nginx日志》中已完成了ELK集群的搭建,并且成功采集到Nginx的日志并显示在Kibana的页面中。但我们发现,在Kibana的页面中,对于采集回来的整段Nginx日志,只作为一个text格式的字段去存储,没有对日志内容进行解析和识别。

我们将会在后面的内容研究和解决这个问题。

阅读全文 »

1. 前言

ELK作为一套广泛使用的日志检索平台已经发展了好些年,并且是业界的主流解决方案之一。但是因为ELK集群里面涉及到多个不同的服务,对新手来说上手比较困难,所以我写了这个教程,希望能通过这个教程给新手完成一个从0到1的突破,用最简的配置和最小化的部署方案先搭建出一套能用的环境。同时在这个过程中也可以让新手逐渐对ELK技术栈建立起一个初步的认识,在迷雾中找到一个方向。

2. 实验环境简介

2.1 架构图

阅读全文 »

第二次建网站,又想起五年前磕磕碰碰的建站经历,再想到这些年的成长,不胜唏嘘。

阅读全文 »