猪小花1号

个人签名

281篇博客

elk(1) - 第一种架构(最简架构)

猪小花1号2018-11-25 11:40

此文已由作者赵计刚薪授权网易云社区发布。

欢迎访问网易云社区,了解更多网易技术产品运营经验。


软件版本:

  • es:2.4.0
  • logstash:2.4.0
  • kibana:4.6.1

 

一、logstash安装(收集、过滤日志、构建索引)

1、下载:https://www.elastic.co/downloads/

2、解压

3、启动

  • cd /Users/enniu1/Desktop/server/elk/logstash-2.4.0/bin

  • ./logstash -e 'input{stdin{}} output{stdout{codec=>rubydebug}}'

    • -e:用于快速测试的时候指定参数
    • codec:美化输出格式
    • 仅用于测试

4、测试

命令行输入:hello jigang

输出:

 View Code

注意:以上是logstash最常见的输出形式。

  • message:完整的输入信息或事件
  • host:事件发生的主机
  • @timestamp:事件被索引时的时间。

5、生产环境

使用配置文件配置input、filter、output信息

  • 自己创建配置文件:/Users/enniu1/Desktop/server/elk/logstash-2.4.0/conf/logstash.conf
 View Code
  • 以上配置将所有的输入信息都输出到es中,这是最常见的输出地方。
  • 还有一种elk架构使用redis作为broker来接收logstash收集到的数据,之后进行indexer,这是高数量情况下的首选,redis会担当一个消息队列的角色。

logstash配置文件配置文档:https://www.elastic.co/guide/en/logstash/current/configuration.html

之后启动logstash:./logstash -f ../conf/logstash.conf

至此,logstash配置安装成功!!!

 

二、es安装(搜索、存储日志)

1、下载:https://www.elastic.co/downloads/

2、解压

3、配置文件:elasticsearch-2.4.0/config/elasticsearch.yml

 View Code

4、启动

  • cd/Users/enniu1/Desktop/server/elk/elasticsearch-2.4.0/bin
  • nohup ./elasticsearch &

5、测试

浏览器输入:http://127.0.0.1:9200/,输出:

 View Code

成功!!!

注意:为了更好的使用并查看es的使用情况,安装Kopf插件。

Kopf插件地址:https://github.com/lmenezes/elasticsearch-kopf

插件安装文档:https://www.elastic.co/guide/en/elasticsearch/plugins/current/installation.html

安装命令:

  • cd/Users/enniu1/Desktop/server/elk/elasticsearch-2.4.0/bin
  • ./plugin install lmenezes/elasticsearch-kopf

安装插件之后重启es,浏览器输入:127.0.0.1:9200/_plugin/kopf,输出


成功!!!

 

三、kibana安装(展示日志信息)

1、下载:https://www.elastic.co/downloads/

2、解压

3、配置文件:/Users/enniu1/Desktop/server/elk/kibana-4.6.1/config

 View Code

4、启动

  • cd /Users/enniu1/Desktop/server/elk/kibana-4.6.1/bin
  • ./kibana

5、测试

浏览器输入:http://127.0.0.1:5601/

输出:


在此页面,点击"create"按钮,进行index的构建。

至此,kibana配置安装启动成功!!!

 

四、形成完整通道

在logstash终端输入:hello jigang

在kibana的Discover部分查看日志:


elk最简架构搭建完成!!!


免费体验云安全(易盾)内容安全、验证码等服务

更多网易技术、产品、运营经验分享请点击