ELK搭建环境之配置logstash监听文件并利用grok插件进行切割利于统计

文章目录

[隐藏]

  • 一、配置ELK环境在logstash和elasticsearch之间建立通信,并能查看对应的索引、日志信息
  • 二:对日志进行切割
一、配置ELK环境在logstash和elasticsearch之间建立通信,并能查看对应的索引、日志信息

1.本地下载logstash6.4.2运行包,不会装请移步 (ElasticSearch+LogStash+Kibana)ELK搭建在Mac/Linux系统上6.4.2版本

2.解压并进行基础配置,配置如下:

默认配置文件在安装目录 logstash6.4.2/config/logstash-sample.conf    # 监听本地目录下的test.log日志文件  input {    file {        path => ["/Users/chenhailong/daily-test/test.log"]    }  }  # 配置日志发送的目标elasticsearch服务  output {    elasticsearch {      hosts => ["http://xxxx.xx.xxx.xx:9200"]      index => "grok-test"      user => "username"      password => "password"    }  }  

3.确保elasticsearch服务是可以访问的,(开启代理、翻墙、防火墙、IP不通可能造成无法通信)

在浏览器键入对应地址:http://xxxx.xx.xxx.xx:9200

显示如下:

{    "name" : "wqbVDEq",    "cluster_name" : "elasticsearch",    "cluster_uuid" : "lq8YkTH4Q7eslqvd0pn9Kg",    "version" : {      "number" : "6.4.2",      "build_flavor" : "default",      "build_type" : "tar",      "build_hash" : "04711c2",      "build_date" : "2018-09-26T13:34:09.098244Z",      "build_snapshot" : false,      "lucene_version" : "7.4.0",      "minimum_wire_compatibility_version" : "5.6.0",      "minimum_index_compatibility_version" : "5.0.0"    },    "tagline" : "You Know, for Search"  }  

4.在客户端保证有效的日志文件,日志记录有序的生成。

客户端的

日志文件为:/Users/chenhailong/daily-test/test.log

日志格式为:2018-12-31,16:12:1546245470 INFO sdklog &event_https://www.centos.bz/wp-content/uploads/2019/01/8.png" alt=""    />

二:对日志进行切割

1.前期了解:

https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns

2.在kibana后台 》开发工具 》 Grok Debugger进行测试,如下图

不会用,请移步 使用kibana的开发工具console做一些elasticsearch的基本查询和设置

3.日志切割请参考,注意格式

%{TIMESTAMP_ISO8601:date} %{LOGLEVEL:level} %{WORD:type} &event_/Users/chenhailong/daily-test/test.log"]    }  }    filter {    #定义数据的格式    grok {      match => { "message" => "%{TIMESTAMP_ISO8601:date} %{LOGLEVEL:level} %{WORD:type} &event_}    }  }    output {    elasticsearch {      hosts => ["http://xxx.xx.xxx.xx:9200"]      index => "grok-test"      user => "username"      password => "password"    }  }  

5.打开kibana 》 发现 》 搜索grok-test索引

会发现日志已经按照设定的格式进行切切割。这样就可以进行数据的报表分析,更加直观化。更有效的利用日志数据。

不局限于日常日志,也可以针对性的记录相关业务数据。

6.配置文件中还可以增加多种插件配合处理

具体可以移步查看官方文件,更加详细,更加专业

https://www.elastic.co/guide/en/logstash/current/filter-plugins.html

至此:ELK的学习使用就告一段落,有需要再去细致研究。

原文出处:deathearth -> http://www.deathearth.com/407.html

本站所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如果侵犯你的利益,请发送邮箱到 [email protected],我们会很快的为您处理。
超哥软件库 » ELK搭建环境之配置logstash监听文件并利用grok插件进行切割利于统计