Java教程

日志系列---【分布式日志系统-搭建logstash】

本文主要是介绍日志系列---【分布式日志系统-搭建logstash】,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

1.下载logstash

https://artifacts.elastic.co

2.上传至服务器,并解压

tar -zxvf logstash-7.3.0.tar.gz

3.stash 第一个事件

Logstash 管道有两个必需元素,输入和输出,以及一个可选元素 filter。输入插件使用来自源的数据,过滤器插件在您指定时修改数据,输出插件将数据写入目标。

 

 要测试 Logstash 安装成功,运行最基本的 Logstash 管道。执行以下的命令

cd bin/
sh logstash -e 'input { stdin { } } output { stdout {} }'

 

 4.配置 logstash 输出到 elasticsearch

cd logstash-7.3.0/config/
vim logstash-sample.conf
input {
  beats {
    port => 5044
  }
  tcp {
    port => 4569
    codec => "json"
  }
}

output {
  if[appname] != "" {
    elasticsearch {
      hosts => ["http://192.168.0.146:9200"]
      index => "%{[appName]}-%{+YYYY.MM.dd}"
    }
  } else {
    elasticsearch {
      hosts => ["http://192.168.0.146:9200"]
      index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    }
  }
}

5.logstash 结合 filebeat 使用

logstash 结合 filebeat 在分布式系统中,一台主机可能有多个应用,应用将日志输出到主机的指定目录,这时由 logstash 来搬运日志并解析日志,然后输出到 elasticsearch 上。由于于 logstash 是 java 应用,解析日志是非的消耗 cpu 和内存,logstash 安装在应用部署的机器上显得非常的笨重。最常见的做法是用 filebeat 部署在应用的机器上,logstash 单独部署,然后由 filebeat 将日志输出给 logstash 解析,解析完由 logstash 再传给 elasticsearch。

下载filebeat:https://www.elastic.co/cn/downloads/beats/filebeat

解压

tar -zxvf filebeat-7.3.0-linux-x86_64.tar.gz
cd /filebeat-7.3.0-linux-x86_64/

修改配置

vim filebeat.yml 
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/service.log
output.logstash:
  hosts: ["192.168.1.199:5044"]

主要配置的是日志的搜集目录为/var/log/service.log,这个目录是应用 service 输出日志的文件。输出到 logstsh 的地址为 192.168.1.199

启动 filebeat,执行以下命令:

sudo chown root filebeat.yml
sudo ./filebeat -e >filebeat.log 2>&1 &

这样日志就传输到了 logstash, 然后通过 logstash 输出到 elasticsearch

具体效果需要结合 Kibana 或者通过 elasticsearch-head 查看。

这篇关于日志系列---【分布式日志系统-搭建logstash】的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!