0. Logstash是位于Data和Elasticsearch之间的一个中间件。Logstash是一个功能强大的工具，可与各种部署集成。 它提供了大量插件。 它从数据源实时地把数据进行采集，可帮助您解析，丰富，转换和缓冲来自各种来源的数据，并最终把数据传入到Elasticsearch之中。 如果您的数据需要Beats中没有的其他处理，则需要将Logstash添加到部署中。Logstash部署于ingest node之中。
   0.1 默认情况下，Logstash在管道（pipeline）阶段之间使用内存中有界队列（输入到过滤器和过滤器到输出）来缓冲事件。 如果Logstash不安全地终止，则存储在内存中的所有事件都将丢失。 为防止数据丢失，您可以使Logstash通过使用持久队列将正在进行的事件持久化到磁盘上。可以通过在logstash.yml文件中设置queue.type：persisted属性来启用持久队列，该文件位于LOGSTASH_HOME/config文件夹下。 logstash.yml是一个配置文件，其中包含与Logstash相关的设置。 默认情况下，文件存储在LOGSTASH_HOME/data/queue中。 您可以通过在logstash.yml中设置path.queue属性来覆盖它。
1. 在使用logstash之前,必须要先安装JAVA
2. 下载地址:https://artifacts.elastic.co/downloads/logstash/logstash-7.3.0.tar.gz (里面的版本号可以根据实际情况进行修改)

3. 运行最基本的Logstash管道

   1 2	cd logstash-7.3.0 bin/logstash -e 'input { stdin { } } output { stdout {} }'

4. 创建logstash.conf文件来运行管道

   1 2 3 4 5 6 7 8 9 10 11 12

   # logstash.conf文件内容 input { stdin{ } } output { stdout { codec => rubydebug } # 运行 ./bin/logstash -f logstash.conf (path_to_logstash_conf_file)

提示：在运行Logstash时使用-r标志可让您在更改和保存配置后自动重新加载配置。 在测试新配置时，这将很有用，因为您可以对其进行修改，这样就不必在每次更改配置时都手动启动Logstash。

在Filebeat的根目录下，有一个叫做filebeat.yml的文件。

1
2
3
4
5
6
7

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - ./sample.log
 
output.logstash:

这里需要注意的是之前有的文章里第一行写的是filebeat.prospectors。经过测试在新的版本里不再适用。

通过如下的命令来运行filebeat:

1

./filebeat

在默认的情况下，filebeat会自动寻找定义在filebeat.yml文件里的配置。如果配置文件是另外的名字，可以通过如下的命令来执行filebeat:

1

./filebeat -c YourYmlFile.yml

日志传输路径如下：
filebeat->redis->logstash->es

在filebeat配置文件中，收集日志的时候配置的有如下参数：

1
2

fields:
  log_source: messages

表示的是会把log_source作为fields的二级字段

若是配置如下，表示的是会把log_source作为顶级字段：

1
2
3

fields:
  log_source: messages
fields_under_root: true

使用这个字段来作为区分不同应用日志的来源；

开启X-Pack Management功能后，启动logstsh的时候就不用再配置logstash.conf文件了，启动的时候也不用再使用-f指定这个文件进行启动了

一旦启动了logstash的集中管理，我们就可以直接启动logstash，而不用跟任何的参数

Logstash集中管理，先启动logstash，然后再设置相关配置。(感觉这种方式比较节省内存)

之前的是先进行相关配置，再启动的时候指定相关配置

大致步骤如图：
1.创建用户角色
2.创建用户
3.在logstash.yml文件里做相应的配置
4.启动logstash,不用加任何参数
5.在kibana web界面，找到logstash管道管理，创建管道
管道id是在logstash.yml文件里设置的xpack.management.pipeline.id: ["main", "apache_logs","my_apache_logs"]中的任意一个
管道内容就是之前logstash.conf文件中的内容，主要是input{} out{}之类的
最后点击创建并部署管道.

说明：使用的是7.3.0版本进行演示的

• 注意1：采用这种方式的话不用再上传license文件，切记切记
• 注意2：这种方式适用于如下两种形式
  – 1. 首次配置es,未开启security,也未设置账号密码
  – 2. 已配置es,开启了security,也设置了账号密码