ELK日志方案--使用Filebeat收集日志并输出到Kafka

来源：cnblogs　　作者：子思　　时间：2018/12/3 16:42:45　　对本文有异议

1，Filebeat简介

Filebeat是一个使用Go语言实现的轻量型日志采集器。在微服务体系中他与微服务部署在一起收集微服务产生的日志并推送到ELK。

在我们的架构设计中Kafka负责微服务和ELK的分离，Filebeat负责收集微服务的日志并推送到Kafka中，如图：

2，Filebeat安装使用步骤

下载压缩包官网地址 https://www.elastic.co/cn/downloads/beats/filebeat

2.1 下载并解压Filebeat

在以上网址中下载和操作系统匹配的版本

其中CentOS属红帽系列选择RPM，Ubuntu属Debian系列选择DEB，其他Linux选择Linux通用。我用的win10选择Windows 64-bit，下载并解压到自定义目录(比如:C:\Programs\filebeat-6.5.1-windows-x86_64)

2 .2 编辑filebeat.yml配置文件

修改其中的input选项

#=========================== Filebeat inputs =============================

filebeat.inputs:

# Each - is an input. Most options can be set at the input level, so

# you can use different inputs for various configurations.

# Below are the input specific configurations.

- type: log

# Change to true to enable this input configuration.

enabled: true #此处默认为false,切记改为true.否则坑到天黑

# Paths that should be crawled and fetched. Glob based paths.

paths:

#- /var/log/*.log #Linux使用此处配置

- C:\Logs\*.log #Windows使用此配置

修改output选项，添加输出到kafka的配置

#================================ Outputs =====================================
# Configure what output to use when sending the data collected by the beat.
#-------------------------- Kafka output ------------------------------
output.kafka:
  # Array of hosts to connect to.
  hosts: ["192.168.8.32:9092"] #hosts是string数组类型，支持多个kafka实力地址(此处不是配置zookeeper地址)
  topic: elklog　　　　　　　    #kafka的topic名称