Filebeat收集日志
1、Filebeat是一个日志文件托运工具，做为一个agent安装到服务器上，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。
2、用户名是明文的，这个不安全，我们使用 filebeat keystore 来存储密码。在接下来的提示中，输入密码。 ES_PASSWORD 是自定义的，待会在修改filebeat.yml配置文件中的 es output 中需要用到。
3、Filebeat模块很好的入门，它是轻量级单用途的日志收集工具，用于在没有安装java的服务器上专门收集日志，可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理。
4、Filebeat是一个轻量级的托运人，用于转发和集中日志数据。Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。
5、编辑你自己的conf文件。我此处是接着上个教程，所文件名是nginx16-access.conf 配置完，接着重启filebeat与logstash即可。
6、Logstash是具有实时收集日志功能，可以动态统一来自不同来源的数据，任何类型的事件都可以通过各种各样的输入，过滤功能和输出插件来丰富和转换。是一个重量级的服务，很占用内存，会影响到部署到本机器上的服务。
Filebeat:使用Filebeat收集日志
1、Filebeat是一个日志文件托运工具，做为一个agent安装到服务器上，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。
2、Filebeat是一个轻量级的托运人，用于转发和集中日志数据。Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。
3、Filebeat模块很好的入门，它是轻量级单用途的日志收集工具，用于在没有安装java的服务器上专门收集日志，可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理。
4、编辑你自己的conf文件。我此处是接着上个教程，所文件名是nginx16-access.conf 配置完，接着重启filebeat与logstash即可。
Filebeat多目录日志收集
编辑你自己的conf文件。我此处是接着上个教程，所文件名是nginx16-access.conf 配置完，接着重启filebeat与logstash即可。
Filebeat是一个日志文件托运工具，做为一个agent安装到服务器上，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。
解释：在 kibana 上创建索引模式，然后查看日志。删除 data/registry 文件夹的内容。
记录一次filebeat日志丢失的问题
1、Filebeat可能配置扫描文件太过频繁。检查filebeat.yml中的scan_frequency设置。
2、结论： 通过分析我们得知，只要filebeat正常启动情况下是不会导致数据丢失的。
3、只要Filebeat保持已删除的文件处于打开状态，操作系统就不会释放磁盘空间，这可能会导致磁盘利用率增加，甚至出现磁盘不足的情况。为了缓解这个问题，您可以将close_timeoutedit设置设置为5m。
4、registry_file： 记录filebeat处理日志文件的位置的文件 config_dir： 如果要在本配置文件中引入其他位置的配置文件，可以写在这里(需要写完整路径)，但是只处理prospector的部分。 publish_async： 是否采用异步发送模式(实验功能)。
5、通过rpm安装的filebeat，测试发现Filebeat自身日志未输出到 /var/log/filebeat，而输出到/var/log/message 查询发现这是一个已知还未修复的bug。
6、如果将日志文件写入磁盘并且写入速度超过Filebeat可以处理的速度，或者在输出不可用时删除了文件，则可能会丢失数据。 在Linux上，Filebeat也可能因inode重用而跳过行。
Filebeat自身日志输出问题
通过rpm安装的filebeat，测试发现Filebeat自身日志未输出到 /var/log/filebeat，而输出到/var/log/message 查询发现这是一个已知还未修复的bug。
我们在处理filebeat消息时，往往只关注message信息，为了让信息更加简洁化，我们可以在filebeat中进行设置processors。
最开始我们怀疑是因为filebeat没有配置正确，比如close_*配置选项。
Filebeat保持文件处理程序打开，直到文件到达文件末尾，以便它可以近乎实时地读取新的日志行。 如果Filebeat正在收集大量文件，则打开文件的数量可能会成为问题。 在大多数环境中，正在更新的文件数量很少。
logstash和filebeat都是可以作为日志采集的工具，目前日志采集的工具有很多种，如fluentd， flume， logstash，betas等等。甚至最后我决定用filebeat作为日志采集端工具的时候，还有人问为什么不用flume，logstash等采集工具。
Too many open file handler？（太多打开的文件句柄）Filebeat保持文件处理器打开，以防它到达文件的末尾，以便它可以实时读取新的日志行。如果Filebeat正在收集大量文件，那么打开文件的数量可能成为一个问题。
filebeat采集日志到kafka配置及使用
由于我的预期目标是将filebeat收集的日志发送到kafka，所以配置output就选择了kafka。读者可根据自己的使用场景，配置output。例子中的配置将对/var/log目录下所有以.log结尾的文件进行采集。
kafka中收集到日志如下格式：只有message中才为写入到，其余字段为filebeat携带的元数据。我们在处理filebeat消息时，往往只关注message信息，为了让信息更加简洁化，我们可以在filebeat中进行设置processors。
为了手动配置Filebeat(代替用模块)，你可以在filebeat.yml中的filebeat.inputs区域下指定一个inputs列表。 列表时一个YMAL数组，并且你可以指定多个inputs，相同input类型也可以指定多个。
Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件(tail file)，并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。
微信扫一扫 
支付宝扫一扫 
