Filebeat的架构分析、配置解释与示例 - 知乎专栏
你正在使用一个过时的浏览器。请以查看此页面。
{"debug":false,"apiRoot":"","paySDK":"/api/js","wechatConfigAPI":"/api/wechat/jssdkconfig","name":"production","instance":"column","tokens":{"X-XSRF-TOKEN":null,"X-UDID":null,"Authorization":"oauth c3cef7c66aa9e6a1e3160e20"}}
{"database":{"Post":{"":{"title":"Filebeat的架构分析、配置解释与示例","author":"itgege","content":"
在看filebeat之前我们先来看下Beats，Beats 平台是
从 packetbeat 发展出来的数据收集器系统。beat 收集器可以直接写入 Elasticsearch，也可以传输给 Logstash。其中抽象出来的 libbeat，提供了统一的数据发送方法，输入配置解析，日志记录框架等功能。也就是说，所有的 beat 工具，在配置上，除了 input 以外，在output、filter、shipper、logging、run-options 上的配置规则都是完全一致的
而这里的filebeat就是beats 的一员，目前beat可以发送数据给Elasticsearch，Logstash，File，Console四个目的地址。filebeat 是基于原先 logstash-forwarder 的源码改造出来的。换句话说：filebeat 就是新版的 logstash-forwarder，也会是 ELK Stack 在 shipper 端的第一选择。Filebeat的架构设计当我们安装完filebeat之后，我们可以在filebeat的安装目录下看到两个文件filebeat.template.json （输出的文件格式，在filebeat的template中指定，当服务启动时，会被加载）filebeat.yml（所有的配置都在该文件下进行）整体架构理解：
上边我们也说了filebeat是用来收集日志的，那么在filebeat.yml中会配置指定的监听文件，也就是上图中的一个个log，这个log的目录是在prospectors中设置，在看配置文件的时候便可以很明白的看出来，对于prospectors定位每个日志文件，Filebeat启动harvester。每个harvester读取新的内容一个日志文件，新的日志数据发送到spooler（后台处理程序），它汇集的事件和聚合数据发送到你已经配置了Filebeat输出。环境准备要开始使用自己的Filebeat设置，安装和配置这些相关产品：Elasticsearch存储和索引数据。Kibana为UI。Logstash（可选）将数据插入到Elasticsearch。具体配置可参考：部署filebeatdeb：curl -L -O sudo dpkg -i filebeat_1.3.1_amd64.debrpm：curl -L -O sudo rpm -vi filebeat-1.0.1-x86_64.rpmmac：curl -L -O tar xzvf filebeat-1.3.1-darwin.tgzwin：下载windows zip文件 .解压文件到 C:\\Program Files.重命名为 Filebeat.打开PowerShell提示符作为管理员（右键单击PowerShell的图标，并选择以管理员身份运行）。如果您运行的是Windows XP，则可能需要下载并安装PowerShell运行以下命令来安装Filebeat作为Windows服务在启动filebeat服务之前，需要先修改配置文件，接下来我们看下配置文件配置解析上边我么也说了FileBeat的四种输出方式为输出到Elasticsearch，logstash，file和console，下面我们具体看下示例 PS：这里说的是需要修改的配置文件，没有提的就是不需要修改每次修改完配置文件都需要重启filebeat服务这里不要追究时间的问题，小主是测试，主要是为了方便记录这里主要是自定义监听文件的路劲，我设置的是/opt/elk/log/*.log 然后在filebeat.yml中的prospectors路径设置如下(该配置为以下四种方式通用)1：output of Elasticsearchfilebeat.yml中output的配置将除了es之外注释掉往log文件中追加日志echo “” && test1.log这个时候我们看一下效果： 2：output of logstashfilebeat.yml中output的配置将除了logstash之外注释掉则对应的logstash配置，编写一个配置文件sudo vim filebeat_logstash_out.confbeat 写入 Logstash 时，会配合 Logstash-1.5 后新增的 metadata 特性。将 beat 名和 type 名 记录在 metadata 里。所以对应的 Logstash 配置应该是这样：启动confbin/logstash -f config/filebeat_logstash_out.conf往log文件中追加日志echo “5555” && test1.log前往查看效果： 3：output of Filefilebeat.yml中output的配置将除了file之外注释掉往log文件中追加日志：echo “this is filebeat output of file” && test1.log查看效果： 4：output of Consolefilebeat.yml中output的配置将除了cosnsole之外注释掉重启启动服务：sudo filebeat -e -c /etc/filebeat/filebeat.yml往log文件中追加日志：echo “this is filebeat output of console” && test1.log前往服务启动窗口查看效果： ELK+Filebeat的Demo1：在/opt/elk/log目录下有三个文件分别是test1.log，test2.log，test3.log**2：通过python脚本往三个文件中追加内容，内容格式如下：的脚本内容如下：3：filebeat 的配置文件使用output=logstashfilebeat.yml4：filebeat_logstash_out.conf5：启动服务启动python脚本启动conf配置文件6：web查看结果END推荐一篇讲解配置含义的文章： 来自：本文由
发布于","updated":"T02:11:15.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"collapsedCount":0,"likeCount":5,"state":"published","isLiked":false,"slug":"","isTitleImageFullScreen":false,"rating":"none","titleImage":"","links":{"comments":"/api/posts//comments"},"reviewers":[],"topics":[{"url":"/topic/","id":"","name":"Beats Electronics"},{"url":"/topic/","id":"","name":"程序员"},{"url":"/topic/","id":"","name":"开源"}],"adminClosedComment":false,"titleImageSize":{"width":0,"height":0},"href":"/api/posts/","excerptTitle":"","tipjarState":"closed","annotationAction":[],"sourceUrl":"","pageCommentsCount":0,"snapshotUrl":"","publishedTime":"T10:11:15+08:00","url":"/p/","lastestLikers":[{"profileUrl":"/people/wangshenjin","bio":"队长，别开枪是我！","hash":"234aff627ff654fb5a18cb4b475c7fb1","uid":693000,"isOrg":false,"description":"/wshenjin/","isOrgWhiteList":false,"slug":"wangshenjin","avatar":{"id":"v2-ac30e872b497cdef403d1dc6c457dd38","template":"/{id}_{size}.jpg"},"name":"shenJin"},{"profileUrl":"/people/saber-5-66-87","bio":"软件工程师","hash":"a20e5e306c3a9fca20fc8a6b45a5be9b","uid":617900,"isOrg":false,"description":"","isOrgWhiteList":false,"slug":"saber-5-66-87","avatar":{"id":"da8e974dc","template":"/{id}_{size}.jpg"},"name":"Saber"},{"profileUrl":"/people/zhang-duo-bei","bio":"","hash":"588eca4d85bb97a6244b0","uid":76,"isOrg":false,"description":"To be a human being.","isOrgWhiteList":false,"slug":"zhang-duo-bei","avatar":{"id":"23e19651d","template":"/{id}_{size}.jpg"},"name":"张多北"},{"profileUrl":"/people/cang-jian-65-64","bio":"erlang/rust/haskell","hash":"187b9c4b6a593b06a8e06c","uid":16,"isOrg":false,"description":"","isOrgWhiteList":false,"slug":"cang-jian-65-64","avatar":{"id":"a22cfb39cc2d1a2eb52eda","template":"/{id}_{size}.jpg"},"name":"藏见"},{"profileUrl":"/people/jayveehe","bio":"不想做游戏的程序猿不是一个好前腰","hash":"62d1244eaccf669de5f36","uid":16,"isOrg":false,"description":"代码手艺人","isOrgWhiteList":false,"slug":"jayveehe","avatar":{"id":"8bee9f691","template":"/{id}_{size}.jpg"},"name":"贺佳玮"}],"summary":"在看filebeat之前我们先来看下Beats，Beats 平台是
从 packetbeat 发展出来的数据收集器系统。beat 收集器可以直接写入 Elasticsearch，也可以传输给 Logstash。其中抽象出来的 libbeat，提供了统一的数据发送方法，输入配置解析，日…","reviewingCommentsCount":0,"meta":{"previous":null,"next":null},"annotationDetail":null,"commentsCount":0,"likesCount":5,"FULLINFO":true}},"User":{"itgege":{"isFollowed":false,"name":"ITGeGe","headline":"","avatarUrl":"/e1dd84030cbf44b7ceb5_s.jpg","isFollowing":false,"type":"people","slug":"itgege","bio":"","hash":"18fd3b4dbc5d","uid":694300,"isOrg":false,"description":"","profileUrl":"/people/itgege","avatar":{"id":"e1dd84030cbf44b7ceb5","template":"/{id}_{size}.jpg"},"isOrgWhiteList":false,"badge":{"identity":null,"bestAnswerer":null}}},"Comment":{},"favlists":{}},"me":{},"global":{},"columns":{},"columnPosts":{},"postComments":{},"postReviewComments":{"comments":[],"newComments":[],"hasMore":true},"favlistsByUser":{},"favlistRelations":{},"promotions":{},"draft":{"titleImage":"","titleImageSize":{},"titleImageFullScreen":false,"canTitleImageFullScreen":false,"title":"","titleImageUploading":false,"error":"","content":"","draftLoading":false,"globalLoading":false,"pendingVideo":{"resource":null,"error":null}},"config":{"userNotBindPhoneTipString":{}},"recommendPosts":{"articleRecommendations":[],"columnRecommendations":[]},"env":{"isAppView":false,"appViewConfig":{"content_padding_top":128,"content_padding_bottom":56,"content_padding_left":16,"content_padding_right":16,"title_font_size":22,"body_font_size":16,"is_dark_theme":false,"can_auto_load_image":true,"app_info":"OS=iOS"},"isApp":false},"sys":{}}3074人阅读
大数据相关（16）
搜索引擎（10）
风来了.fox
2.安装 Logstash 和配置
3.安装 Kibana 4 和配置
4.安装 Filebeat 和配置
如果只监控服务器访问日志，日志格式不是很多，本Filebeat 可以不需要安装
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：636418次
积分：7742
积分：7742
排名：第2549名
原创：249篇
转载：49篇
评论：40条
领地： php套件： 邮箱：(#换为@) QQ：
(1)(2)(11)(26)(13)(3)(19)(37)(15)(1)(4)(1)(2)(1)(4)(3)(3)(1)(3)(5)(3)(28)(5)(1)(6)(4)(4)(7)(2)(9)(5)(7)(1)(4)(11)(4)(3)(3)(1)(1)(6)(1)(3)(5)(2)(1)(4)(1)(2)(1)(8)(4)(3)(1)(1)