Apache(httpd) 服务也是现代 web 服务栈中重要的组件之一,本文介绍通过 logkit Pro 来收集 apache 的 access.log。
下载并运行 logkit Pro
1、根据您机器的操作系统版本下载 logkit Pro,logkit Pro 下载地址请阅读logkit 安装。
2、解压后您可以看到:
3、其中logkit.conf为主配置文件,用于配置 logkit Pro 的 web 页面及端口配置,其中bind_host是设置绑定的端口,启动后可以根据这个配置打开 logkit Pro web 页面,默认的端口为3000。
4、命令行进入 logkit Pro 所在文件夹,输入如下命令启动 logkit Pro:./logkit-pro -f logkit-pro.conf通过浏览器访问 logkit Pro:
5、本地登录 logkit Pro:在 logkit Pro 首页右上角,点击登录。
6、本地登录的默认用户名和密码都是 admin。
使用 logkit Pro 收集日志
1、进入数据收集页面,点击添加收集器开始配置收集器。
2、添加数据源一般情况下,您的日志是写入文件的话,就选择从文件读取,不断读取文件尾追加的数据。
3、数据解析配置好数据来源以后,就开始配置数据解析方式,我们使用 grok 表达式解析 Apache 日志,logkit Pro 提供了一些默认表达式的支持,其中%{COMMON_LOG_FORMAT}就可以解析 Apache 日志。对于 grok 表达式,玩过 ELK 的用户不会陌生,我们完全支持 logstash 的 grok 表达式,对于自己配置的一些特殊 Apache 日志,可以访问我们的 wiki 页面了解进阶用法: 学习如何调试您的 grok 表达式如何调试您的grok-patterngrokdebug用法.配置好后,点击解析样例数据,查看解析是否成功。
4、数据转换日志中有 IP 和时间字段,可以将 IP 字符串解析成 IP 对应的区域、城市、省份、运营商等信息,以及将时间字符串转换成时间格式。解析 IP选择需要进行转换的 IP 字段,从本地上传 IP 数据库即可,添加好以后点击转换样例数据,可以看到,client_ip 字段已经被即解析成对应的国家、城市等信息。
5、时间字段转换选择需要进行转换的时间字段,点击解析即可一键查看解析结果,非常方便快捷。
6、注意:每个数据转换都需要点击添加才能生效哦!
7、数据发送将数据发送至智能日志分析平台,输入工作流名称,日志分析仓库名称可不填,默认使用数据仓库名称,点击下一步。
8、确认收集最后,填写收集器名称确认添加就大功告成啦!
9、分发收集器进入数据收集页面,找到刚刚添加的收集器,将收集器分发到机器。
10、点击查看收集器可以查看收集器运行信息,读取条数、解析条数、错误日志等。
在智能日志分析平台搜索日志
1、进入智能日志分析平台,选择在logkit Pro 发送时填写的仓库名称,搜索出日志内容。
配置报表
1、在日志搜索页面,切换到可视化tab,开始配置报表。1.统计请求总数:统计全部请求总数:选择图表类型为单值图,选择指标为计数。
2、统计随时间变化的请求总数:选择图表类型为单值图,分组字段为 ts ,选择指标为计数。
3、图上的小字号的数字意义为相比上一个时间点请求数量增加了 9373。您也可以在图表样式设置里开启时序折线图,方便您直观地了解请求数量的变化趋势。
4、更多单值图的图表样式设置使用方法请阅读单值图。点击添加到仪表盘,输入仪表盘名称和此图表名称,将图表加入指定仪表盘。
5、统计返回码分布情况:选择图表类型为饼图,选择指标为计数,分组字段为 resp_code。
6、可以点击以取消图例,只观察感兴趣的分组。
7、或者通过图例取消全选,再点击图例以显示。根据需要选择合适的操作方式。
8、统计请求方法分布:选择图表类型为饼图,选择指标为计数,分组字段为 verb,在图表样式设置里选择图表类型为环图。
9、IP 分布情况:选择图表类型为饼图,指标为计数,分组字段为 client_ip。
10、请求 path 分布情况:选择图表类型为饼图,指标为计数,分组字段为 request。
11、统计不同国家的请求总数,选择图表类型为世界地图,指标为计数,分组字段为 country。
12、统计国内不同城市的请求总数,选择图表类型为中国地图,指标为计数,分组字段为 Region。
13、随时间变化的请求数量统计:选择图表类型为区域图,指标为计数,分组字段为 ts。
14、运营商分布:选择图表类型为柱状图,指标为计数,分组字段为 Isp。
15、统计每分钟入口流量:选择图表类型为区域图,指标为对 resp_bytes 字段求和,分组字段为 ts,按照 10m 聚合。
使用仪表盘对报表进行监控
1、进入仪表盘列表,找到刚刚创建的仪表盘,进入仪表盘对图表进行监控,同时可以对仪表盘以及仪表盘里的图表进行编辑。关于仪表盘的操作,请阅读仪表盘。