收集各类安全设备、Nginx日志实现日志统一管理及告警

文章预览

一、日志收集及告警项目背景 近来安全测试项目较少,想着把安全设备、nginx日志收集起来并告警, 话不多说,直接说重点,搭建背景: 1. 日志源：安全设备日志(Imperva WAF、绿盟WAF、paloalto防火墙)、nginx日志等； 2. 日志分析开源软件：ELK，告警插件：Sentinl 或elastalert，告警方式：钉钉和邮件； 3. 安全设备日志->logstash->es，nginx日志由于其他部门已有一份（flume->kafka）我们通过kafka->logstash->es再输出一份，其中logstash的正则过滤规则需要配置正确，不然比较消耗性能，建议写之前使用grokdebug先测试好再放入配置文件； 4. 搭建系统:centos 7 , JDK 1.8, Python 2.7 5. ELK统一版本为5.5.2 由于es和kibana的安装都比较简单，就不在下文中说明安装及配置方法了。相关软件的下载链接如下： Es:https:/ ………………………………