【Splunk】使用syslog-ng和UF(HF)收集syslog日志(一)需求 & 逻辑图 & 配置关系图
2017-10-26 16:31:34 Author: mp.weixin.qq.com(查看原文) 阅读量:1 收藏

在使用splunk直接接收syslog日志的时候,有很多问题,详细内容可以看参考资料部分。在采集syslog日志的时候,推荐采用syslog-ng & Splunk HF/UF的方式。

一、需求

这里使用syslog-ng作为syslog日志的集中收集服务器,需求如下:

1、日志存储时以路径作为区分,如

../Linux/

../Nginx/

../Firewall

这样在HF/UF采集的时候可以根据不同路径指定不同的index、sourcetype。

2、每个IP单独一个路径,如

../Linux/a.a.a.a/

../Linux/b.b.b.b/

这样在HF/UF采集的时候可以直接根据存放日志路径中IP的那个段作为splunk事件搜索中对应设备来源主机字段,如host_segment = 3(假如IP在路径中为/log/Linux/a.a.a.a/)。

3、日志以日期命名,如

../Linux/a.a.a.a/2017-10-23.log

../Linux/a.a.a.a/2017-10-24.log

这样是为了做日志清理方便。

二、逻辑图

以下是逻辑图:

三、配置关系图

以下是实际配置关系图:

(加入知识星球“企业Splunk实践”查看高清大图)

四、参考资料

High Performance syslogging for Splunk using syslog-ng

https://www.splunk.com/blog/2016/05/05/high-performance-syslogging-for-splunk-using-syslog-ng-part-1.html

https://www.splunk.com/blog/2016/05/05/high-performance-syslogging-for-splunk-using-syslog-ng-part-2.html

Using Syslog-ng with Splunk

https://www.splunk.com/blog/2016/03/11/using-syslog-ng-with-splunk.html

Syslog-ng在Splunk架构中的应用

http://www.10data.com/syslog-ng%e5%9c%a8splunk%e6%9e%b6%e6%9e%84%e4%b8%ad%e7%9a%84%e5%ba%94%e7%94%a8/

Installing latest syslog-ng on RHEL and other RPM distributions

https://www.balabit.com/blog/installing-latest-syslog-ng-on-rhel-and-other-rpm-distributions/?_ga=2.19546936.1421917508.1507700806-530399638.1507700806

nginx日志配置:

http://nginx.org/en/docs/

http://nginx.org/en/docs/syslog.html

The syslog-ng Open Source Edition 3.12 Administrator Guide

https://www.balabit.com/documents/syslog-ng-ose-latest-guides/en/syslog-ng-ose-guide-admin/html/

rsyslog 8.30.0 documentation

http://www.rsyslog.com/doc/v8-stable/index.html

加入星球查看更多内容:


文章来源: https://mp.weixin.qq.com/s?__biz=MzI5NzAzMDg0NA==&mid=2650697839&idx=1&sn=c4e80bacd82ca5942bf3b84a933de7b4&chksm=f4b195bcc3c61caaa7acb47fd0f00216f9d1dcbf0a3025f78648d09fd7c5a0ff2e518af64bb4&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh