邯鄲網(wǎng)站設(shè)計招聘最新域名查詢
1、優(yōu)缺點
filebeat收集的數(shù)據(jù)可以發(fā)往多個主機,即遠程收集
filebeat無法實現(xiàn)數(shù)據(jù)過濾,一般結(jié)合logstash的數(shù)據(jù)過濾一塊使用
2、遠程收集多主機的日志實驗
實驗?zāi)康?#xff1a;一體化查看日志
實驗條件:
主機名 | 服務(wù)器 | IP地址 | 組件 | 硬件 (最少) |
test2 | es1 | 20.0.0.20 | ES+node+phantomjs+elasticsearch-head-master組件 | 2核4G |
test3 | es2 | 20.0.0.30 | ES+node+phantomjs+elasticsearch-head-master組件 | 2核4G |
test1 | logstash+kibana | 20.0.0.10 | logstash+kibana組件 | 4核8G |
mysql1 | 模擬多個主機上的服務(wù) | 20.0.0.13 | httpd+nginx+mysql服務(wù)+filebeat組件 | 4核8G |
數(shù)據(jù)流向:
組件 | 端口號 |
elasticsearch-head-master | 9100 |
ES | 9200 |
kibana | 5601 |
logstash | 9600 |
實驗步驟:
1、時間同步
時間同步工具yum install ntpdate -y
在線時間同步工具ntpdate ntp.aliyun.com
2、模擬多個主機上服務(wù)
yum安裝httpd
yum安裝nginx
編譯安裝mysql
之前已安裝過
啟動每個服務(wù)。注意httpd和nginx端口都是80,端口沖突。
將nginx的端口改成8000,才能啟動nginx
3、打開mysql的日志功能
4、httpd、nginx、mysql服務(wù)的日志路徑
賦權(quán)日志文件chmod 777 access.log error.log
5、測試httpd、nginx、mysql
6、安裝filebeat【監(jiān)控哪臺服務(wù)器就安裝在哪臺上】
7、修改filebeat配置文件,接收不同主機上的服務(wù)的日志
hosts:表示往哪個服務(wù)器上發(fā)送日志(filebeat先發(fā)往lostash,再由loastash發(fā)送到ES服務(wù)器)
logstash可以使用任意端口,只有沒被占用都可以使用,推薦使用從1024之后的端口號,用5044,5046都可以
from: 20.0.0.13表示日志從哪里來的服務(wù)器IP地址
8、創(chuàng)建logstash日志文件
9、啟動filebeat收集日志
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
tail -f filebeat.out 檢查filebeat錯誤
若5044被占用,修改端口號即可收集日志
停止filebeat繼續(xù)向logstash發(fā)送日志
修改5044端口號【凡是使用了5044的皆要修改】
vim /etc/logstash/conf.d/nginx.conf
端口號修改完成后,重新啟動filebeat
啟動logstash接收日志
10、使用服務(wù),測試是否傳輸日志到ES服務(wù)器
logstash -f 10_filebeat_nginx.conf --path.data /opt/test7?&
索引生成,表示logstash已接收到日志并傳輸?shù)紼S服務(wù)器上存儲
11、在圖形化界面查看日志信息