視頻網(wǎng)站可以做B2C模式嗎網(wǎng)站自然優(yōu)化
一. 相關介紹
Filebeat:輕量級的開源日志文件數(shù)據(jù)搜集器。通常在需要采集數(shù)據(jù)的客戶端安裝 Filebeat,并指定目錄與日志格式,Filebeat 就能快速收集數(shù)據(jù),并發(fā)送給 logstash 進或是直接發(fā)給 Elasticsearch 存儲,性能上相比運行于 JVM 上的 logstash 優(yōu)勢明顯,是對它的替代。常應用于 EFLK 架構當中。行解析
filebeat 結合 logstash 帶來好處:
1)通過 Logstash 具有基于磁盤的自適應緩沖系統(tǒng),該系統(tǒng)將吸收傳入的吞吐量,從而減輕 Elasticsearch 持續(xù)寫入數(shù)據(jù)的壓力
2)從其他數(shù)據(jù)源(例如數(shù)據(jù)庫,S3對象存儲或消息傳遞隊列)中提取
3)將數(shù)據(jù)發(fā)送到多個目的地,例如S3,HDFS(Hadoop分布式文件系統(tǒng))或寫入文件
4)使用條件數(shù)據(jù)流邏輯組成更復雜的處理管道
Fluentd:是一個流行的開源數(shù)據(jù)收集器。由于 logstash 太重量級的缺點,Logstash 性能低、資源消耗比較多等問題,隨后就有 Fluentd 的出現(xiàn)。相比較 logstash,Fluentd 更易用、資源消耗更少、性能更高,在數(shù)據(jù)處理上更高效可靠,受到企業(yè)歡迎,成為 logstash 的一種替代方案,常應用于 EFK 架構當中。在 Kubernetes 集群中也常使用 EFK 作為日志數(shù)據(jù)收集的方案。
在 Kubernetes 集群中一般是通過 DaemonSet 來運行 Fluentd,以便它在每個 Kubernetes 工作節(jié)點上都可以運行一個 Pod。 它通過獲取容器日志文件、過濾和轉換日志數(shù)據(jù),然后將數(shù)據(jù)傳遞到 Elasticsearch 集群,在該集群中對其進行索引和存儲。
二. 搭建ELFK?
Filebeat+ELK 部署
在ELK的基礎上,再加一臺 filebeat 機器
2.1 安裝 Filebeat
2.2 設置 filebeat 的主配置文件
修改主配置文件
vim filebeat.yml
filebeat.prospectors:
- type: log #指定 log 類型,從日志文件中讀取消息enabled: truepaths:- /var/log/messages #指定監(jiān)控的日志文件- /var/log/*.logfields: #可以使用 fields 配置選項設置一些參數(shù)字段添加到 output 中service_name: filebeatlog_type: logservice_id: 192.168.44.40--------------Elasticsearch output-------------------
(全部注釋掉)----------------Logstash output---------------------
output.logstash:hosts: ["192.168.44.70:5044"] #指定 logstash 的 IP 和端口
啟動 filebeat
filebeat -e -c filebeat.yml
在 Logstash 組件所在節(jié)點上新建一個 Logstash 配置文件
input {beats {port => "5044"}
}
output {elasticsearch {hosts => ["192.168.44.60:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}stdout {codec => rubydebug}
}
啟動 logstash
啟動 logstash
logstash -f logstash.conf
下面這個不開啟會報錯,起不來
瀏覽器訪問 http://192.168.44.60:5601 登錄 Kibana,
單擊“Create Index Pattern”按鈕添加索引“filebeat-*”,
單擊 “create” 按鈕創(chuàng)建,單擊 “Discover” 按鈕可查看圖表信息及日志信息。