2020国产成人精品视频,性做久久久久久久久,亚洲国产成人久久综合一区,亚洲影院天堂中文av色

分享

logstash+elasticsearch+kibana搭建日志收集分析系統(tǒng)

 WindySky 2016-03-14

日志監(jiān)控和分析在保障業(yè)務(wù)穩(wěn)定運(yùn)行時(shí),起到了很重要的作用,不過(guò)一般情況下日志都分散在各個(gè)生產(chǎn)服務(wù)器,且開(kāi)發(fā)人員無(wú)法登陸生產(chǎn)服務(wù)器,這時(shí)候就需要一個(gè)集中式的日志收集裝置,對(duì)日志中的關(guān)鍵字進(jìn)行監(jiān)控,觸發(fā)異常時(shí)進(jìn)行報(bào)警,并且開(kāi)發(fā)人員能夠查看相關(guān)日志。logstash+elasticsearch+kibana3就是實(shí)現(xiàn)這樣功能的一套系統(tǒng),并且功能更強(qiáng)大。

logstash:是一個(gè)管理日志和事件的工具,你可以收集它們,解析它們,并存儲(chǔ)它們以供以后使用(例如日志搜索),logstash有一個(gè)內(nèi)置的web界面,用來(lái)搜索你的所有日志。logstash在部署時(shí)有兩種運(yùn)行模式:standalone和centralized:

   * standalone:standalone的意思是所有的事情都在一臺(tái)服務(wù)器上運(yùn)行,包括日志收集、日志索引、前端WEB界面都部署在一臺(tái)機(jī)器上。

   * centralized:就是多服務(wù)器模式,從很多服務(wù)器運(yùn)輸(ship)日志到一臺(tái)總的日志(collector)服務(wù)器上用來(lái)索引和查找。

    需要注意的是logstash本身并沒(méi)有什么shipper和indexer這種說(shuō)法,因?yàn)椴徽撌沁\(yùn)輸日志的進(jìn)程還是匯集總的日志的進(jìn)程運(yùn)行的都是同一個(gè)程序,只是使用的配置文件不同而已。

elasticsearch:

    基于lucene的開(kāi)源搜索引擎,是一個(gè)分布式的搜索分析系統(tǒng),主要特點(diǎn)有:real time data、real time analytics、distributed、high availability、multi-tenancy、full text search、document oriented、conflict management、schema free、restful api等等。

kibana3:

    可視化日志和數(shù)據(jù)系統(tǒng),作為WEB前端可以很容易的和elasticsearch系統(tǒng)結(jié)合。kibana有版本2和版本3的區(qū)分,版本2采用ruby編寫(xiě),部署起來(lái)很麻煩,需要安裝很多ruby依賴(lài)包(目前網(wǎng)上多是這個(gè)版本的部署),版本3采用純html+css編寫(xiě),因此部署起來(lái)很方便,解壓即用,目前已經(jīng)是kibana4了,建議大家使用最新版。

出于性能及擴(kuò)展性考慮,實(shí)際應(yīng)用中l(wèi)ogstash我們必然采用centralized模式,最基本的結(jié)構(gòu)圖如下:


1、安裝redis,安裝過(guò)程簡(jiǎn)單,這里不做詳細(xì)說(shuō)明。

2、安裝ElasticSearch(目前版本1.4)

[plain] view plain copy
  1. <span style="font-size:14px;">wget 'https://download./elasticsearch/elasticsearch/elasticsearch-0.90.7.tar.gz'  
  2. tar zxvf elasticsearch-0.90.7.tar.gz  
  3. cd elasticsearch-0.90.7/bin  
  4. #可以在logstash agent啟動(dòng)后再啟動(dòng)  
  5. ./elasticsearch -f</span>  

3、啟動(dòng)logstash shipper,定義配置文件logstash.conf,根據(jù)實(shí)際情況定義,以下主要定義了input源為文件,output到redis,啟動(dòng)logstash shipper,例如:

[plain] view plain copy
在CODE上查看代碼片派生到我的代碼片
  1. <span style="font-family: 'Microsoft YaHei';"><span style="font-size:14px;">input {  
  2.         file {  
  3.                 type => "api_log"  
  4.                 path => "/home/jws/app/nginxserver/logs/apiaccess.log"  
  5.                 debug => true  
  6.         }  
  7.         file {  
  8.                 type => "cas_log"  
  9.                 path => "/home/jws/app/nginxserver/logs/casaccess.log"  
  10.                 debug => true  
  11.         }  
  12.         file {  
  13.                 type => "id_log"  
  14.                 path => "/home/jws/app/nginxserver/logs/idaccess.log"  
  15.                 debug => true  
  16.         }  
  17.         file {  
  18.                 type => "login_log"  
  19.                 path => "/home/jws/app/nginxserver/logs/loginaccess.log"  
  20.                 debug => true  
  21.         }  
  22.         file {  
  23.                 type => "proxy_log"  
  24.                 path => "/home/jws/app/nginxserver/logs/proxyaccess.log"  
  25.                 debug => true  
  26.         }  
  27. }  
  28. output {  
  29.         redis {  
  30.                 host => "10.20.164.121"  
  31.                 data_type => "list"  
  32.                 key => "logstash:redis"  
  33.         }  
  34.         redis {  
  35.                 host => "10.20.164.122"  
  36.                 data_type => "list"  
  37.                 key => "logstash:uop_file"  
  38.         }  
  39. }</span></span>  

啟動(dòng)shipper:

java -jar /home/jws/htdocs/logstash/lib/logstash.jar agent -f /home/jws/htdocs/logstash/conf/logstash.conf -l /home/jws/htdocs/logstash/logs/logstash.log

4、啟動(dòng)logstash indexer
logstash的配置文件相當(dāng)簡(jiǎn)單,主要有三部分:inputs、filters、outputs。事件在配置文件中的出現(xiàn)是有順序的。在inputs、output、filter中,允許你設(shè)置配置插件,配置插件由一個(gè)插件名稱(chēng)和緊跟在后面的插件配置代碼塊構(gòu)成。插件中的值可以是布爾值、字符串、數(shù)字、哈希、數(shù)組等,并且支持條件判斷(if...else)。

例如以下indexer中的配置,并啟動(dòng)indexer:

[plain] view plain copy
在CODE上查看代碼片派生到我的代碼片
  1. <span style="font-size:14px;">input {  
  2.     file {  
  3.         path => "/home/rsyslog/asaserver/*/*/*/proxy.log.*"  
  4.         exclude => "*.bz2"  
  5.         type => "proxy"  
  6.     }  
  7. }  
  8.   
  9. filter {  
  10.     grok {  
  11.              match => [ "message", "%{APIPROXY}" ]  
  12.              patterns_dir => ["/home/jws/app/logstash/patterns"]  
  13.          }  
  14.     if [request_uripath_orig]{  
  15.         grok {  
  16.                 match => [ "request_uripath_orig", "%{NSSS}" ]  
  17.                 patterns_dir => ["/home/jws/app/logstash/patterns"]  
  18.         }  
  19.     }  
  20. }  
  21.   
  22. output {  
  23.     #stdout { codec =>"rubydebug"}  
  24.     elasticsearch_http {  
  25.         host => "10.20.161.36"  
  26.         flush_size => 500  
  27.         idle_flush_time => 3  
  28.         index => "logstash_pf_proxy-%{+YYYY.MM.dd.HH}"  
  29.         template => "/home/jws/app/logstash/template/t.json"  
  30.         template_overwrite => true  
  31.     }  
  32. }</span>  


5、安裝并啟動(dòng)kibana3,安裝過(guò)程與普通軟件安裝無(wú)異,可以配合nginx安裝,這里不做描述,需要注意的是需要在kibana config.js中配置elasticSearch的地址與端口。


注意紅框中的內(nèi)容,這只是kibana3的默認(rèn)界面,需要我們用logstash.json代替default.json界面,具體目錄源碼目錄下app/dashboards中。

例如項(xiàng)目中的一個(gè)例子,根據(jù)需求制作圖表(類(lèi)似餅圖,柱狀圖,折線圖等),在筆者實(shí)際項(xiàng)目中,從日志中分析數(shù)據(jù),實(shí)現(xiàn)系統(tǒng)穩(wěn)定性、響應(yīng)時(shí)間、請(qǐng)求量、業(yè)務(wù)響應(yīng)碼、HTTP狀態(tài)碼等等以kibana展現(xiàn);


并且,elasticsearch的用途遠(yuǎn)不如此,可以用來(lái)做搜索數(shù)據(jù)源,ES提供了編程接口,可以使用編程的方式獲取ES中的數(shù)據(jù)自定義開(kāi)發(fā)監(jiān)控程序,靈活且功能強(qiáng)大。

官方文檔(現(xiàn)在都整合在一起了):

logstash:https://www./guide/en/logstash/current/index.html

elasticsearch:https://www./

kibana:https://www./


    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶(hù)發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買(mǎi)等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶(hù) 評(píng)論公約

    類(lèi)似文章 更多