ELK介紹
ELK即ElasticSearch + Logstash + kibana
- ES:作為存儲(chǔ)引擎
- Logstash：用來(lái)采集日志
- Kibana可以將ES中的數(shù)據(jù)進(jìn)行可視化，可以進(jìn)行數(shù)據(jù)分析中常見(jiàn)的對(duì)屬性求和、平均值、計(jì)數(shù)，按照時(shí)間戳或其他日志展示出來(lái)
整體的流程就是先把logstash啟動(dòng)，讀取nginx日志數(shù)據(jù)存儲(chǔ)到ES中，再用kibana進(jìn)行統(tǒng)計(jì)以及可視化
一.nginx
第一步需要先把nginx的日志格式修改為json格式，這樣方便logstash讀取
找到配置文件位置，我的是在/usr/local/nginx/conf
在其中添加
log_format main_json "{"@timestamp": "$time_local", "
""remote_addr": "$remote_addr", "
""referer": "$http_referer", "
""request": "$request", "
""status": $status, "
""bytes": $body_bytes_sent, "
""agent": "$http_user_agent", "
""x_forwarded": "$http_x_forwarded_for", "
""up_addr": "$upstream_addr","
""up_host": "$upstream_http_host","
""up_resp_time": "$upstream_response_time","
""request_time": "$request_time""
" }";
access_log logs/access.log main_json; # 引用日志格式名稱改完以后日志的格式就會(huì)變?yōu)閖son字符串，如下所示
{
"@timestamp": "25/Feb/2022:10:58:15 +0800",
"remote_addr": "192.168.2.95",
"referer": "-",
"request": "GET /api/getScreenshot?url=http://www.qhjyedu.com/0e/bd/c12a3773/page.htm&path=/data2/ncs-cyber/mirror/page_image/situation_image/gdzx20211020/ddd38417-971b-400f-b430-834022c57d97.png&errorKeyWord=中國(guó)民族偉大復(fù)興&successKeyWord=中華民族偉大復(fù)興 HTTP/1.1",
"status": 304,
"bytes": 0,
"agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36",
"x_forwarded": "-",
"up_addr": "192.168.3.222:9848",
"up_host": "-",
"up_resp_time": "12.193",
"request_time": "12.193"
}二.logstash
接著便是寫(xiě)logstash配置文件了，自己寫(xiě)一個(gè)配置文件，我的名字叫做nginx-access.conf，配置如下
input {
file {
path => ["/usr/local/nginx/logs/access.log"] # 讀取日志文件的路徑
start_position => "beginning"
codec => json { # 這里是將json字符串轉(zhuǎn)化為json，不然的話會(huì)在es中存一個(gè)<屬性,json字符串>
charset => ["UTF-8"]
}
}
}
filter { # 簡(jiǎn)單處理，無(wú)過(guò)濾操作
}
output {
elasticsearch {
hosts => ["你的ip:port"] # 你的es的ip+端口
index => "logstash-nginx-access-%{+YYYY.MM.dd}" # 你的索引名
}
stdout {
codec => rubydebug
}
}
這樣配置完配置文件以后，就可以執(zhí)行l(wèi)ogstash指令了，根據(jù)配置文件，讀取指定的日志文件
logstash-6.7.2/bin/./logstash -f /home/xxx/nginx_access.conf --path.data=/home/xxx/logstash
之后可以在es中查看自己新建立的索引
由于我這里服務(wù)器的logstash和es都是已經(jīng)部署好的，沒(méi)有部署的話需要查看一下部署的教程，部署一下
另外，日志采集其實(shí)也可以使用fleatbeats，是一個(gè)更加輕量易用的日志采集工具
三.kibana
接著就可以在kibana中對(duì)es索引進(jìn)行可視化了
1.management添加索引
選擇你在es中存儲(chǔ)的索引，直接一路next。
2.Discover查看索引
3.Visualize建立儀表盤模板
選擇你想要展示的圖標(biāo)模式，我這里簡(jiǎn)單的測(cè)試了一下折線圖，統(tǒng)計(jì)的同學(xué)應(yīng)該對(duì)這些操作更加熟悉
縱軸選擇count，橫軸選擇terms，執(zhí)行一下，圖表就出來(lái)了
點(diǎn)擊上側(cè)導(dǎo)航欄的save即可將你建立的這個(gè)視圖模板保存，之后可以將其放入到dashboard持續(xù)監(jiān)測(cè)
4.Dashboard
可以選擇建立好的visualize，在這個(gè)地方進(jìn)行展示
總結(jié)
一次關(guān)于elk的簡(jiǎn)單實(shí)踐，主要的操作都在于部署、配置，不過(guò)由于我的服務(wù)器已經(jīng)部署好了這些，只需要配置就行了。
另外不容易操作的點(diǎn)就在于visualize的配置，可能需要一些統(tǒng)計(jì)學(xué)知識(shí)，才能對(duì)數(shù)據(jù)進(jìn)行更好的統(tǒng)計(jì)分析，以便公司做出更優(yōu)的決策
到此這篇關(guān)于ELK監(jiān)控nginx日志總結(jié)的文章就介紹到這了,更多相關(guān)ELK監(jiān)控nginx日志內(nèi)容請(qǐng)搜索服務(wù)器之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持服務(wù)器之家！
原文地址：https://www.cnblogs.com/andandan/p/15976039.html
