日志分析這件事干了二十年運維和架構(gòu)我一直覺得它是Linux系統(tǒng)排障里最“笨”但也最“靈”的手段。說它笨是因為它不像perf、strace那些工具能直接給出內(nèi)核級的精準(zhǔn)畫像說它靈是因為幾乎所有服務(wù)異常都會在日志里留下或多或少的痕跡關(guān)鍵是你得知道去哪里翻、用什么姿勢翻、怎么從一堆看似無關(guān)的記錄里把真正的問題串起來。這篇是“Linux服務(wù)類日志分析和策略”的第二篇算是接著之前的思路往下走。上篇更多是在聊日志分析的基本功和常規(guī)命令組合這篇我想重點講一講服務(wù)類日志的“策略”到底是什么——不是讓你背命令而是從架構(gòu)師的角度講清楚你在接手一套系統(tǒng)時該怎么設(shè)計日志采集、怎么判斷日志優(yōu)先級、怎么通過日志快速定位問題。這篇文章適合正在從“會用grep”往“會做日志體系”進階的運維和SRE同學(xué)也適合那些被日志淹沒、不知道從哪里下手的開發(fā)同事。1. 服務(wù)類日志分析的核心思路先定策略再談命令很多人在日志分析上花了很多時間但效率很低問題就出在“沒有策略”。你拿起一個日志文件就開始從頭到尾讀或者看到報錯就去搜這種“人找日志”的方式在海量日志面前基本是無效的。正確的思路應(yīng)該是“讓日志找人”——先定義清楚你要通過日志回答什么問題再決定去翻哪些文件、用什么方法、看什么時間窗口。1.1 日志分析到底在回答什么問題我從架構(gòu)角度把日志分析要解決的問題歸納為四類這四類問題決定了你后續(xù)的一切動作第一類是故障定位類。服務(wù)掛了、接口超時、CPU飆高、內(nèi)存溢出這類問題核心是“發(fā)生了什么”。你要看的是錯誤堆棧、OOM記錄、核心轉(zhuǎn)儲信息、服務(wù)啟動和停止的時間點。這類分析通常采用“從結(jié)果倒推過程”的策略先找到異常點再向前回溯上下文。第二類是安全審計類。登錄失敗、權(quán)限拒絕、文件訪問異常、端口掃描痕跡這類問題核心是“誰在什么時間做了什么事”。你要重點看/var/log/secure、auth.log、btmp、wtmp這些認證和登錄相關(guān)日志。這類分析要特別注意時間線的完整性因為攻擊者可能會故意干擾時間戳。第三類是性能調(diào)優(yōu)類。慢查詢、高延遲、資源瓶頸這類問題核心是“為什么這么慢”。你要看的是應(yīng)用的響應(yīng)時間分布、數(shù)據(jù)庫的慢查詢?nèi)罩?、系統(tǒng)層面的上下文切換統(tǒng)計。這類分析講究關(guān)聯(lián)性往往需要把多個來源的日志按時間戳對齊來看。第四類是容量規(guī)劃類。磁盤空間持續(xù)下降、日志增長速度過快、帶寬占用異常這類問題核心是“趨勢是怎樣的”。你要看的是日志量的歷史曲線、增長速率、峰值時段。這類分析需要定期做而不是出了問題才看。我接手任何一個系統(tǒng)時第一件事不是看代碼也不是看監(jiān)控——而是先花半天時間把所有日志文件的位置、格式、權(quán)限、輪轉(zhuǎn)周期全部摸一遍。這個“摸底動作”看起來簡單但能讓你在問題發(fā)生時節(jié)省好幾個小時的盲目排查時間。1.2 日志優(yōu)先級判斷什么是“關(guān)鍵日志”日志文件幾十個甚至上百個不可能都投入同樣的精力。根據(jù)我多年的經(jīng)驗把服務(wù)類日志劃分為三個優(yōu)先級梯隊對日常運維和故障處理有直接的指導(dǎo)意義。第一梯隊是登錄認證日志。這類日志直接關(guān)系到系統(tǒng)安全邊界包括/var/log/secureCentOS/RHEL系、/var/log/auth.logDebian/Ubuntu系以及各應(yīng)用自己的認證日志。這類日志是安全事件的第一現(xiàn)場必須重點采集和留存建議單獨存儲并設(shè)置較長的保留周期。第二梯隊是系統(tǒng)級日志。包括/var/log/messages、/var/log/syslog以及journald管理的系統(tǒng)日志。這里記錄了內(nèi)核消息、服務(wù)啟停、磁盤掛載、網(wǎng)卡狀態(tài)變化等關(guān)鍵硬件和系統(tǒng)事件。系統(tǒng)級日志的典型特征是信息量大、噪音多需要借助優(yōu)先級過濾來處理。第三梯隊是應(yīng)用服務(wù)日志。包括Nginx的access.log和error.log、MySQL的error.log和slow.log、Java應(yīng)用的日志文件、Redis的持久化日志等。應(yīng)用日志和業(yè)務(wù)行為強相關(guān)是排查業(yè)務(wù)故障的核心依據(jù)。在優(yōu)先級劃分的基礎(chǔ)上還要明確一個重要原則——日志級別要配合使用。所有知名日志框架和系統(tǒng)服務(wù)都支持日志分級比如log.level、syslog的kern.info、Java的Log4j2的LEVEL通常來說WARN級以上用于做告警閾值設(shè)置INFO級用于日常巡檢DEBUG級用于問題復(fù)現(xiàn)和定位。如果一上來就想著把DEBUG集全了日志量和性能消耗都會失控。2. 核心日志文件逐一解析知道每個坑里有什么策略定了接下來就是實地操作。我梳理了幾個日常高頻接觸的日志文件給你逐一點出它們的寫法邏輯和常用分析姿勢。2.1 系統(tǒng)日志messages與journalctl怎么配合/var/log/messages是RHEL系Linux最經(jīng)典的系統(tǒng)日志但現(xiàn)在很多新版本系統(tǒng)推崇用journalctl來做統(tǒng)一查詢。兩者不是競爭關(guān)系而是互補關(guān)系。messages是靜態(tài)文件適合做長期歸檔和快速文本檢索journalctl是結(jié)構(gòu)化數(shù)據(jù)庫支持更復(fù)雜的條件和時間范圍查詢。舉個例子你想看系統(tǒng)上一次異常重啟的現(xiàn)場直接用journalctl -b -1可以回看上一次啟動時段的全部日志。這個命令的-b參數(shù)可以配合數(shù)字代表第幾次啟動-b 0是本次啟動-b -1是上一次啟動非常好用。另一個經(jīng)典場景是查內(nèi)核級硬件錯誤比如磁盤IO錯誤或者網(wǎng)卡丟包這類問題在messages里往往會有kernel: ... error的記錄。配合grep -i error\|fail\|warn之后結(jié)果往往是幾百行這時候需要用下面這個組合拳做聚合grep kernel /var/log/messages | awk {print $5} | sort | uniq -c | sort -rn | head -20這段命令的思路是先把內(nèi)核相關(guān)日志撈出來然后提取第五列的“關(guān)鍵字”統(tǒng)計每種關(guān)鍵字的出現(xiàn)次數(shù)最后按數(shù)量降序排列。這樣你能在一堆日志里快速看出來“哪一個錯誤重復(fù)出現(xiàn)最多、最值得關(guān)注”而不是在幾十種錯誤里平均用力。2.2 登錄認證日志從secure里讀出風(fēng)險趨勢/var/log/secure這個文件是每個運維人員的安全底線。它記錄了系統(tǒng)上所有的身份認證事件——成功的、失敗的、異常來源的。大部分暴力破解攻擊都會在這個文件里留下密集的Failed password記錄。一個高頻操作是統(tǒng)計某個時間段內(nèi)的失敗次數(shù)定位暴力破解的來源IP和用戶名# 統(tǒng)計所有失敗登錄IP的Top10 grep Failed password /var/log/secure | awk {print $(NF-3)} | sort | uniq -c | sort -rn | head -10 # 統(tǒng)計嘗試過的用戶名Top10 grep Failed password /var/log/secure | awk {print $(NF-5)} | sort | uniq -c | sort -rn | head -10這里有個細節(jié)需要特別注意secure日志的字段位置并不固定。帶invalid user前綴的失敗嘗試和普通的Failed password記錄IP字段所在的位置完全不同。所以寫腳本處理時需要同時匹配兩種情況否則會漏掉一部分攻擊來源。# 更穩(wěn)健的寫法匹配invalid user的行 grep Failed password /var/log/secure | grep invalid | awk {print $(NF-3)} | sort | uniq -c從安全策略角度說如果發(fā)現(xiàn)某個IP在短時間內(nèi)出現(xiàn)了超過50次失敗登錄基本可以考慮通過防火墻或者fail2ban做阻斷?？咳藖碇饤l盯是不現(xiàn)實的日志分析的價值就在于把攻擊行為量化出來讓處置動作可執(zhí)行。2.3 應(yīng)用日志Nginx與MySQL的“快慢虛實”Nginx的access.log記錄了每一個HTTP請求的處理結(jié)果這個文件對Web服務(wù)的重要性怎么強調(diào)都不過分。最經(jīng)典的用法是看QPS趨勢和請求耗時分布。QPS本質(zhì)上是一個“時間桶”的概念以分鐘為單位統(tǒng)計每秒請求數(shù)RPS。一條成熟的命令是# 按分鐘統(tǒng)計請求數(shù) awk {print $4} /var/log/nginx/access.log | cut -c1-16 | uniq -c | tail -30這里$4是日志里的時間字段比如[09/Jul/2024:14:23:45 0800]cut -c1-16截取出到分鐘的時間戳uniq -c聚合每分鐘的請求量。這個寫法比直接看整個文件要直觀得多。對于響應(yīng)時間的分析Nginx在默認配置下$request_time字段記錄了整個請求的處理耗時從接受到響應(yīng)的總時間。用下面這個方式找出最慢的幾個接口# 找出耗時最長的top10請求 awk {print $NF, $0} /var/log/nginx/access.log | sort -rn | head -10 | cut -d -f2-MySQL日志是另一個排查重災(zāi)區(qū)。slow.log記錄了執(zhí)行時間超過閾值的SQL語句。拿到一份慢查詢?nèi)罩竞笪业奶幚硖茁肥? 按SQL模板聚合看哪些類型的SQL頻繁慢 mysqldumpslow -s c /var/lib/mysql/slow.log | head -20這個工具會把結(jié)構(gòu)化的SQL參數(shù)歸一化統(tǒng)計同一類SQL出現(xiàn)的次數(shù)。先用-s c按次數(shù)排序大概率能鎖定造成數(shù)據(jù)庫壓力最嚴(yán)重的那些SQL模板再去針對性做索引優(yōu)化。注意不要直接cat來看slow.log那幾千行的結(jié)果只會讓人無從下手。3. 日志采集與管理策略從“翻文件”到“建體系”單機時代你可以臨時登錄服務(wù)器去翻日志但在成規(guī)模的集群環(huán)境里沒有日志采集和處理體系排查一個跨節(jié)點的業(yè)務(wù)問題基本等于大海撈針。這個環(huán)節(jié)講的是基礎(chǔ)策略也是日志分析的上層設(shè)計。3.1 采集什么全采但不全存我見過不少團隊初期熱情高漲把所有日志都采集上來存起來結(jié)果一個月的存儲開銷就勸退。采集和存儲是兩回事——采集可以全存儲必須有選擇性。合理的做法是分級存儲ERROR級別以上的日志保留一年以上WARN級別的保留三個月INFO級別和業(yè)務(wù)調(diào)用日志保留兩周DEBUG級別只允許在故障處理時按需開、用完就關(guān)。這樣既保證審計需求又控制成本。另外采集端一定要記住“只采不讀”——日志采集進程只負責(zé)把文件內(nèi)容增量讀取出去傳輸?shù)街行幕鎯Σ灰貌杉M程直接去做復(fù)雜的過濾邏輯和統(tǒng)計邏輯。過濾下推到分析層去做采集層必須輕量否則采集端自身變成性能瓶頸就本末倒置了。3.2 輪轉(zhuǎn)與壓縮磁盤空間的安全閥日志輪轉(zhuǎn)是整個日志體系里最容易被忽略、一出問題就爆炸的環(huán)節(jié)。Linux下由logrotate這個定時任務(wù)統(tǒng)一管理。很多新同學(xué)不知道的是/etc/logrotate.conf和/etc/logrotate.d/下的配置文件控制著所有系統(tǒng)級日志的輪轉(zhuǎn)節(jié)奏。關(guān)鍵的踩坑點在于日志輪轉(zhuǎn)之后應(yīng)用進程對應(yīng)的文件句柄會失效。如果沒有配置copytruncate或者讓應(yīng)用重新打開日志文件就會出現(xiàn)日志越滾越大但logrotate又切不動的“胖文件”現(xiàn)象。很多應(yīng)用進程無法感知輪轉(zhuǎn)動作正確做法是# 在logrotate配置中通知應(yīng)用重開日志文件 /var/log/nginx/*.log { daily rotate 14 compress delaycompress missingok sharedscripts postrotate /bin/kill -USR1 cat /run/nginx.pid 2/dev/null 2/dev/null || true endscript }postrotate腳本的關(guān)鍵點在于kill -USR1這是Nginx專門用于重開日志文件的信號。對整個日志文件做compress便于壓縮備份delaycompress的意思是本次剛輪轉(zhuǎn)的日志先不壓縮下次再壓縮這樣能讓postrotate的進程從容地寫完最后的日志數(shù)據(jù)。3.3 采集端和查詢端的選型經(jīng)驗日志采集和中心化存儲的工具有很多老牌的ELKElasticsearchLogstashKibana全家桶至今仍是很多公司的標(biāo)配但架構(gòu)偏重資源占用比較高。近年來用Loki做日志存儲的團隊也越來越多它的架構(gòu)比ES輕量很多適合數(shù)據(jù)量一般的中小型團隊。不在其位不謀其政我個人的建議是不要盲目追求復(fù)雜工具鏈。十來個節(jié)點的集群用rsyslog遠程轉(zhuǎn)發(fā)加grep分析完全足夠百臺以上或者有強烈檢索需求的再引入ELK也不遲。工具是為策略服務(wù)的不要為了炫技把整個運維體系搞復(fù)雜。4. 實操過程重演一次真實數(shù)據(jù)目錄故障排查的完整鏈路光說理論容易飄我拿一個親手處理過的典型故障來完整串一遍日志分析的過程。某天早上運維同事發(fā)現(xiàn)一個大數(shù)據(jù)集群的數(shù)據(jù)節(jié)點服務(wù)掛了讀寫異常檢查進程狀態(tài)發(fā)現(xiàn)服務(wù)并沒有退出但所有客戶端的連接請求都失敗。4.1 第一步鎖定大致時間線收到故障消息后我沒有直接去看應(yīng)用代碼而是按從下到上的排查順序一層層來——先看系統(tǒng)日志# 查看服務(wù)異常開始前的系統(tǒng)日志 journalctl --since 2024-06-20 02:00:00 --until 2024-06-20 02:30:00 -p err輸出里有一行很扎眼的記錄kernel: INFO: task kjournald blocked for more than 120 seconds。同時還有幾十條Buffer I/O error on device sdb1的記錄。這兩條合在一起基本鎖定了方向物理磁盤IO異常文件系統(tǒng)已經(jīng)處于半死不活的狀態(tài)服務(wù)進程沒有退出而是在等待IO完成的過程中被卡死了。4.2 第二步用應(yīng)用日志確認因果光有系統(tǒng)日志還不夠要確認應(yīng)用為什么會卡死在這個IO等待上還得翻數(shù)據(jù)節(jié)點服務(wù)的運行日志。在服務(wù)的日志目錄里我找到了一條反復(fù)出現(xiàn)的deadlock相關(guān)的堆棧信息以及大量跟flush to disk相關(guān)的連接超時。把系統(tǒng)日志和應(yīng)用日志按時間對齊之后整個故障鏈路就非常清晰了時間點02:05左右sdb1開始出現(xiàn)IO錯誤。02:10文件系統(tǒng)嘗試進入只讀模式保護自己此時數(shù)據(jù)節(jié)點服務(wù)的一次磁盤寫入請求被阻塞由于等待時間過長服務(wù)內(nèi)的狀態(tài)檢查線程被卡死心跳超時后被集群判定為節(jié)點失效。4.3 第三步后續(xù)處理與策略落地當(dāng)時的處理動作是切換數(shù)據(jù)讀寫路徑到另一塊健康的磁盤把故障盤做unmount和硬件檢查。但更重要的不是“這次怎么處理”而是“下次怎么更快發(fā)現(xiàn)”。于是我做了一個日志分析策略的落地動作——在日志采集端增加一條告警規(guī)則如果一小時內(nèi)在系統(tǒng)日志里檢測到超過50次Buffer I/O error就自動告警并通知硬件維護人員。這就是日志分析策略的意義——它不是事后的無奈補救而是通過預(yù)定義的規(guī)則和閾值把故障的模式固化下來讓運維從被動響應(yīng)變成主動防范。5. 高效日志分析的三板斧grep-awk-sort組合與實用工具聊完策略和實戰(zhàn)案例回歸到具體的“手活”上。日志分析的日常高頻操作說到底就那么幾類掌握好組合方式比背一百個命令都有用。5.1 標(biāo)準(zhǔn)三段式處理流程我處理任何日志文件習(xí)慣上都是走同一個三段式流程過濾 → 提取 → 聚合。過濾是最基礎(chǔ)的一步。用grep把目標(biāo)關(guān)鍵字挑出來但要注意失效場景太多需要做組合條件。比如看Nginx錯誤日志里所有與某個特定接口相關(guān)的且級別在error以上的記錄grep error /var/log/nginx/error.log | grep /api/user/info提取的動作是取字段。用awk按空格或者自定義分隔符把需要的字段切出來。這一步的關(guān)鍵在于日志格式的字段位置不同服務(wù)的日志輸出格式差異很大需要先tail -1看一條樣例確認字段序號。# 看一條樣例 tail -1 /var/log/nginx/access.log | awk {print $1, $7, $NF}聚合是讓日志產(chǎn)生價值的核心動作。用sort | uniq -c | sort -rn的組合把提取后的字段做數(shù)量統(tǒng)計并排序。這三步連起來的完整示例是# 看哪些返回狀態(tài)碼最多 awk {print $9} /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -10 # 看哪些客戶端IP產(chǎn)生請求最多 awk {print $1} /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -105.2 時間窗口與上下文分析日志文件通常按時間順序排列所以head和tail的配合使用很關(guān)鍵。比如定位故障發(fā)生后那段時間的應(yīng)用異常常用的方式是從故障時間點往前推15分鐘把這段日志截取出來單獨分析# 按起始行號截取日志片段 sed -n 5000,5200p /var/log/application/app.log /tmp/fault_window.log # 或者按時間截取 awk $4 [09/Jul/2024:14:00:00 $4 [09/Jul/2024:14:30:00 /var/log/application/app.log說到時間維度有一個高頻掉坑點很多服務(wù)的日志默認輸出的是本地時間但系統(tǒng)日志用的是UTC對比時不做時區(qū)轉(zhuǎn)換的話時間線對不齊故障判斷就會出偏差。建議提前確認各服務(wù)日志的時區(qū)設(shè)置盡量統(tǒng)一配置為UTC或北京時間不要混用。5.3 推薦幾個“人肉不慌”的輔助工具grep、awk這些基礎(chǔ)工具能覆蓋八成場景但有些場景用對輔助工具能事半功倍。lnav一個終端下的日志瀏覽器支持多個日志文件的時間線同步查看、語法高亮、SQL條件查詢。處理跨服務(wù)問題的時候非常有用。czkawka項目里用來做重復(fù)文件檢測的如果你分析的是上傳文件類服務(wù)的日志這個工具能幫你快速找出一堆重復(fù)寫入的資源占用問題。sysdig這是一款系統(tǒng)級監(jiān)控排障工具支持用類似grep的語法過濾系統(tǒng)調(diào)用定位到某個進程的讀寫異常、網(wǎng)絡(luò)連接異常。它和日志分析的關(guān)系更像是“日志查不到的用系統(tǒng)調(diào)用日志兜底”。6. 常見問題與排查技巧實錄不管教科書怎么寫真實世界里總會有各種“不按套路出牌”的情況。這一節(jié)我整理了一些高頻踩坑點都是實際排查過程中驗證過的問題和應(yīng)對方案。6.1 日志文件里出現(xiàn)大量不可讀的二進制亂碼這個問題在你處理btmp和wtmp這類二進制日志文件時幾乎必然遇到。這些文件不能用cat直接看也不能用grep撈內(nèi)容必須通過專門的命令解析# 查看登錄失敗記錄二進制 lastb # 查看所有成功登錄記錄二進制 last # 查看當(dāng)前在線用戶 who如果你用cat /var/log/btmp看到一堆亂碼不要以為文件壞了只是因為文件格式本身就是特殊的二進制存儲格式。6.2 日志時間總是跟實際時間差8個小時八成情況下是時區(qū)配置問題。確認方法timedatectl date -R如果日志里出現(xiàn)的時間比系統(tǒng)當(dāng)前時間晚8小時或早8小時通常是應(yīng)用啟動時讀取了TZ環(huán)境變量但規(guī)則不對或者日志框架里配置了固定的GMT時區(qū)。修復(fù)方式是統(tǒng)一系統(tǒng)時區(qū)為Asia/Shanghai并檢查應(yīng)用的日志配置項。timedatectl set-timezone Asia/Shanghai6.3 應(yīng)用日志一直不滾動磁盤突然被打滿這個問題排查起來很讓人頭疼。logrotate配置了輪轉(zhuǎn)但日志文件大小依舊暴增。最常見的原因是兩個應(yīng)用進程持有舊文件句柄或者是logrotate的daily觸達時間還沒到但日志量已經(jīng)把磁盤灌滿了。應(yīng)對辦法是增加一層輪轉(zhuǎn)監(jiān)控# 看當(dāng)前最大的幾個日志文件 du -a /var/log | sort -rn | head -10同時檢查logrotate的執(zhí)行狀態(tài)cat /var/lib/logrotate/logrotate.status | grep -i nginx\|app如果是應(yīng)用進程不主動重新打開輪轉(zhuǎn)后的新日志文件就需要按照前面說的在postrotate里增加重開信號通知。如果是日志增長速率極快比如某個接口出現(xiàn)死循環(huán)連續(xù)打日志那就得先處理業(yè)務(wù)異常再考慮輪轉(zhuǎn)問題不然設(shè)置多少輪轉(zhuǎn)都不夠。6.4 日志分析腳本把CPU跑滿有一個很經(jīng)典的失誤用grep直接在幾GB的原始日志文件上做多條件過濾或者用awk反復(fù)讀同一個文件IO壓力就把生產(chǎn)服務(wù)器給拖垮了。處理超大日志文件前先做物理截斷或者先復(fù)制到臨時目錄不要讓分析操作直接影響生產(chǎn)IO。更優(yōu)心的做法是壓縮歸檔# 按月歸檔并壓縮 tar -czf /backup/logs/$(date %Y%m).tar.gz --remove-files /var/log/nginx/access.log.*分析時先解壓再處理避免長時間占用生產(chǎn)磁盤IO。7. 從其他領(lǐng)域借鑒的三個日志分析思維日志分析本身是一種通用思維不只是Linux服務(wù)的專屬。在跟做量化交易的朋友聊天時我發(fā)現(xiàn)那些python量化交易策略代碼里處理回測日志和數(shù)據(jù)流時使用的思維——把每一次買賣動作當(dāng)成一條日志把收益率當(dāng)成指標(biāo)用統(tǒng)計辦法去尋找規(guī)律——跟咱們分析服務(wù)日志的哲學(xué)其實完全一致從大量看似隨機的行為記錄里歸納出可以解釋現(xiàn)狀的確定性結(jié)論。還有abac策略的設(shè)計思路對日志分析也很有啟發(fā)。ABAC基于屬性的訪問控制強調(diào)用一組屬性來描述主體、客體和環(huán)境很多權(quán)限策略問題就是因為日志屬性設(shè)計得不夠多維、不夠細致分析時無法精準(zhǔn)切片。我們在做日志采集時也應(yīng)該提前定義好“屬性字段”比如用戶ID、區(qū)域、設(shè)備號、請求路徑這些維度越清晰后續(xù)分析越靈活。另外一個特別有借鑒意義的場景是風(fēng)控策略的日志體系。安全風(fēng)控平臺每天面臨海量用戶行為日志它們的做法是為每個用戶行為打上“風(fēng)險分”根據(jù)風(fēng)險閾值觸發(fā)不同處置動作。這跟Linux日志分析里“設(shè)置閾值觸發(fā)告警”的本質(zhì)邏輯一致。建議每個運維團隊都設(shè)計一個簡單的風(fēng)險分級表根據(jù)日志中的異常模式給出不同的響應(yīng)級別避免所有告警一把抓、全部變成“狼來了”的無效信息。8. 給新手的實操建議從今天就可以開始的四件事文章最后不打算“總結(jié)”什么大道理這里就分享幾個我從零搭建多次日志分析體系后的經(jīng)驗都是可以立刻投入使用的落地動作。第一件事把日志文件清單列全。拿一張紙或者一個記事本把你管理的每臺服務(wù)器的所有/var/log下的日志列表、應(yīng)用日志位置、保留周期全部寫清楚做成一份資產(chǎn)表。這份資產(chǎn)表是一切分析工作的起點。第二件事給日志統(tǒng)一加上請求ID。如果你的應(yīng)用還沒做這個事強烈建議把這個字段加到所有日志的輸出格式里去這樣你就能以一次用戶請求為線索把網(wǎng)關(guān)日志、應(yīng)用日志、數(shù)據(jù)庫日志全部串聯(lián)起來。排查一個超時問題過去要看六個文件現(xiàn)在一條grep 請求ID就能拉出一整條鏈路。第三件事設(shè)置一個“閾值驅(qū)動”的日志巡檢腳本。不用多復(fù)雜每天定時跑一個shell腳本把當(dāng)天日志里的錯誤關(guān)鍵字頻次做統(tǒng)計超過閾值就通知值班。這個低成本動作能擋住相當(dāng)比例的早期故障。第四件事每季度做一次“日志斷舍離”。把那些連續(xù)一個月都沒有任何WARN以上級別記錄的日志項降低采集等級甚至移出存儲列表。日志治理不是只做加法有舍有得才能讓分析價值更聚焦。日志分析這條路越早形成“策略思維”越好。等你哪天不再糾結(jié)具體哪條命令怎么寫了而是想清楚“我要從日志里獲得什么、用什么方法獲得、拿到后怎么處理”時基本就從一個日志苦力進化成真正的架構(gòu)師了。這套路我自己走了十幾年才徹底想明白今天把這些體會寫出來希望對還在日志泥潭里掙扎的同行們有一點幫助。