免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上 上個(gè)月幫同事排查一套 Zabbix 監(jiān)控 Nginx 數(shù)據(jù)一直為空的問(wèn)題。一開(kāi)始我們都把注意力放在 Zabbix Web 端反復(fù)檢查模板、主機(jī)、宏折騰了一上午。最后才發(fā)現(xiàn)真正斷掉的環(huán)節(jié)是 Nginx 的 stub_status 狀態(tài)頁(yè)根本沒(méi)有暴露出來(lái)agent 自然也就拿不到任何數(shù)據(jù)。更讓我意外的是同事的配置是從一篇兩三年前的教程里抄來(lái)的那篇教程里的模板名稱、agent 類型和現(xiàn)在的環(huán)境已經(jīng)對(duì)不上。這不是個(gè)案。Zabbix 監(jiān)控 Nginx 這件事最常見(jiàn)的坑不是 Zabbix 不會(huì)裝而是安裝配置流程里塞滿了舊資料。所以下面我不打算只給一個(gè)固定命令序列而是想把 Zabbix 監(jiān)控 Nginx 的鏈路重新拆一遍Nginx 怎么暴露狀態(tài)agent 怎么讀到數(shù)據(jù)模板怎么匹配以及當(dāng)你拿到一臺(tái)新機(jī)器時(shí)應(yīng)該按什么順序驗(yàn)證。核心判斷只有一句——真正決定這套監(jiān)控能不能跑通的往往不是 Zabbix 本身而是 Nginx 狀態(tài)頁(yè)、agent 采集和模板匹配這三個(gè)環(huán)節(jié)有沒(méi)有全部連上。1. 先想清楚Zabbix 監(jiān)控 Nginx 到底在監(jiān)控什么1.1 表面是進(jìn)程存活本質(zhì)是連接和請(qǐng)求很多入門教程會(huì)把 Zabbix 監(jiān)控 Nginx 簡(jiǎn)單理解成“Nginx 掛了就報(bào)警”。這個(gè)理解不算錯(cuò)但太單薄。Nginx 是應(yīng)用入口它的價(jià)值不在于進(jìn)程起沒(méi)起來(lái)而在于它當(dāng)前扛了多少連接、請(qǐng)求處理得是否順暢、有沒(méi)有異常堆積。Zabbix 之所以能監(jiān)控 Nginx核心不是直接讀進(jìn)程狀態(tài)而是通過(guò) Nginx 自身的狀態(tài)接口或模塊拿到一組結(jié)構(gòu)化指標(biāo)。最常見(jiàn)的數(shù)據(jù)源是 Nginx 官方自帶的 stub_status 模塊。打開(kāi)狀態(tài)頁(yè)后你會(huì)看到類似這樣的一小段文本Active connections: 3 server accepts handled requests 12 12 15 Reading: 0 Writing: 1 Waiting: 2這幾個(gè)數(shù)字的含義值得記住Active connections當(dāng)前活躍連接數(shù)。acceptsNginx 啟動(dòng)以來(lái)成功接受的連接總數(shù)。handled成功處理的連接總數(shù)。正常情況下 accepts 和 handled 應(yīng)該接近。requests總請(qǐng)求數(shù)。Reading / Writing / Waiting分別表示正在讀請(qǐng)求頭、正在寫響應(yīng)、以及空閑 keep-alive 連接的數(shù)量。這些指標(biāo)能幫你看清什么比如 Reading 長(zhǎng)時(shí)間很高說(shuō)明請(qǐng)求堆積在讀取階段背后可能是客戶端沒(méi)有把請(qǐng)求發(fā)完整Waiting 大量存在不是壞事只能說(shuō)明 keep-alive 連接占著資源accepts 和 handled 差距持續(xù)增大則可能說(shuō)明有連接在中間環(huán)節(jié)被丟掉。1.2 為什么很多“監(jiān)控沒(méi)數(shù)據(jù)”其實(shí)和 Zabbix 無(wú)關(guān)排查過(guò)幾次就會(huì)發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 沒(méi)數(shù)據(jù)絕大多數(shù)原因不在 Zabbix要么是 Nginx 狀態(tài)頁(yè)沒(méi)開(kāi)啟要么是狀態(tài)頁(yè)返回的是 HTML 而不是純文本要么是 agent 訪問(wèn)不到狀態(tài)頁(yè)要么是模板里的宏路徑和實(shí)際路徑不一致。Zabbix 本身只是在按固定周期向 agent 要數(shù)據(jù)agent 再去請(qǐng)求 Nginx 狀態(tài)頁(yè)。這一條數(shù)據(jù)鏈上有任何一個(gè)環(huán)節(jié)斷了儀表盤就永遠(yuǎn)是空的。所以我建議把這條鏈路拆成三段來(lái)理解Nginx 負(fù)責(zé)提供數(shù)據(jù)agent 負(fù)責(zé)搬運(yùn)數(shù)據(jù)Zabbix 負(fù)責(zé)展示和告警。后兩段的問(wèn)題通常都有日志可查反而是第一段最容易被人忽略。很多“監(jiān)控沒(méi)數(shù)據(jù)”的案例其實(shí)和你選的模板、版本的關(guān)聯(lián)沒(méi)有想象中那么大問(wèn)題往往出在數(shù)據(jù)源這一層。2. Nginx 側(cè)的狀態(tài)頁(yè)配置先把數(shù)據(jù)源打開(kāi)2.1 先確認(rèn)模塊再改配置順序不要反Nginx 狀態(tài)頁(yè)依賴 http_stub_status_module 這個(gè)模塊。問(wèn)題在于不是所有 Nginx 環(huán)境都默認(rèn)包含它。源碼編譯安裝時(shí)如果沒(méi)有帶 --with-http_stub_status_module后面想加模塊就得重新編譯發(fā)行版?zhèn)}庫(kù)里的 nginx 通常已經(jīng)包含這個(gè)模塊但不同發(fā)行版、不同倉(cāng)庫(kù)之間也可能有差異容器鏡像則更不一定一些精簡(jiǎn)鏡像會(huì)把用不到的模塊裁掉。所以第一步是確認(rèn)模塊存在。常見(jiàn)做法是查看編譯參數(shù)nginx -V 21 | tr \n | grep stub_status如果輸出里能看到 http_stub_status_module說(shuō)明模塊沒(méi)問(wèn)題。如果什么都沒(méi)有就不要繼續(xù)往下配狀態(tài)頁(yè)了先解決模塊問(wèn)題。否則你配置再正確curl 訪問(wèn)時(shí)也只能看到 404。注意有些系統(tǒng)里 nginx 不在 PATH 中可能需要寫全路徑比如/usr/local/nginx/sbin/nginx -V或者先執(zhí)行which nginx確認(rèn)一下。2.2 一個(gè)穩(wěn)妥的 stub_status 配置示例確認(rèn)模塊存在后再修改 Nginx 配置。常見(jiàn)的做法是在一個(gè) server 塊里加一個(gè) location只讓狀態(tài)頁(yè)從指定路徑訪問(wèn)server { listen 80; server_name _; location /nginx_status { stub_status; allow 127.0.0.1; allow 192.168.10.0/24; deny all; } }這里有幾個(gè)細(xì)節(jié)要說(shuō)明。location /nginx_status是精確匹配避免掩蓋其他路徑規(guī)則stub_status;是常見(jiàn)寫法如果你看到的舊教程里寫的是stub_status on;通常也能兼容但更推薦按當(dāng)前版本的標(biāo)準(zhǔn)寫法來(lái)allow 和 deny 用來(lái)限制來(lái)源 IP避免狀態(tài)頁(yè)暴露到公網(wǎng)。雖然狀態(tài)頁(yè)內(nèi)容看起來(lái)不敏感但泄露給外界等于給攻擊者多一個(gè)信息采集入口沒(méi)有理由不做限制。寫完配置后先檢查配置再重載nginx -t nginx -s reload # 如果使用 systemd 管理也可以寫成 systemctl reload nginx然后用 curl 驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開(kāi)頭那段純文本說(shuō)明 Nginx 側(cè)已經(jīng)通了。注意curl 的來(lái)源 IP 要和 allow 規(guī)則匹配否則你會(huì)看到 403。2.3 容器化和非默認(rèn)端口環(huán)境的特殊點(diǎn)如果你的 Nginx 跑在容器里情況會(huì)稍微復(fù)雜一點(diǎn)。agent 要么和 Nginx 在同一個(gè)容器內(nèi)要么通過(guò)容器 IP 或映射端口訪問(wèn)狀態(tài)頁(yè)。容器內(nèi)的 Nginx 如果只監(jiān)聽(tīng)了容器內(nèi)部端口agent 在宿主機(jī)上直接 curl 127.0.0.1 是拿不到響應(yīng)的。這類問(wèn)題用 curl 驗(yàn)證時(shí)最容易暴露但很多人會(huì)誤以為是自己配置寫錯(cuò)了。另外狀態(tài)頁(yè)不一定只能放在 80 端口。有的環(huán)境為了安全和便于管理會(huì)把狀態(tài)頁(yè)放在 8080 或單獨(dú)一個(gè) server 塊里。這樣的設(shè)計(jì)沒(méi)問(wèn)題但模板里的宏就要跟著改。這里的重點(diǎn)是先想清楚 agent 要從哪個(gè)地址訪問(wèn) Nginx然后保證這個(gè)地址上的 TCP 連通性和 ACL 都允許。不要只在 Zabbix 里把宏改來(lái)改去主機(jī)上卻訪問(wèn)不到。我在很多環(huán)境里見(jiàn)過(guò)一種最隱蔽的錯(cuò)誤狀態(tài)頁(yè)本身配置正確但 allow 規(guī)則只放行了 127.0.0.1agent 卻通過(guò)內(nèi)網(wǎng) IP 去訪問(wèn)狀態(tài)頁(yè)。agent 請(qǐng)求時(shí)Nginx 看到的來(lái)源 IP 是內(nèi)網(wǎng)地址命中 deny all于是返回 403監(jiān)控項(xiàng)自然拿不到數(shù)據(jù)。所以配置 allow 時(shí)要想著 agent 會(huì)從哪個(gè) IP 過(guò)來(lái)而不是只寫 127.0.0.1。3. Zabbix agent 這一層不是安裝了就行3.1 配置 Server 地址和 Hostname一致性是第一原則Nginx 狀態(tài)頁(yè)通了之后才輪到 agent。agent 安裝本身不復(fù)雜麻煩的是配置。以最常見(jiàn)的 zabbix-agent 為例配置文件里幾個(gè)關(guān)鍵參數(shù)一定要理解Server192.168.10.20 ServerActive192.168.10.20 Hostnameweb01Server 和 ServerActive 不是一回事。Server 是被動(dòng)模式下允許從 Zabbix Server 拉取 item 的地址白名單ServerActive 是主動(dòng)模式下 agent 向哪個(gè) Zabbix Server 或 Proxy 上報(bào)數(shù)據(jù)的地址。如果你只配置了 Serveragent 就會(huì)等 Server 來(lái)問(wèn)如果你用了主動(dòng)模式ServerActive 也要填。很多舊教程只寫一個(gè)值換到新環(huán)境就出問(wèn)題。比這更容易出錯(cuò)的是 Hostname。Zabbix Web 端添加主機(jī)時(shí)填的主機(jī)名必須和 agent 配置里的 Hostname 保持一致。如果 Web 端寫的是 web01agent 里配的是 nginx-web-1那么即使在 Zabbix 里能看到主機(jī)監(jiān)控項(xiàng)也始終是 no data。在新版本 agent 里你還會(huì)看到HostnameItemsystem.hostname這樣的配置意思是讓 agent 用系統(tǒng)本身的 hostname 作為上報(bào)名稱。這個(gè)機(jī)制可以避免手工維護(hù) Hostname但前提是系統(tǒng) hostname 必須和 Zabbix Web 里的主機(jī)名一致。所以不管用哪種方式原則都是同一個(gè)兩邊名字要對(duì)上。3.2 agent 與 agent2模板和 key 可能不一樣這里要說(shuō)一個(gè)“和過(guò)去不一樣”比較明顯的點(diǎn)現(xiàn)在 Zabbix 官方推薦使用 Zabbix agent 2也就是 agent2。agent2 不僅在采集能力上更豐富還支持一些內(nèi)置插件但對(duì)應(yīng)的模板、監(jiān)控項(xiàng) key 和舊 agent 不完全一樣。在 Zabbix Web 里搜索 Nginx 時(shí)你可能會(huì)看到多個(gè)模板有些名字類似 Nginx by HTTP有些類似 Nginx by Zabbix agent 2。如果你在主機(jī)上裝的是 agent2卻鏈接了舊 agent 版本的模板可能會(huì)出現(xiàn) unsupported item。反過(guò)來(lái)也一樣。所以我的建議是在鏈接模板之前先打開(kāi)模板里的監(jiān)控項(xiàng)預(yù)覽看它使用的采集類型是 Zabbix agent、HTTP agent還是依賴 agent2 插件。確認(rèn)它跟你實(shí)際安裝的 agent 類型對(duì)得上再鏈接。這一步只要花兩分鐘卻可以省掉后面一晚上的排查時(shí)間。agent 和 agent2 的服務(wù)名也不一樣常見(jiàn)的有 zabbix-agent、zabbix-agent2系統(tǒng)服務(wù)名可能是 zabbix-agentd.service 或 zabbix-agent2.service。啟動(dòng)服務(wù)后用systemctl status看一下是否 active再看一眼日志路徑常見(jiàn)的是/var/log/zabbix/下面。出現(xiàn)問(wèn)題時(shí)日志里通常直接會(huì)告訴你 key 不支持還是連接失敗。3.3 用 zabbix_get 快速驗(yàn)證采集鏈路在 Web 端排查前可以先在 Zabbix Server 上用 zabbix_get 做一次最直接的驗(yàn)證確認(rèn) agent 是否正常工作zabbix_get -s 192.168.10.11 -k agent.ping如果返回 1說(shuō)明 Server 能連上 agent。如果返回值不是 1就別急著去 Web 端看模板先解決網(wǎng)絡(luò)、端口和 Hostname 問(wèn)題。agent.ping 是通用探活 key驗(yàn)證通過(guò)后再去模板里找到你想測(cè)的監(jiān)控項(xiàng) key比如和 Nginx 狀態(tài)頁(yè)相關(guān)的 key繼續(xù)用 zabbix_get 測(cè)試。不同版本、不同模板的 key 名稱會(huì)有差異所以這里不列具體 key但思路是一樣的先用 curl 確認(rèn)狀態(tài)頁(yè)存在再用 zabbix_get 確認(rèn) agent 能取到值最后才去 Web 端看圖表。鏈路從底層往上逐層打通比在界面上猜效率高得多。4. 在 Zabbix Web 端鏈接模板別被舊截圖帶偏4.1 模板名稱已經(jīng)變過(guò)好幾輪Zabbix 的模板策略在過(guò)去幾年變化很大。這次部署里我在模板列表里搜索 nginx出來(lái)的已經(jīng)不是早期教程里那張截圖上的名字了。官方模板按采集方式做了拆分有的走 HTTP agent有的走 Zabbix agent有的專門適配 agent2。這本身是好事但如果你照著一個(gè)兩三年前的教程去選模板很可能選錯(cuò)。我的建議是以當(dāng)前 Zabbix 版本實(shí)際加載的模板列表為準(zhǔn)不要憑記憶點(diǎn)。鏈接模板后立刻去“監(jiān)測(cè) – 最新數(shù)據(jù)”里過(guò)濾這個(gè)主機(jī)等一到兩個(gè)更新周期看有沒(méi)有數(shù)據(jù)進(jìn)來(lái)。如果 Zabbix 的刷新周期是 30 秒或 1 分鐘通常幾分鐘內(nèi)就能看到。另外一個(gè)主機(jī)通常只需要鏈接一個(gè)對(duì)應(yīng)當(dāng)前采集方式的 Nginx 模板不需要把所有 Nginx 模板全鏈接上。鏈接多個(gè)模板并不會(huì)讓數(shù)據(jù)更豐富反而會(huì)讓監(jiān)控項(xiàng)沖突、重復(fù)告警排查起來(lái)也更亂。4.2 宏參數(shù)路徑、協(xié)議、端口都是變量模板鏈接后還有一層容易被忽略宏參數(shù)。官方 Nginx 模板里通常會(huì)定義一組宏用來(lái)告訴 agent 去哪個(gè)地址、哪個(gè)路徑、用什么協(xié)議獲取狀態(tài)頁(yè)。常見(jiàn)宏名可能包括{$NGINX.SCHEME}、{$NGINX.PORT}、{$NGINX.STUB_STATUS.PATH}具體名稱以你當(dāng)前模板為準(zhǔn)。它們的作用就是把狀態(tài)頁(yè)的訪問(wèn)信息從監(jiān)控項(xiàng)中抽出來(lái)這樣同一套模板可以復(fù)用在不同的 Nginx 主機(jī)上。如果你的狀態(tài)頁(yè)地址不是默認(rèn)值就不用改監(jiān)控項(xiàng)直接在主機(jī)層級(jí)覆蓋宏就行。比如狀態(tài)頁(yè)路徑是 /nginx_status 而不是 /status就在主機(jī)的宏里把對(duì)應(yīng)宏改成實(shí)際路徑。改完后等下一次采集生效再看最新數(shù)據(jù)。要注意的是宏的生效范圍有層級(jí)全局宏、模板宏、主機(jī)宏。主機(jī)宏優(yōu)先級(jí)最高。如果模板里已經(jīng)定義了默認(rèn)值主機(jī)上沒(méi)改也沒(méi)關(guān)系但如果狀態(tài)頁(yè)地址做了修改一定要記得改對(duì)應(yīng)主機(jī)的宏而不是只在模板里改一個(gè)默認(rèn)值因?yàn)槟0迥J(rèn)值會(huì)影響所有鏈接該模板的主機(jī)。還有一個(gè)容易出錯(cuò)的地方狀態(tài)頁(yè)地址如果是 https但宏里用的是 http監(jiān)控項(xiàng)會(huì)一直返回錯(cuò)誤。這種問(wèn)題在視覺(jué)上非常隱蔽因?yàn)?Nginx 和 agent 都正常只有協(xié)議不匹配。4.3 驗(yàn)證模板是否能出數(shù)據(jù)鏈接模板和配好宏之后不要直接離開(kāi)頁(yè)面。花一分鐘做兩件事第一到主機(jī)監(jiān)控項(xiàng)列表里看有沒(méi)有出現(xiàn)紅色 error 狀態(tài)的監(jiān)控項(xiàng)第二到最新數(shù)據(jù)里過(guò)濾該主機(jī)確認(rèn)有非空數(shù)據(jù)。如果看到 error 狀態(tài)的監(jiān)控項(xiàng)先點(diǎn)擊進(jìn)去看錯(cuò)誤信息。常見(jiàn)的有 unsupported item key、Cannot connect to [...]: 10060、Connection refused 這類。每一條錯(cuò)誤信息其實(shí)都指向了數(shù)據(jù)鏈路的具體環(huán)節(jié)比你在外面猜模板要快得多。如果最新數(shù)據(jù)里有值但看起來(lái)不對(duì)比如 Reading 是 0、Writing 是 0也不要慌先用 curl 手動(dòng)看一次狀態(tài)頁(yè)確認(rèn)源數(shù)據(jù)里就是這些值然后判斷是 Nginx 本身空閑還是采集路徑不對(duì)。如果源數(shù)據(jù)是對(duì)的Zabbix 只是如實(shí)展示不用改 Zabbix。5. 沒(méi)數(shù)據(jù)的排查鏈路按順序查別亂試5.1 四個(gè)環(huán)節(jié)從上到下檢查如果你最終面對(duì)的是一臺(tái)沒(méi)數(shù)據(jù)的 Nginx 主機(jī)不要先懷疑 Zabbix更不要反復(fù)重新鏈接模板。按下面的順序逐層排查通常能在十分鐘內(nèi)定位問(wèn)題。第一層Nginx 狀態(tài)頁(yè)是否可訪問(wèn)。curl -s http://127.0.0.1:80/nginx_status如果 curl 能返回純文本進(jìn)入下一層。如果返回 403、404 或 HTML 頁(yè)面問(wèn)題在 Nginx 側(cè)。第二層agent 能否讀到狀態(tài)頁(yè)。注意 agent 的運(yùn)行身份和權(quán)限。你可以切換到 agent 運(yùn)行用戶或者用 sudo 模擬執(zhí)行同樣的 curl 命令確認(rèn) agent 視角下能訪問(wèn)。如果 agent 在容器里還要確認(rèn)容器網(wǎng)絡(luò)。第三層Server 和 agent 之間是否連通且 Hostname 匹配。zabbix_get -s agent_ip -k agent.ping如果 zabbix_get 返回 1說(shuō)明網(wǎng)絡(luò)層通。然后再確認(rèn) Web 端主機(jī)名和 agent Hostname 一致。第四層模板宏和監(jiān)控項(xiàng)是否匹配。打開(kāi)監(jiān)控項(xiàng)列表查看具體監(jiān)控項(xiàng)的 key、宏替換后的實(shí)際地址用測(cè)試功能跑一次。如果返回錯(cuò)誤根據(jù)錯(cuò)誤信息調(diào)整宏。這個(gè)順序的核心思路是先確定是哪一層壞了再?zèng)Q定修哪里。不要在不知道哪一層出問(wèn)題的時(shí)候改配置改來(lái)改去只會(huì)讓狀態(tài)更亂。5.2 高頻錯(cuò)誤對(duì)照表下面這張表基本覆蓋了 Zabbix 監(jiān)控 Nginx 時(shí)最容易遇到的幾類現(xiàn)象現(xiàn)象常見(jiàn)原因處理思路狀態(tài)頁(yè) curl 返回 404沒(méi)有配置 location 或模塊缺失先查 nginx -V 里的 stub_status 模塊狀態(tài)頁(yè) curl 返回 403allow/deny 沒(méi)有放行 agent 來(lái)源 IP調(diào)整 allow 規(guī)則思考 agent 從哪個(gè) IP 訪問(wèn)監(jiān)控項(xiàng)顯示 unsupported itemagent 版本或模板類型不匹配確認(rèn)是 agent 還是 agent2換對(duì)應(yīng)模板或 key最新數(shù)據(jù)一直是空Hostname 不匹配、宏路徑不對(duì)、采集周期長(zhǎng)檢查主機(jī)名一致性測(cè)試宏替換后的地址監(jiān)控項(xiàng)返回 Connection refusedagent 未啟動(dòng)、端口不通、防火墻攔截systemctl status 看服務(wù)再用 zabbix_get 驗(yàn)證狀態(tài)頁(yè)返回的是 HTML 而非純文本location 配置被其他規(guī)則截獲檢查 server 塊順序確認(rèn)精確匹配位置這張表不是讓你背下來(lái)而是給你一個(gè)參考坐標(biāo)。遇到問(wèn)題時(shí)先看現(xiàn)象再判斷屬于哪一層然后去對(duì)應(yīng)位置檢查。5.3 沉淀一個(gè)“四層驗(yàn)收清單”最后一個(gè)能長(zhǎng)期復(fù)用的經(jīng)驗(yàn)把 Zabbix 監(jiān)控 Nginx 的鏈路固定成一張驗(yàn)收清單每次新接入一臺(tái) Nginx 主機(jī)時(shí)按順序過(guò)一遍。Nginx 狀態(tài)層模塊存在、location 配置正確、curl 返回純文本、allow 已放行 agent 來(lái)源 IP。Agent 采集層服務(wù)已啟動(dòng)、配置了正確的 Server/ServerActive、Hostname 與 Web 端一致、zabbix_get 驗(yàn)證 agent.ping 返回 1。Server 接入層Web 端主機(jī)存在、agent 接口可達(dá)、主機(jī)名匹配。模板匹配層鏈接了適配 agent 類型的 Nginx 模板、宏路徑/協(xié)議/端口正確、最新數(shù)據(jù)出現(xiàn)非空值。這個(gè)清單不是固定不變的但它能幫你把一次復(fù)雜的排查變成一次順序的確認(rèn)。以后不管是三臺(tái)機(jī)器還是三十臺(tái)機(jī)器先讓這種驗(yàn)證順序變成肌肉記憶再談自動(dòng)化。6. 適用邊界這套方案不是所有 Nginx 環(huán)境都適合6.1 適合誰(shuí)Zabbix 監(jiān)控 Nginx 這套方案適合的場(chǎng)景其實(shí)很清楚你已經(jīng)在用 Zabbix手里是一批長(zhǎng)期存在的虛擬機(jī)或物理機(jī)核心關(guān)注的是連接數(shù)、請(qǐng)求數(shù)、握手狀態(tài)等基礎(chǔ)指標(biāo)。這種情況下引入一套新的監(jiān)控系統(tǒng)成本遠(yuǎn)大于收益直接在 Zabbix 里接 Nginx 模板是最順的路。從我個(gè)人經(jīng)驗(yàn)看當(dāng)一個(gè)團(tuán)隊(duì)已經(jīng)用 Zabbix 管了幾百臺(tái)機(jī)器再為了 Nginx 單獨(dú)部署一套 Prometheus、Grafana反而不劃算。不是因?yàn)?Prometheus 不好而是你的告警、權(quán)限、儀表盤、值班流程都已經(jīng)長(zhǎng)在 Zabbix 上了新增一套系統(tǒng)意味著要同時(shí)維護(hù)兩套監(jiān)控體系的賬號(hào)、存儲(chǔ)和告警規(guī)則。6.2 不適合誰(shuí)反過(guò)來(lái)如果你的環(huán)境是大量短生命周期容器Nginx 實(shí)例像 Pod 一樣隨時(shí)擴(kuò)縮容Zabbix 這種以主機(jī)為單位的管理模型就會(huì)變得很吃力。每來(lái)一個(gè)新實(shí)例都要?jiǎng)?chuàng)建主機(jī)、鏈接模板、維護(hù) Hostname規(guī)模一大這些動(dòng)作本身就是運(yùn)維負(fù)擔(dān)。另外如果業(yè)務(wù)需要按 URL、按狀態(tài)碼、按 upstream 做細(xì)粒度 SLA 分析單靠 Zabbix 的 Nginx 狀態(tài)頁(yè)數(shù)據(jù)也不夠。狀態(tài)頁(yè)給的是連接數(shù)和請(qǐng)求總數(shù)拿不到每個(gè)接口的響應(yīng)時(shí)間分布。這種需求更適合讓 Nginx 輸出 access log 結(jié)構(gòu)化、再送進(jìn)時(shí)序數(shù)據(jù)庫(kù)或者日志系統(tǒng)或者直接采用具有服務(wù)發(fā)現(xiàn)能力的監(jiān)控方案。這不是說(shuō) Zabbix 不能做擴(kuò)展而是說(shuō)你要先判斷值不值得。任何方案都有維護(hù)成本Zabbix Nginx 監(jiān)控的優(yōu)勢(shì)是簡(jiǎn)單直接代價(jià)是深度有限。認(rèn)清這個(gè)邊界比盲目堆監(jiān)控項(xiàng)更重要。6.3 重要的不是某一個(gè)命令而是適應(yīng)變化的能力回到標(biāo)題里那半句“和過(guò)去有一點(diǎn)不同”。這句話其實(shí)很適合用來(lái)概括這類監(jiān)控方案的常態(tài)Nginx 的編譯參數(shù)在變agent 從舊版走向 agent2模板名稱和宏定義在變安裝方式從裸機(jī)走向容器。過(guò)兩年你再回頭看今天這篇文章里的具體配置很可能又有出入。但有一點(diǎn)不會(huì)變數(shù)據(jù)從 Nginx 到 agent 再到 Server 這條鏈路的邏輯是穩(wěn)定的。你只要掌握了“先 curl 狀態(tài)頁(yè)、再 zabbix_get 探活、最后看模板宏”的驗(yàn)證順序無(wú)論版本怎么升級(jí)你都能在最短時(shí)間內(nèi)判斷出問(wèn)題出在哪一層。這才是比某一條命令更有價(jià)值的東西。所以我的長(zhǎng)期建議是不要只收藏某個(gè)版本的配置片段而是順手把自己的環(huán)境、模板名稱、宏定義、驗(yàn)證命令寫成一個(gè)簡(jiǎn)短文檔或腳本。下次再遇到 Nginx 監(jiān)控沒(méi)數(shù)據(jù)你不是回去翻舊教程而是打開(kāi)自己的排查清單?;氐介_(kāi)頭那個(gè)案例。我們最后做的事情其實(shí)很簡(jiǎn)單把 stub_status 狀態(tài)頁(yè)配置好allow 規(guī)則放行 agent 來(lái)源 IP再把 Web 端主機(jī)名和 agent Hostname 改成一致。數(shù)據(jù)在第二個(gè)更新周期就出現(xiàn)了。整個(gè)過(guò)程沒(méi)有任何懸案只是之前分散在不同教程里的經(jīng)驗(yàn)沒(méi)有串成一條完整的鏈路。Nginx 側(cè)會(huì)變、Zabbix 會(huì)變、模板會(huì)變但驗(yàn)證順序不會(huì)變。下次再看到最新數(shù)據(jù)為空時(shí)不要急著在界面上反復(fù)點(diǎn)先打開(kāi)一個(gè)終端curl 一下?tīng)顟B(tài)頁(yè)很多時(shí)候答案早就寫在響應(yīng)里了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九99精品免费播放| 久久久久人妻精选| 久久人妻少妇嫩草AV| 三区激情四射av| 欧美怡红院黄站| 这里只精品| 日韩一级一片内射视频4K| 5月婷婷6月丁香aV| 色色色五月婷婷| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月天激情小说| 5月婷婷五月天| 婷婷五月天Av| 久99视频在线观看| 欧美久热| 久99热在线观看| 欧美经典片免费观看大全| 人人人va亚洲视频在线| 高清不卡一区| 一区二区免费看| 久久久99精品免费观看| 99热精品10| 99热手机在线精品| 久久最新色| 国产在线6| 欧美大肥婆大肥BBBBB| 色J香五月天| 99热这里只有精品268| 秋霞网在线免费基地五月婷婷丁香| 狠狠狠狠狠狠狠狠草| www.99色在线| 99国产精品白浆在线观看免费| 婷婷激情九月| 丁香五月婷婷手机| 综合激情深爱| 国产资源91在线| 五月天婷婷久久日| sS丁香五月婷婷| 99亚洲视频| 人妻中文在线| 色婷婷综合网| 99色| 成人无码髙潮喷水A片| 亚洲成人AV在线播放| 欧美啄木乌丝袜人妻系列| 色优久久| 六月婷婷综合激情| 狠狠色噜噜狠狠狠777奇米| 色色网站在线| 蜜乳AV成人| 91久久久久久| 少妇熟女视频一区二区三区| 色99热| 久久只有18视频| 五月开心婷婷中文字幕| 亚洲免费视频网站| 一级操逼大片| 538在线精品| VA婷婷| 天堂网亚洲色图| 99热精品在线| 这里只有精品视频99| 玖玖资源站中文| 色五月天.con| www.天天色综合| www九月婷婷| 91久久久久久久| 日本狠狠色| 久久伊人大香蕉| 9热在线观看| 丁香婷婷六月天| 中海油常州环保涂料有限公司| www.99久久久久99| 风流少妇A片一区二区蜜桃| 色丁香久久| 激情六月综合| 五月婷婷亚洲色视频| 日本三级日本黄色| 欧美婷婷九月| 99婷婷| 日本黄色在线观看| 亚洲艹网| 亚洲成人噜噜| 黄色五月婷婷| 免费看成人AA片无码视频吃奶| 99视频这里有精品| 9久久久| 超碰在线超碰| 熟女激情网| 综合激情网五月激情| 亚洲婷婷五月天综合| 丁香五月1页| 99热免费网站| 日韩三级高清无码| 另类视频五月天| 青青草成人网| 日本久久激情| 五月婷色丁香| 五月激情五月婷婷五月天在线| 99久热这里有精品| 99精品视频免费| 啪啪婷婷五月天激情| 91久久久久久| 五月丁香亭亭A片| 热久69| 成人在线精品| 欧洲激情精品婷婷| 91九色首页| 色五月丁香com| 婷婷综合玖玖五月| 少妇日麻屄| 丁香五月第四色88| 九九热免费| 精品夜夜澡人妻无码AV| 欧美综合五月丁香六月婷| 丁香婷婷激情综合五月激情 | 大香蕉99热| 国产精品一区在线观看你懂的| 色综合久久久综合久久网| 国产婷婷久久| 五月五丁香婷婷| 五月丁香婷婷AV| 无码色色色| 色婷婷久久9.com| 亚州操操| 美女丁香五婷婷| 这里只有精彩视频| 97干视频在线| 日本五月天一页| 深爱激情六月天| 丁香操逼| 日日射天天射| 91精品久久久久久综合五月天| 伊人大香蕉爱聚| 亚洲1区| www.sezonghe| 国产成人精品一区二区三区视频| 91久久1118| 99久久免费精品| 久久92| 99re欧美精品| 五月丁香激情综合网官网| 特级西西4444www无码| 九热视频| 婷婷放心五日爱| 色99在线视频| 五月天婷婷狂暴白浆| 中文AV网站| 婷婷五月天成人在线视频| 青青草原精品久久| 久久五月婷天天干| 五月激情综合激情五月| 亚洲综合视频在线| 国产在线黄色| 婷婷五月激情图片| 91综合在线观看首页| 婷婷基地成人五月天| 日韩 中文 欧美| 99天堂在线观看免费视频| 亚洲色色色色色色色色色| 五月花综合视频| 日韩在线观看网址| 婷婷丁香五月天色区| 99狠狠色| 婷婷涩五月| 五月婷婷五月色| 色色色香蕉五月婷| 六月婷婷国产| 激情五月天婷婷播播久久综合91| www激情网| 人妻人人操| 久草性爱| 丁香六月色婷婷| 九九九九热99超碰| 五月天婷婷在线播放免费| 五月成人网站| 丁香五月综合久久八| 久久Xx| 91操在线| 9l视频自拍9l视频自拍九色学生| 大香蕉五月天婷婷丁香91| 五月天激情小说欧美激情| 刘玥av在线| 色婷婷婷婷成人网| 激情AV综合| 99热99ai| 亚洲精品又粗又大又爽A片| 牛牛色av| 欧美视频五区| 99re热在线视频| 五月天天爱| 丁香婷婷五月色综合| 久月丁香爱婷婷综合| 99色视频| 丁香五月天激情综合网| 97luluse| 婷婷五月六月丁香| 黄色激情久久| 六月丁丁香| 91成人电影| 欧洲一区二区| 99日精品视频| 五月天色色婷婷| 亚洲小电影在线观看黄999| 丁香色婷婷五月天| 综合色吧| 色五月欧美| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 丁香五月天AV在线 | 天天激情夜夜干| 开心五月婷婷激情| 色情综合网| 综合性爱网| 婷婷玖玖丁香| 亚洲天堂热| AV在线观看网站| 99九无网码| 激情久久五月天| www.婷婷| 久久A热| 亚洲九九99精品视频在线播放| 四色五月婷婷在线观看| 丁香色六月婷婷| 综合网天天| 婷婷久久国产视频| 懂色av粉嫩AV蜜臀AV| 亚洲第一精品网站| 亚洲AV网址| 天天操天天曰| 色狠狠色综合| 99精品久久久久久久婷婷| 五月亭亭六月天| 色综合天天网| 五夜丁香| 五月天婷婷综合色| 色五月色五天色情网| 人妻射精AV| 天堂伊人干| 婷婷五月天伊人网| 综合在线网| 免费视频99| 69精品人人人人| 欧美搡BBBBB摔BBBBB| 五月婷婷之美女图片| 激情视频综合| 九九在线精品| 少妇久久诱惑视频| 1024你懂的欧美曰韩| 婷婷五月丁香色情| 婷婷五月天AV在线| 99色在线视频| 天天艹夜夜艹| 99亚洲大片精品永久在线观看| 免费看无码视频A级| 婷婷色色五月天| 亚洲色无码| 色婷婷五月影视| 蜜桃人妻无码AV天堂三区| 国产色99| 五月久久五月激情| 伊人色综合久久久| 亚洲精品久久久久AV无码| 五月婷婷片| 99热超碰| 久久婷婷啪啪视频| 国产a视频| 婷婷中文字幕| 丁香五月婷久久| 开心激情网五月| 开心五月天私房婷婷| 一区=区操屄高清大全av| 色中色综合| 九九热最新地址| 高清无码 一区 二区 三区| 国产成人高清| 亚洲熟女色| 9精品国产在热久久| 99精品在线观看| 日日干日日| 天天爽综合| 久草大| 五月婷婷导航| 久久久久久18| 五月天大香蕉视频| 97色一二三| 国产成人精品亚洲线观看| 91se在线视频| 五月丁香免费视频| 久9视频免费播放| 99热中文字幕久久| 五月情涩综合婷婷| 丁香五月婷婷手机| 久久久久久久久久人妻| 亚洲激情综合网| 日韩av在线免费观看| 香蕉久久国产AV一区二区| www色婷婷| 激情五月婷婷在线观看| 婷婷五月天开心网| 色婷婷小说网| 这里只有精品无码| 亚洲五月天婷婷在线| 日日操夜夜操狠狠操| 丁香色影院| 婷婷色色色| 九九九激情网| 久久爱综合| 伊综合蕉| 久热精品在看| 超碰无码318604| 丁香色影院| 九九久久偷拍| 六月丁香停| 日本在线99| 亚洲99在线| 九月婷婷色色| 五月婷婷激情刺激| 精品婷婷五月视| 婷婷色香六月综合激情| 天天久久综合| 色五月婷婷一二| 激情婷婷六月天| 丁香五月婷婷激情蜜桃| 日日夜夜狠狠| 激情深爱五月天| 成片免费播放| 91大屁股在线| 91人人操| 婷婷久久午夜网| 婷婷六月丁香久| 国产看真人毛片爱做A片| www.狠狠操| 91 影音先锋| 色99色| 国产露脸150部国语对白| 任你躁XXXXX麻豆精品| 日韩av一区二区在线/日产精品久久久| 国产精品美女久久久久AV超清| 2050人人操免费工开爱| 中文在线成人| 成人五月天在线观看| 婷婷成人综合免费视频| 色五月婷婷啪啪五月| 亚洲色婷婷五月| 丁香激情五月| 成人日韩欧美| 在线亚洲综合网| 久久久久久久久久91| 久久视频婷婷视频| 色婷婷九月综合| 久久久噜噜噜久久人妻| av狠狠操| 五月天操逼激情| 婷婷欧美激情| 欧美久久五月婷婷| 九九热在线视频,| 丁香六月亭亭久久综合| 91人碰| 婷婷亚洲综合| 中文字幕第四色.999| 夜夜操夜夜爽| 久久色五月| 少妇人妻人伦A片| 99久久99九九99九九九| 婷婷国产五月天17c| 亚洲色图五月丁香五月婷婷| 婷婷综合| 婷婷激情综合无月| 这里只有精品视频99| 婷婷五月香蕉| AV片在线观看| 亚洲中文无码成人| WWW.桔色成人.COM| 综合婷婷久久| 五月伊人91| 色婷婷av在线| 五月丁香六月婷婷久久| 亚洲天堂久久| 在线伦子99热| 国产一区男女| 夜夜夜天天操| 色色色色综合| 综合久久狠狠| 五月激情婷婷图片基地| 91成人视频| 五月天另类小说久久小说网| www色婷婷久久综合久色 | 色停停五月天| 亚洲妇女熟BBW| 在线中文亚洲| 天天色情站| 天天插天天爱| 色色色香蕉五月婷| 七七九九色色| 大香蕉综合| 亚洲精品九九| 亚洲婷婷六月天| 日本一道久久| 99乱视频| 亚洲欧洲午夜成人精品av| 国产露脸150部国语对白| 久大香蕉| 影音先锋91| 日本97在线看片| 久久丁香五月婷婷激情综合网| 九月综合| 久超超碰| 影音先锋91| 狠狠色噜噜色狠狠狠综合色| 色六月视频| 国产精品久久久久久久久久| 精品网站99| 欧美内射AA| 国产97色在线 | 日韩| 婷婷伊人久久综合| 内射在线CHINESE| 开心五月天私房婷婷| 亚洲天堂爱爱| 超碰在线观看9| 色99在线观看| 成人网站高清无码| 久久99网| 国产亚洲网站在线| 91ncm视频| 热久69| 婷婷五月色播放| 婷婷字幕在线| 26uuuavcom| 亚洲亚洲人成综合网络| 亚洲愉拍99热成人精品| 精品国产va久久久久| 九九色大香蕉| 7777激情基地| a久久| 免费精品66| 啪啪91| 中文字幕综合网| 色五月色五天色情网| 亚洲天堂啪啪| 激情综合亚洲| 热99re| 一级黄色片看看| 天天色天天舔天天爱天天爽| 啪啪五月婷婷| 综合性爱网| 操逼视频网址| 天天搞天天色综合| 天天久久66xxx| 色色五月婷| 五月激情丁香五月宗合| 另类婷婷五月天啪帕帕| 综合XX网| www.激情.com.| 久久婷婷啪啪视频| 日本九九九九九九| 天天搞天天色综合| 成人龟情网丁香五月| 狠狠五月天婷婷| AVDV久久| 色五月综合激情| www.com任你艹| 日本欧美国产| 人妻熟妇国产精品| 疯狂做受XXXX高潮A片| 久久五月天精品视频| AV性爱在线| 丁香五月天在线直播观看| 51国精产品自偷自偷综合| 色色色视频免费无码| 香蕉久久国产AV一区二区| 日日夜夜爽爽| 黄色激情久久| 色五月激情五月| 久久综合激情婷婷激情| 91人人网| 青青久在线视频免费观看| 996er在线观看| 超碰色综合| 五月天婷婷AV| 人妻aV在线| 人妻乱码久久久| AAAA网站| 五月婷婷开心深| 夜色热久| 六月丁香五月天| site:publishdd.com| 99网址在线观看| 五月婷婷激情综合拍| 色亭亭九月| 超碰免费人人| 777精品成人a v久久| 9婷婷内射| 99色色网| 久月婷婷| 天天日综合| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸| 伊人久久艹| 色婷婷综合视频| 入口五月婷婷六月香| 婷婷六月天国产综合| 91色五月| 婷婷五月六月激情| 丁香五月综合久久八| 少妇水多A片太爽了| 免费亚洲婷婷| 丁香婷婷在线| 色情五月天小说| 91九色成人原创视频| 天天噜| 久久色在线视频| 婷婷久久天堂网| 性一交一乱一交A片久| 天天干天天拍| 战争与艾拉电影免费观看| 99综合熟女| 婷婷操无码| 成人丁香五月| 欧美99热| 日本美女上人| 色婷狠狠| 五月婷婷丁香在线| 狠狠干激情五月| 超碰人人草| 日本97久久久精品| 玖久久网站| 99精品成人无码A片观看金桔| 婷婷五月综合网| 丁香五月狠狠在线观看| 噜噜五月天综合| 国产毛片精品一区二区色欲黄A片| 99热成人精品网站| 99ri视频在线观看| www.久热| 五月天色不卡| 26UUU一区二区| 国产婷婷五月| 成人龟情网丁香五月| 欧美日韩91| 六月丁香激情网| 美女网黄| 婷婷综合激情| 99色精品| www.狠狠操| 99热一区| 狠狠色色| 思思热在线观看| 天天操婷婷| 久久精品五月天| 丁香五月Av| 婷婷六月色播| 五月色影院| 色爱亚洲| 久久hd| 激情综合网五月| 91视频一起草| 色播五月丁香| 色婷婷av在线观看| 男妓跪趴把舌头伸进我的嘴巴| 婷婷激情四射| 国产67194| a网站免费观看| 玖玖在线视频| 五月婷色色| 天天日,天天干,天天操| 久久ww| 成熟妇人A片免费看网站| 国产精品久久久久久久久久| 亚洲成人AV电影在线| 日韩无码AV电影网站| 久久久性爱视频| 色婷婷五月在线| 国产精品国产| 大香蕉九九| 婷婷五月激情五月激情| 久久人妻久久| 丁香五月婷中字幕| 天天综合中文| 天天噜| 站长推荐无码播放| 天天综合网在线| 天天天天操| 大香蕉五月天| av在线婷婷| 婷婷综合在线| 无码激情| 九九在线热九九在线热99热| 丁香久久九九99| 激情99热| 26uuu欧美日韩| 婷婷综合成人五月天| 久久96热| 丁香六月激情四射| 五月综合激情婷婷六月色窝| 日韩黄色AV无码| www.com任你艹| 婷婷午夜| 丁香五月五婷| 99热婷婷| 91女人18毛片水多国产| 久久免费操| 婷婷五月天va| 欧洲综合色| 日韩黄色电影| 亚洲乱码日产精品BD在线观看| 岛国午夜视频| 伍月婷丁香婷| 亚洲综合激情五月久久| 久久金品黃色| 乱精品一区字幕二区| 超碰免费观看| 第2色五月婷| 99热这里有精力| 色色色色综合| 777久久久| 丁香六月婷婷综合色| 狠狠操狠狠干综合| 丁香午夜天| 激情五月婷婷色综合| 久久婷综合网| 人人舔天天| 五月婷婷色色色| 99热8在线| 五月色色网| 天天精品视频在线观看视频| 99热精品观看| 91丁香色五月| 丁香五月婷婷姐| 狠狠色五月| 99久久99综合| 高清不卡一区| 九九热只有精品| 久热91| 国产成人精品一区二三区熟女在线| 婷婷五月天丁香社区| 色婷婷视频| 超级碰碰碰97免费| 9l视频自拍九色9l黑人| 九九热只有这里是精品| 91九色精品女同系列| 成人久碰| www.日日夜夜| 久操婷婷| 五月婷婷婷综合网| 日韩精品色| 可以免费观看的AV| 伊人婷婷综合| 另类图片五月天婷婷| 丁香激情综合| 五月丁香激情综合网| 婷婷五月中文字幕| 韩日在线熟女| 五月天婷婷免费| 欧美色必爱| 五月色情婷婷开心五月色情| 大香蕉久久| 色色色999| 天堂网啪啪| 亚洲AVwwwwwww| 婷婷六月天亚州| 色婷婷成人做爰A片免费看网站| 九九色色| 26uuu成人网| 特黄三级片| 六月婷婷激情| 久久永久视频| 五月丁香六月婷| 亚洲天堂碰碰婷婷| 日日夜夜狠狠干| 97luluse| 激情亚洲网| 日韩在线视频9色| 亚洲性色XXXXX| 日韩AV免费看| 五月丁香婷婷激情澎湃四射| 丁香六月激情国产| 色狠狠色噜噜AV天堂五区消防| 九月婷婷久久久| 操91| 亚洲九九99精品视频在线播放| 日韩无码一区二区三区四区| 激情五月天电影| 天天做天天爱天天高潮| 五月婷高清视频| 99热这里只有精品中文字幕| 99riAV国产精品视频| 激情综合网,婷婷五月天| 激情五月天婷婷丁香| 91人人网| 大香蕉av在线| 色碰碰| 五月天精品视频| 九九热a| 九九精品热| 久久五月丁香综合17C| 香蕉久久国产AV一区二区| 天天插天天很| 91久久人人操| 九九99热| 亚洲激情亚洲激情| 能直接看的av网站| 日本天天综合| 丁香五月 性爱| 久久99热免费最新版| AV动漫不卡无码免费| 97人人操人人| 亚洲婷婷在线播放十月| 极品人妻VIDEOSSS人妻| 久久小片| 综合久久综合| 色噜噜狠狠色综无码久久合欧美| av中文网站| 婷婷五月天综合久久| 亚洲色视频| 亚洲色欲欧美一区二区三区| 婷婷丁香黄色| 色综合综合色| 99re热视频| 五月亭亭欧美女人| 综合网天天| 区区欧美你爱| 91成人品| 67194中文在线| 婷婷五月天堂| 五月婷在线影院| 伊人干综合| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 新激情五月天| 婷婷激情五月天在线| 91综合色噜噜| 337p大胆噜噜噜噜噜91Av| 五月丁香六月婷婷不卡免费无码 | 涩五月色婷婷| 超碰免费人人| OYIWbGcPu8H| 香蕉狠狠爱视频| 日韩婷婷五月天| 久久久性爱网| 久久婷婷超碰| 亚洲成人免费电影| 天天橾夜夜爽| 精品久久婷婷| 思思久久99热只有频精品66| 99re在线精品视频| 天天色天天爱天天爽| 婷婷无码视频| 五月色婷婷夜色| 天天日夜夜爽| 99re视频在线播放| 久久婷婷色五月| 五月婷婷久久综合| 伊人综合网站| 五月婷视频| 人妻肉射免费观看| 91婷色| 91九色 熟| 五月丁香在线| 久久伊人五月天| 99热这里只有精品官网| 精品一二三区视频立| 天天操五月天| 开心婷婷五月综合| 777精品久无码人妻蜜桃| 99热这里都是精品| 天天拍夜夜爽| 99精品在线观看| 色九九丁香九月色九九色| 99精品国产乱码久久久人妻| 久色视频| 91久久久久久久久18| www.99热这里只有精品| 五月天婷婷黄色| 另类图片五月天婷婷| 在线成人网站| 色九亚洲| 婷婷9月天| 深爱激情丁香| 五月天淫乱视频| 99久久大片| 99热这里只有精品13| 亚州精品色情无码A片| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 中文字幕婷婷在线| 精品夜夜澡人妻无码AV| 天天操天天操天天操天天操天天操 | 26uuu成人网| 五月婷婷黄色| 免费黄色AV| 久热这里只有| 噜噜色com| 日韩一66精品| 人人操Av| 婷婷五月天激情偷拍| 午夜亚洲国产精品av一区二区| 精品网站:999WWW| 婷婷五月天午夜激情影院| 五月婷婷激情| AA片在线观看视频在线播放 | 日 日干 日日做| 欧美日韩大黄| 婷婷成人网五月天| 91久操| 婷婷五月天色| 欧韩性爱| 婷婷深爱五月天在线| 国产裸舞福利资源在线视频| 丁香婷婷免费| 婷婷的五月天另类视频| WWW夜夜| 欧美韩日AAA网站| 丁香婷婷六月天| 色综合性视频| 天天xxxxxx天天日| 五月天婷婷影院影院观看| 色欲色香伊人| 久热这里| 七七色色综合| 操人妻视频91| 婷婷九月亚洲| 蜜臀99精品| 五月色丁香| 亚洲热视频在线| 99视频内射三四| 婷婷五月激情综合| 亚洲欧洲中文日韩久久AV乱码| 欧美槡BBBB槡BBB少妇| av网站不卡在线| 99热黄| 欧美色色色色色色色色色色| 国产成人网址| 五月色无码| 五月婷婷网五月在线| 天天婷婷综合亚洲亚洲| 综合狠狠干| 99精品免费视频| 大香蕉九九| www.狠狠| 婷婷色综合中心站| 亚卅毛片| 亚洲欧美成人在线| 激情五月综合六月丁香婷婷狠狠干| 开心五月深爱五月婷| 五月丁香人妻| 97操操| AA片在线观看视频在线播放| 免费V片在线| 大香蕉婷婷丁香视频在线| 久久中国毛毛片爱久久| 丁香五月激情网| 97福利视频| 婷婷天天舔| www.26uuu.com亚洲电影| 开心五月婷婷六月丁香| 激情综合网五月天天| 天天做天天摸| 熟女网站久久| 26UUU精品一区二区| 亚洲精品一区中文字幕乱码| www99xxxx五月丁| 九月婷婷久久| 欧洲亚洲免费视频9| 婷婷激情五月天视频在线| 亚洲色碰| 激情婷婷五月在线合集| 亚洲1区| 天天日日夜夜爽。| 婷婷激情伍月网| 性生活久久人妻| 大香蕉久| 99久久五月婷婷| 99偷拍视频在线日本| 欧美天天五月丁香免费观看| 99热在线观看免费精品| 国产又粗又大又爽又黄| 亚洲婷婷综合视频| 182TV亚洲| 26uuu另类| 超碰在线视屏| 最新日韩AV中文字幕| 国产日批视频免费播放| 五月丁香六月情| 91狠狠综合久久久久久| 大香蕉视频99| 激情五月婷黄版| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 91精选国| 91日日日| 殴美日韩成人| 99热偷拍| 天天摸日日舔狠狠添婷婷婷 | 爆乳熟妇一区二区三区爆乳照片| 亚洲无码影片| 情婷婷五月天在线| 五月婷婷导航| 1024人妻无码中文字幕| www激情| 九九在线精品| 丁香色五月 97干| 69久久99精品久久久久婷婷| 伊人五月久久| 丁香六月激情综合| 日韩性爱无码| 久久婷婷婷婷伊人| 色五月激情综合网| 五月天婷婷操逼视频| 亚洲激情免费视频观看| 超碰在线日夜| 亚洲日韩人妻操逼| 综合网激情| 久婷婷婷| 天天射影院| av人人操| 综合五月天完整| 亚洲AV免费在线| 亚洲av成人一区二区电影在线| 日操五月婷| 六月激情网| 狠狠干综合| 超碰在线人妻| 婷婷的99视频网站| 婷婷五月天综合AV| 亚洲无码你懂的| 婷婷五月天激情诱惑| 久操香蕉| 国产精品婷婷午夜在线观看| 2025神马午夜福利| 青青夜夜狠狠夜夜狠狠| 五月婷在线观看| 五月天丁香婷婷社区| 婷婷五月天狠狠色| 亚洲乱码日产精品BD| 嫩草AV久久伊人妇女超级A| 亚洲在线资源| 夜夜大香蕉婷婷丁香| 天天噜| 五月丁香激| 天天干天天做| 丁香婷婷色情| 99九九99九九九视频精彩| 免费看欧美成人A片无码| 夜夜人妻五月天| 久久婷婷影院| 另类图片天天影视在线观看| 日韩久热| 九久9精品| 99热这里只有精彩| 欧美69久成人做爰视频| 天天色天天干天天插| 91婷色| 99天堂网| 激情综合无码| 欧美色偷拍| 色婷婷免费视频| 热久69| 五月婷婷六月激情在线| 丁香婷婷综合激情五月色| 欧美日韩成人免费在线| 亭亭五月天黑人2014| 五月开心久久| 色情综合网| 色五婷婷开心缴| 伊人影院久久网| 操逼三区| 夜夜涩涩涩| 天天操天天干天天射| se色99| 五月丁香婷婷狠狠操| 久久机热/这里只有精品| 99热爆在线| 丁香五月婷婷五月天| 人妻中文在线| 无码少妇高潮喷水A片免费| 五月婷婷自拍视频| 91精品无码久久久久久五月天| 日日噜噜夜夜狠狠久久丁香五月| 九九精品丁香花| 丁香桃色网| 性爱五月婷婷| 日韩aaaaa| 五月综合激情视频| 2021日韩无码| 99视频这里有精品| 天天夜天天色天天| 五月丁香婷婷激情影院欧美| 99色色网| 国产成人网站在线观看| 午夜丁香婷婷| 久久超级碰碰| 玖玖午夜视频| 操碰97| 国产XXXX搡XXXXX搡麻豆| 婷婷六月激情丁香| 久婷久婷| 69凹凸成人综合网| 激情爱爱网站| 婷婷五月激情网站| 久久se 综合网| 人人爱国产| 婷婷五月丁香基地在线视频官网| 激情五月四色| 激情五月天开心| 欧美久久网| 五月色婷婷综合| 丁香五月区| www.zbzhongsen.com| 婷久久高清| 色情五月丁香| 第2色五月婷| 激情性爱网站| 92久久精品一区二区| 欧美激情综合五月色丁香| 深爱婷婷基地| 五月丁香趴趴| WWW.国产| 激情综合五月丁香| 久久婷婷五月综合色播| 午夜色丁香| 亚洲色网络| 天天做夜夜爽| 天天爽曰日爽| 久久婷婷青草五月天| 激情婷婷五月天丁香| 青柠影视免费高清电视剧| 久久综合影院| 天天天天天久久久久久| AV伊人青草丁香六月| 男女啪啪视频久 9| www.五月天婷婷| 香蕉人在线香蕉人在线 | 五月社区丁香| aaaa.黄| 久久婷婷青青| 天天操天天操天天操天天操天天操| 五月综合精品| 激情婷婷五月天伊人在线观看| 五月天婷婷激情四射综合| 五月天社区| 婷婷丁香五月综合| 亚洲综合五月天综合| 99网址在线看| 久久婷婷综合色丁香| 久久99热这里只频精品6学生| 97热精品| 五月天四色房丁香亭亭| 婷婷五月天视| 日韩久综合| 996热| www.超碰在线| 九九免费在线视频| 成人色图情色成人网 www.5b5b5bcom 五月天| 91丨九色丨国产打屁股| 国产色丁香| 亚洲色婷婷五月天| 99色在线| 婷婷亚洲天堂| www.minyis.com【JT】实力收量可预付QQ2101460746 | 欧美日本综合网| 综合色五月| 成人网站免费在线播放| www热久久yy9| 婷婷丁香综合| 亚州综合色| 久久大国产香蕉| 91超碰人人操| 超碰AV在线| 久久这里有精品| 九六五月天婷婷| 丁香五月天无码AV| 五月丁香亭亭操逼| 婷婷五月六月丁香| 国外亚洲成AV人片在线观看| 五月天婷婷成人网| 97自拍视频在线| 91人人爽狠狠狠| 狼人狠狠操| 26.uuu丁香五月婷婷| 五月婷婷九九热| 97五月久久丁香婷婷| 一级操逼内射在线视频| 狠狠擼综合| 日韩av干| 五月丁香六月婷婷在线小说视频| 最新日本A片| 伊人婷婷大香蕉| 久久伊人婷婷| 日本色频| 男人天堂亚洲综合| 婷婷五月花免费视频在线| 激情五月深爱五月| 婷婷激情另类| 能看的AV网站| 久久这里有精品视频在线免费观看| 99爱无码| 丁香五月天激情综合| 色色色99| 五月天久久婷婷| 可以看的av网站| 做爰丰满少妇1313| 99九九这里有免费视频| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 色99超碰| 激情久久久久| 欧美成人无码一区二区三区| 色五月激情综合| 婷婷五月天少妇| 丁香六月狠狠| 多精窝99在线视频| 婷婷天天舔| 夜夜人妻五月天| 色月视频| 99色热视频| 天天日天天做天天操| 色五月丁香在线| 俺去也在线www色官网| 欧洲亚洲欧洲99久久| 99惹精品视频| 5月丁香六月婷婷| 性日本精品| 日本成人噜噜噜| 日日做天天操夜夜爽| 日本婷婷色日| 婷婷久久免费| 欧美这里只有精品| 九九综合影音先锋 | 九九热超碰| 亚洲国产无线乱码在线观看| 99久久婷婷五月| 狠狠色婷婷777| 99热这里只有精品2024| 丁香五月天社区| 丁香五月激情五月| 67194线路二在线观看| 伊人色综合久久久| 色婷婷五月天中文字幕| 五月婷婷丁香在线视频| 免费黄色AV| 日欧一片内射VA在线影院| 丁香五月激情啪啪| 中文字幕性爱丰满| 色色网站免费| 丁香六月欧美| 国产欧美大香蕉一区| 色婷婷av综合网| 色色色999| 日本va欧美va欧美| 激情丁香五月天图片| 五月婷婷中文| 香蕉久久国产AV一区二区| 久久综合五月| 激情综合五月婷| 丁香六月婷婷激情| 色色亚洲| 久久久99日本大片| 中文字幕簧片| 色婷婷丁香五月| 婷婷久久综合| 狠狠草网| 久热只有这里有精品| 激情综合网 激情五月天| 天天舔天天摸| 91 影音先锋| 九九精品热| 亚洲最大视频| 欧美性生交XXXXX无码小说| 91九色欧美| 婷婷丁香五| 开心婷婷中文字幕| 99综合网| 97九色| 色五月AV| avh片在线观看| 激情五月综合视频| AV操逼网| 无码一级片| va婷婷在线免费观看| 中文av网| 日韩日比视频| 26uuu亚洲精品国产| 无码人妻精品一区二区蜜桃色欲| 色五月激情综合| 激情www.98com| 五月天社区| 外国碰视频网站97| 色色色色色色色色色999| 91超碰九色| 123日本不卡在线| 久久精品爱爱| 999久久久国产精品| 福利视频在线播放| 操碰91| 99亚洲视频| 雪千夏麻豆| 99色在线观看免费| 这里只有精品视频在线| 欧美这里只有精品| 涩丁香| 亚洲婷婷丁香五月亚洲| 日韩成人电影AV| 久久与婷婷| 色五月婷婷亚洲最大| 久久久久久婷| 婷婷开心青青草| 亚洲另类在线观看| 国产片天天爽夜夜爽| 色情五月婷婷| 五月丁香激情四射| 亚洲婷婷五月天| 色婷婷色综合| 开心五月深爱婷婷| 久久久91精品| 天天情色五月天| 五月婷A V在线| 蜜臀av在线成人电影| 丁香网五月天| 91久热| 成人av在线电影| 三级黄色大片视频| 成人 在线 日韩| 久热网站| 亚洲乱码精品久久久久..| 激情久久肏屄视频| 97人妻碰碰碰久久香蕉| 天天干,天天操,天天射| 狠狠穞A片一區二區三區| 69综合在线| 97五月久久丁香婷婷| 人伦30P| 成人精品在线| www.91久久| www.狠狠| 深爱五月激情综合| 狠狠五月天| 日日操,日日爽| 五月伊人91| 这里只有精品视频在线看| 五月婷久久久久综合| 丁香婷婷在线| 国产综合A片| 九九热精品视频| 五月天丁香婷| 五月婷综合| 婷婷五月综合欧美在线播放| 思思9久久| 激情五月视频在线婷婷| 99热国产婷婷| 思思精品视频| 99热亚洲综合| 色视频五月天| 婷婷综合日本| 亚洲精品色| 97婷婷狠狠久久综合9色| 亚洲另类日本| 日本三级网址| 丁香五月先锋| 综合亚洲色色| 亚洲亚洲人成综合网络| 丁香五月综合亚洲| 狠狠狠狠青草| 激情99热| 婷婷丁香五月天综合AV| 色爱综合网| 深爱五月最新网址| 99热精品网| 人人爱国产| 天天爽夜夜爽| 激情爱爱网站超大免费| 五月天婷婷色|