免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

tentakel:基于SSH的輕量集群批量執(zhí)行工具與巡檢實(shí)踐

tentakel:基于SSH的輕量集群批量執(zhí)行工具與巡檢實(shí)踐 簡介Tentakel是一款面向系統(tǒng)管理員和運(yùn)維工程師的集群批量操作工具能夠?qū)Τ砂偕锨€分布式節(jié)點(diǎn)并發(fā)執(zhí)行命令、腳本和自動化任務(wù)適用于服務(wù)器批量更新、軟件部署、系統(tǒng)升級、日志收集等場景顯著降低大規(guī)模集群運(yùn)維的時間成本與誤操作風(fēng)險。資源包共110個文件體積僅547KB以70個Python腳本為核心目錄結(jié)構(gòu)清晰既包含可讀的源碼實(shí)現(xiàn)也提供配置示例、Markdown及文本說明、Makefile與打包部署文件配合man幫助頁、變更記錄等完整參考資料便于閱讀、二次開發(fā)或快速部署。目前已有713人學(xué)習(xí)下載。借助該包可深入了解Tentakel的并發(fā)調(diào)度、SSH密鑰認(rèn)證、任務(wù)監(jiān)控與錯誤報告、彈性配置及跨平臺兼容等核心機(jī)制并通過附帶的配置模板、自動化工作流示例結(jié)合自定義調(diào)度策略與權(quán)限控制快速搭建適合自身集群環(huán)境的運(yùn)維平臺從而提升批量操作效率、可審計性與系統(tǒng)穩(wěn)定性。1. tentakel 是什么一臺機(jī)器的命令幾十臺機(jī)器一起跑tentakel 這個名字直譯過來是“觸手”它要解決的問題就是讓你一只手同時伸進(jìn)幾十臺機(jī)器。它是一個輕量的集群批量執(zhí)行工具不裝 agent、不寫 playbook本質(zhì)上是在本機(jī)把多個 ssh 會話并行組織起來把同一條命令撒到一組機(jī)器上再統(tǒng)一收結(jié)果。第一次接手一批機(jī)器時可以用它快速摸底日常巡檢時可以用它并行采集狀態(tài)臨時要改配置、看日志也不用為一個動作去引入一套配置管理平臺。它適合機(jī)器規(guī)模在幾十臺這個量級、操作以臨時性和探索性為主的團(tuán)隊也適合已經(jīng)在用 ansible 但嫌太重、想保留一套輕量通道的熟手。下面內(nèi)容從安裝和最小配置講起逐步拆到分組策略、執(zhí)行節(jié)奏、常見坑最后落成一套可以直接用的巡檢閉環(huán)。2. 把 tentakel 裝起來并跑通第一組命令從最小配置文件開始2.1 安裝前先搞清楚依賴它只是 ssh 的調(diào)度器tentakel 最容易被誤解的一點(diǎn)是大家以為它和被管理機(jī)器之間有某種協(xié)議或服務(wù)。實(shí)際上它什么服務(wù)都不需要你只要保證本機(jī)能用 ssh 連上目標(biāo)機(jī)器tentakel 就能工作。它做的事就是把配置文件里的一組主機(jī)名、和你給的命令翻譯成一批并行發(fā)起的 ssh 調(diào)用然后把各自的輸出收回來。所以被管理機(jī)器上唯一的依賴是 sshd 和你的登錄賬號這也就是“無 agent 集群工具”這個說法的來源。安裝本身不復(fù)雜。先在自己的發(fā)行版包管理器里搜一下apt 系用apt-cache search tentakelrpm 系用yum search tentakel只要軟件源里有直接裝就是。如果源里沒有也不用著急tentakel 的依賴非常少源碼方式安裝也是常規(guī)三步# 把你拿到的源碼包解壓后進(jìn)入目錄按常規(guī)流程編譯安裝 make make test sudo make install邏輯說明make負(fù)責(zé)生成可執(zhí)行文件和默認(rèn)配置模板make test會在本機(jī)跑一遍最小用例確認(rèn)沒有環(huán)境問題后再make install。參數(shù)說明如果你的環(huán)境沒有 sudo 權(quán)限可以只解壓后把可執(zhí)行文件放到個人目錄再把 PATH 指過去不影響使用。安裝后先確認(rèn)版本tentakel --version tentakel --help第一行確認(rèn)裝上了第二行看手頭版本支持哪些參數(shù)。tentakel 不同發(fā)行版的打包會有細(xì)微差異后面的命令如果和你本機(jī)對不上以--help的輸出為準(zhǔn)。2.2 第一個配置文件一個組、兩( 三)臺機(jī)器tentakel 的默認(rèn)配置文件是用戶家目錄下的~/.tentakelrc系統(tǒng)級配置通常在/etc/tentakelrc或/etc/tentakel/下具體路徑看安裝方式。對個人使用來說寫~/.tentakelrc就夠。格式非常簡單方括號是組名下面每行是一個主機(jī)名cat ~/.tentakelrc EOF [test] web01.internal web02.internal EOF邏輯說明[test]定義了一個叫 test 的組組里有兩臺主機(jī)web01.internal和web02.internal。tentakel 看到這個配置后會把后面你給的命令并行發(fā)到這兩臺機(jī)器上。參數(shù)說明主機(jī)名可以是短主機(jī)名也可以是完整域名或 IP關(guān)鍵是你的 ssh 能直接解析并連接它行首#開頭的是注釋會被忽略。這里有個很容易忽略的點(diǎn)tentakel 并不會幫你做 ssh 免密配置所以第一次跑之前先手動確認(rèn)一下ssh web01.internal hostname如果這一步需要輸密碼說明你后面跑 tentakel 也會被密碼卡住。先把本機(jī)到目標(biāo)機(jī)器的免密登錄配好再繼續(xù)往下走。2.3 跑第一組命令并看懂輸出配置文件寫好、ssh 通路確認(rèn)后第一組命令就可以發(fā)了tentakel test uptimetentakel 會并行連接 test 組里的兩臺機(jī)器在各自終端執(zhí)行uptime然后把輸出收回來。輸出里一般會帶主機(jī)名標(biāo)識以便區(qū)分結(jié)果來自哪臺機(jī)器具體樣式取決于版本和是否開啟了 verbose。如果你手頭版本支持-v參數(shù)可以打開 verbose 看更詳細(xì)的執(zhí)行狀態(tài)不支持的版本也不用擔(dān)心直接看輸出內(nèi)容即可。tentakel -v test uptime邏輯說明test是配置里的組名后面跟的字符串是遠(yuǎn)程要執(zhí)行的命令。整條命令會被原樣交給遠(yuǎn)程 shell所以帶引號這個習(xí)慣要養(yǎng)成避免本機(jī) shell 先把命令拆了。參數(shù)說明-v是 verbose 的簡寫它會把每臺機(jī)器的連接狀態(tài)、命令執(zhí)行狀態(tài)一并打出來排查問題時很有用如果你的版本不支持-v運(yùn)行tentakel --help能看到這個參數(shù)到底叫什么。跑通這一條tentakel 的核心鏈路就通了。接下來要解決的是另一個問題機(jī)器一多、組一雜配置文件該怎么組織。3. 分組配置再深入按用途拆組、按環(huán)境隔離、先查再跑3.1 三種常用的靜態(tài)分組方式tentakel 的分組模型很樸素一個組名對應(yīng)一組主機(jī)名命令行里給組名命令就會發(fā)到該組的所有機(jī)器上。實(shí)際使用中分組維度通常有三個按角色拆、按環(huán)境拆、按批次拆。按角色拆是最常見的比如把 Web 服務(wù)器放一個組、數(shù)據(jù)庫放一個組cat ~/.tentakelrc EOF [global] ssh_command ssh -o ConnectTimeout5 -o BatchModeyes [webservers] web01.internal web02.internal web03.internal [dbservers] db01.internal db02.internal [all] web01.internal web02.internal web03.internal db01.internal db02.internal EOF邏輯說明[global]段是全局參數(shù)ssh_command指定 tentakel 調(diào)用 ssh 時用的命令模板。這里給 ssh 加了兩個參數(shù)ConnectTimeout5讓連接階段 5 秒超時BatchModeyes禁止交互式輸入密碼、失敗就立刻返回避免批量執(zhí)行時掛在密碼輸入上。參數(shù)說明BatchModeyes不適用于你還沒配好免密的場景它只是讓故障快速暴露不是讓故障消失。按環(huán)境拆則是把生產(chǎn)、測試、演練機(jī)器分開維護(hù)避免誤操作范圍擴(kuò)大。按批次拆適合你臨時要處理一批特定機(jī)器的情況比如升級只覆蓋部分機(jī)器時單獨(dú)建一個臨時組用完就刪。這三種拆法可以疊加角色組管職責(zé)環(huán)境組管邊界批次組管變化。3.2 用不同配置文件隔離生產(chǎn)與測試環(huán)境如果所有環(huán)境寫在一個~/.tentakelrc里最大的風(fēng)險就是手抖想對 test 組執(zhí)行命令結(jié)果組名敲成了 prod。tentakel 支持通過-c參數(shù)指定配置文件所以更穩(wěn)妥的做法是為每個環(huán)境維護(hù)一套獨(dú)立配置。cat ~/.tentakelrc.prod EOF [app] app01.corp.internal app02.corp.internal EOFcat ~/.tentakelrc.staging EOF [app] stg01.corp.internal stg02.corp.internal EOF# 需要操作哪個環(huán)境就顯式指名配置文件避免默認(rèn)配置里混著多個環(huán)境 tentakel -c ~/.tentakelrc.prod app uptime tentakel -c ~/.tentakelrc.staging app uptime邏輯說明-c接受一個配置文件路徑tentakel 啟動時讀這個文件而不是默認(rèn)的~/.tentakelrc。這樣一來生產(chǎn)配置和測試配置物理隔離命令行里也能一眼看出當(dāng)前操作的是哪個環(huán)境。參數(shù)說明-c的具體拼寫如果在你本機(jī)版本里不是這個運(yùn)行tentakel --help確認(rèn)一下但絕大多數(shù)打包版本都支持這個參數(shù)。這個習(xí)慣很重要。我見過不止一次有人在測試環(huán)境執(zhí)行命令時因?yàn)槟J(rèn)配置里同時存在 prod 和 test 兩組組名寫錯一位就發(fā)到了生產(chǎn)機(jī)器上。用配置文件把環(huán)境隔開是從源頭降低批量操作風(fēng)險的手段。3.3 執(zhí)行前先檢查分組別讓同一臺機(jī)器跑兩遍配置文件用久了主機(jī)名會重復(fù)。比如 all 組里手動維護(hù)了全量機(jī)器webservers 和 dbservers 里也有同樣的主機(jī)一旦你在命令行里同時指定多個組同一臺機(jī)器可能被執(zhí)行兩次這在執(zhí)行重啟、停服務(wù)這類操作時就是事故。所以我的習(xí)慣是改完配置先檢查再跑命令。# 列出配置里所有組名 awk -F[][] /^\[/{print $2} ~/.tentakelrc這個命令把配置里所有[...]形式的行截出來顯示當(dāng)前有哪些組。接著檢查主機(jī)有沒有重復(fù)# 統(tǒng)計所有主機(jī)名出現(xiàn)次數(shù)次數(shù)大于 1 就說明有重復(fù) grep -v ^# ~/.tentakelrc | grep -v ^\[ | grep -v ^$ | sort | uniq -c | sort -rn邏輯說明先把注釋、組名行和空行全部過濾掉剩下的都是主機(jī)名然后排序、去重統(tǒng)計最后按出現(xiàn)次數(shù)倒序排列。如果看到某個主機(jī)名前面的數(shù)字大于 1就說明它在配置里出現(xiàn)了多次。參數(shù)說明uniq -c是在排序基礎(chǔ)上統(tǒng)計連續(xù)重復(fù)行所以必須先sortsort -rn讓重復(fù)次數(shù)最多的排在最上面一眼就能看到問題主機(jī)。在第 3 章的最后留一個建議如果 tentakel 的版本支持在組里引用其他組比如[all:include]這種寫法優(yōu)先用引用而不是手動把主機(jī)再抄一遍。手動維護(hù)的重復(fù)列表遲早會在一次變更中漏掉某臺機(jī)器。手頭版本不支持也沒關(guān)系那就靠上面這個檢查命令兜底。4. 執(zhí)行節(jié)奏與輸出處理并行執(zhí)行怎么不翻車4.1 先懂 tentakel 的并行模型再決定要不要拆組tentakel 默認(rèn)是并行執(zhí)行意思是它不會等第一臺機(jī)器跑完才開始第二臺而是把所有目標(biāo)機(jī)器的 ssh 會話同時拉起誰先出結(jié)果誰先顯示。這個設(shè)計在機(jī)器少的時候非常爽二十臺機(jī)器同時執(zhí)行幾秒內(nèi)全部返回。但機(jī)器一多、任務(wù)一重并行反而可能翻車所有機(jī)器同時執(zhí)行高負(fù)載命令監(jiān)控會告警同時重啟一個服務(wù)下游會出現(xiàn)大量連接錯誤幾十臺機(jī)器同時涌回輸出終端直接花屏。所以真正的工程問題不是“怎么讓它并行”而是“怎么按自己的節(jié)奏控制并行”。在不確定手頭版本是否提供并發(fā)數(shù)限制參數(shù)的情況下我一般用分組輪詢來控制做法是把一個大組按角色拆成幾個小組然后寫循環(huán)逐組執(zhí)行# 按 webservers - appservers - dbservers 的順序逐批執(zhí)行每批內(nèi)部并行 for g in webservers appservers dbservers; do echo ${g} tentakel $g uptime done邏輯說明循環(huán)體里每次只處理一個組組內(nèi)機(jī)器并行組與組之間串行。這樣既保留 tentakel 天然并行的優(yōu)點(diǎn)又不會讓全量機(jī)器在同一秒內(nèi)被命令擊中。參數(shù)說明${g}是循環(huán)變量tentakel $g uptime等價于依次執(zhí)行tentakel webservers uptime、tentakel appservers uptime、tentakel dbservers uptime。如果手頭版本本身支持并發(fā)數(shù)參數(shù)也可以直接傳參但我這里給的拆組方案不依賴任何特殊參數(shù)在所有版本上都成立。4.2 把超時和密鑰行為統(tǒng)一交給 sshtentakel 本身不負(fù)責(zé)網(wǎng)絡(luò)超時它把連接這件事交給了 ssh。所以你會發(fā)現(xiàn)有時候命令發(fā)出去了終端一直沒反應(yīng)也不報錯——大概率是某臺機(jī)器的 ssh 連接卡在了 TCP 層等待超時。解決思路不是在 tentakel 層面找開關(guān)而是把超時和交互行為在 ssh 層面統(tǒng)一設(shè)置。# 在 ~/.tentakelrc 的 global 段統(tǒng)一給 ssh 傳參 [global] ssh_command ssh -o ConnectTimeout5 -o BatchModeyes這個配置的意思是tentakel 每次調(diào)用 ssh 時都會自動帶上這兩個參數(shù)。ConnectTimeout5讓連接階段 5 秒超時適用于大多數(shù)內(nèi)網(wǎng)場景BatchModeyes讓 ssh 放棄交互式密碼輸入一旦密鑰失效直接失敗返回。二者合在一起的效果是批量執(zhí)行時不會再有一臺機(jī)器的連接問題拖住整個批次最多 5 秒后報錯你立刻知道哪臺有問題。參數(shù)說明ConnectTimeout的值根據(jù)網(wǎng)絡(luò)情況調(diào)整跨機(jī)房、跨地域會需要更大值同機(jī)房 3 到 5 秒足夠BatchModeyes對已經(jīng)配好免密的機(jī)器沒有副作用但如果你還在排查密鑰問題先單獨(dú)手動 ssh 確認(rèn)不要開著 BatchMode 去猜原因。4.3 給命令本身加超時防止遠(yuǎn)程命令永久掛住連接超時管的是“連不上”的情況但還有一種更隱蔽的場景連接沒問題命令在遠(yuǎn)程機(jī)器上卡住了比如某個自動化腳本在等一個永遠(yuǎn)等不到的鎖。這種情況下即使 ssh 連接正常命令也不會返回。處理辦法是在命令前包一層timeout# 每臺機(jī)器上的命令最多執(zhí)行 15 秒超時則返回非零狀態(tài) tentakel all timeout 15 sh -c hostname; uptime; df -h / | tail -1邏輯說明timeout 15是 Linux 自帶的命令超時工具15 秒到了就強(qiáng)制終止后面的命令。sh -c ...把多條命令包成一個整體交給遠(yuǎn)程 shell 執(zhí)行避免分號在逐層傳參時被拆壞。參數(shù)說明15 秒這個值要看你命令的預(yù)期耗時采集系統(tǒng)信息 15 秒足夠跑備份、部署這類長任務(wù)就別用這么小的值否則會把正常命令誤殺。這一步和 4.2 的ConnectTimeout是兩層防護(hù)一個管連接建立一個管命令執(zhí)行。兩層都設(shè)好批量執(zhí)行才不容易被一兩臺異常機(jī)器拖住。5. 常見問題與避坑五條批量執(zhí)行的血淚經(jīng)驗(yàn)5.1 host key 校驗(yàn)把整個批次卡死現(xiàn)象第一次在新機(jī)器上跑 tentakel命令發(fā)出去后長時間無響應(yīng)既不報錯也不返回。看進(jìn)程發(fā)現(xiàn) ssh 進(jìn)程都停在那里等輸入。原因目標(biāo)機(jī)器的 host key 不在本機(jī)known_hosts里ssh 默認(rèn)在交互模式下會詢問是否信任BatchMode 沒開的時候就直接掛住等待。tentakel 不會替你回答這個問題于是整個批次卡死。解決批量操作前先把目標(biāo)機(jī)器公鑰收進(jìn)known_hosts或者在 ssh 參數(shù)里放開對新主機(jī)校驗(yàn)的策略。# 把目標(biāo)主機(jī)公鑰一次性寫入 known_hosts避免批量時卡在確認(rèn) ssh-keyscan -T 5 web01.internal web02.internal db01.internal ~/.ssh/known_hosts邏輯說明ssh-keyscan主動連接目標(biāo)機(jī)器并獲取 host key-T 5是單個主機(jī)的連接超時避免某臺機(jī)器連不上時卡很久。追加寫入known_hosts后就相當(dāng)于提前回答了 ssh 的信任問題。注意這里寫入的是目標(biāo)機(jī)器的 host key不是你的登錄憑據(jù)不存在泄露密碼的風(fēng)險。5.2 輸出混在一起事后找不到是哪臺機(jī)器現(xiàn)象幾十臺機(jī)器并行執(zhí)行終端刷出一大堆日志行沒有主機(jī)標(biāo)識事后想找某臺機(jī)器的輸出得靠猜。原因并行執(zhí)行時各臺機(jī)器的輸出是陸續(xù)返回的如果命令本身沒有打印主機(jī)名肉眼幾乎無法分辨哪行屬于哪臺。解決在命令開頭顯式打印主機(jī)名標(biāo)記收尾時按標(biāo)記切分。推薦這樣寫tentakel all echo HOST_START; hostname; echo HOST_END; uptime; df -h / | tail -1邏輯說明echo HOST_START是一個機(jī)器可識別的分隔標(biāo)記hostname打印當(dāng)前主機(jī)名HOST_END結(jié)束標(biāo)記。之后無論是肉眼查看還是腳本切分都能準(zhǔn)確把輸出歸到具體機(jī)器。參數(shù)說明標(biāo)記字符串不要用太通用的詞比如------這種日志里本身可能出現(xiàn)用HOST_START這種帶語義、不易撞車的標(biāo)記更穩(wěn)妥。5.3 配置文件里一個空格引發(fā)的“主機(jī)不存在”現(xiàn)象配置改完后運(yùn)行 tentakel報錯說某臺主機(jī)無法解析或者命令被莫名其妙地分發(fā)到了錯誤的目標(biāo)。原因主機(jī)行末尾多了空格或制表符tentakel 解析時把空格后的內(nèi)容也當(dāng)成了主機(jī)名的一部分或者注釋符號沒放在行首在主機(jī)行后面跟了注釋文本。這兩種情況都不會在配置加載時立即報錯但執(zhí)行時就會出問題。解決統(tǒng)一配置文件格式主機(jī)行只寫主機(jī)名注釋單獨(dú)一行改完配置后用檢查命令過濾出實(shí)際參與執(zhí)行的主機(jī)清單。# 把配置里真正會被當(dāng)成主機(jī)名的行全部打出來人工掃一遍 grep -v ^# ~/.tentakelrc | grep -v ^\[ | grep -v ^$邏輯說明過濾掉注釋、組名和空行后剩下的每一行就是 tentakel 會當(dāng)作主機(jī)名的內(nèi)容。如果這里出現(xiàn)帶空格的行或者明顯不是主機(jī)名的字符串就是配置解析的根源。參數(shù)說明這個命令只是檢查不修改配置發(fā)現(xiàn)問題后直接用編輯器修掉行尾空格不要試圖在配置文件里用引號包主機(jī)名tentakel 的解析器不認(rèn)那套。5.4 免密登錄偶爾失效BatchMode 是最后的后悔藥現(xiàn)象某天批量執(zhí)行時幾臺機(jī)器突然開始提示輸入密碼終端切換不了輸入框整個批次像被凍住一樣強(qiáng)殺后那幾臺機(jī)器也沒有返回任何輸出。原因ssh-agent 里密鑰沒有加載或者目標(biāo)機(jī)器的authorized_keys被動過ssh 回退到了密碼認(rèn)證。tentakel 不會感知到這一點(diǎn)它會繼續(xù)等。解決平時就打開BatchModeyes讓認(rèn)證失敗快速返回錯誤而不是無聲等待同時養(yǎng)成批量操作前先驗(yàn)證密鑰加載的習(xí)慣。# 檢查當(dāng)前 ssh-agent 里已加載的密鑰數(shù)量 ssh-add -l如果輸出顯示The agent has no identities說明本機(jī)沒加載密鑰tentakel 自然也拿不到免密通道。這不是玄學(xué)基本上每次批量免密失效都能追溯到 ssh-agent 或目標(biāo)機(jī)authorized_keys其中一環(huán)。BatchModeyes的作用是把這個故障從“掛起”變成“快速報錯”你會在幾秒內(nèi)看到哪臺機(jī)器認(rèn)證失敗而不是等一根看不到頭的進(jìn)度條。5.5 sudo 和別名讓同一命令在不同機(jī)器上結(jié)果不同現(xiàn)象同一個命令在 A 機(jī)器上正常在 B 機(jī)器上報sudo: no tty present在 C 機(jī)器上跑出來的結(jié)果格式不一樣。原因遠(yuǎn)程機(jī)器默認(rèn)不分配偽終端sudo 在無 tty 環(huán)境下默認(rèn)拒絕另外各機(jī)器的 shell 別名、默認(rèn) PATH 不同命令解釋結(jié)果自然不同。這三類問題疊加在一起會出現(xiàn)“命令看著一樣、執(zhí)行結(jié)果各不相同”的詭異局面。解決需要 sudo 時給 ssh 加-tt強(qiáng)制分配偽終端命令內(nèi)部用sudo -n禁止交互式輸密碼避免在批量命令里依賴別名或相對路徑。# 配置里給 ssh 加 -tt命令里用 sudo -n ssh_command ssh -tt -o ConnectTimeout5 -o BatchModeyestentakel all sudo -n systemctl status nginx邏輯說明-tt強(qiáng)制分配偽終端滿足 sudo 對 tty 的依賴sudo -n表示非交互模式如果 sudo 需要密碼就立刻失敗不會卡住。參數(shù)說明如果有些機(jī)器不需要 sudo 而有些需要建議拆成兩個組分別執(zhí)行而不是在同一組里混合 sudo 和非 sudo 命令這樣失敗的范圍更可控。6. 進(jìn)階讓 tentakel 成為日常巡檢的第一入口6.1 巡檢腳本模板帶主機(jī)標(biāo)記、可落盤、可核對tentakel 的價值體現(xiàn)在單點(diǎn)命令真正產(chǎn)生效率的是把它封裝進(jìn)日常巡檢流程。下面是我一直在用的一個模板它解決了三件事結(jié)果按主機(jī)切分、落到獨(dú)立文件便于排查、執(zhí)行后能核對主機(jī)數(shù)量。#!/usr/bin/env bash # 巡檢腳本tentakel 作為入口采集結(jié)果并按主機(jī)歸檔 set -uo pipefail GROUP${1:-all} TS$(date %Y%m%d_%H%M%S) DIR/tmp/ops_${TS} mkdir -p $DIR tentakel $GROUP \ echo HOST_START; hostname; echo HOST_END; uptime; df -h / | tail -1; free -m | head -2 \ $DIR/raw.log 21 awk /HOST_START/ {getline host; next} /HOST_END/ {print host; next} {print host | $0} $DIR/raw.log $DIR/parsed.log online$(grep -c HOST_START $DIR/raw.log) parsed$(grep -c ^HOSTNAME: $DIR/parsed.log) echo reachable hosts: ${online}, parsed: ${parsed}邏輯說明腳本先把 tentakel 原始輸出落盤到帶時間戳的目錄然后用 awk 按HOST_START和HOST_END標(biāo)記切分把后續(xù)每行輸出都打上主機(jī)名前綴。最后統(tǒng)計在線主機(jī)數(shù)和解析出的主機(jī)數(shù)兩者不一致就說明有機(jī)器沒跑完或有輸出被截斷。參數(shù)說明set -uo pipefail防止未定義變量和管道錯誤被靜默吞掉${1:-all}表示腳本第一個參數(shù)傳入組名不傳默認(rèn)用 all 組awk 里的getline host取到的是 hostname 命令的輸出行通常形如HOSTNAME: web01.internal所以后面用^HOSTNAME:匹配。6.2 用 SSH 證書機(jī)制免去逐臺部署公鑰機(jī)器數(shù)量少時ssh-copy-id逐臺部署公鑰可以接受但機(jī)器一多逐臺部署本身就是一件該被自動化的事。最可靠的批量免密方案是用 SSH 證書機(jī)制本機(jī)持有一個 CA 簽發(fā)的用戶證書目標(biāo)機(jī)器信任該 CA每次登錄自動通過驗(yàn)證不需要在每臺機(jī)器上維護(hù)公鑰列表。tentakel 不需要感知證書的存在它只負(fù)責(zé)調(diào) ssh認(rèn)證邏輯完全由 ssh 層接管。這個方案的好處是換密鑰、加機(jī)器都不用在目標(biāo)機(jī)器上動手適合跟 tentakel 配合做常態(tài)化巡檢。6.3 跑完怎么驗(yàn)證數(shù)量核對與失敗重跑巡檢腳本最后的數(shù)字核對就是驗(yàn)證手段。reachable hosts是 tentakel 實(shí)際連接到的主機(jī)數(shù)如果這個數(shù)少于配置里的主機(jī)總數(shù)說明有機(jī)器 ssh 不通或認(rèn)證失敗去raw.log里搜錯誤信息即可定位。失敗重跑時不需要重新跑全量把失敗的主機(jī)單獨(dú)建一個臨時組或直接用-c指定一個只含失敗主機(jī)的小配置文件補(bǔ)跑一次即可。我現(xiàn)在的習(xí)慣是tentakel 只負(fù)責(zé)把命令送到、把結(jié)果帶回來命令靠標(biāo)記切分故障靠數(shù)量核對免密靠證書機(jī)制不靠碰運(yùn)氣。把這三件事想清楚之后批量操作就不再是提心吊膽的“一把梭”而是一套隨時可以解釋、可以復(fù)盤、可以重跑的流程。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99在线观看免费精品视频| 99热成人在线| 一操久久| 97操碰人免费| www.狠狠| 91人人网| 亚洲精品亚洲人成人网| 五月天激情黄色网址| 丁香婷婷六月天| 婷色成人| 五月六月丁香激情视频| 99精品视频偷拍| 国产做爰视频免费播放| 色婷婷综合网| 午夜婷婷六月天| 大香蕉九九| 大香蕉婷婷婷| 狠狠久久婷五月综合色| 最近中文字幕2019视频1| 色噜噜五月天| 欧美激情综合色综合| 99激情在线| 欧美精品狠狠色丁香婷婷| www.色99| 另类激情五月| 桃色五月天| 激情五月综合六月丁香婷婷狠狠干| 色一情一乱一乱一区91Av| 野战毛片三一3| 五月综合激情图片 | 色噜噜狠狠色综合网| 九月丁香很很色| 天天日,天天干,天天操| 97干视频| 天天色播| 99性视频| 色吧综合网| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 九久九精品| 五月色网| 九九在线热九九在线热99热| 新激情五月天| 九九九九热99超碰| 丁香婷婷久久综合在线| 少妇大叫太大太粗太爽了A片| 丁香五月激情鲁| 婷婷瑟五月天久久综合| 五月婷婷之六月丁香| 九九九精品视频免费观看| 91人人操| 99色视频| 2025最新亚洲激情在线| 天天开心AV色综合婷婷五月天| 狠狠草网| 91玖玖| 九色无码| 97色碰碰公开视频| 第五婷婷伊人丁香| 青青草色在线视频观看| 九九99在线免费在线观看视频| 99爱在线免费视频| 中文字幕无码人妻少妇免费视频| 狠狠色综合网站久久久久| 欧美三级黄色片久久| 久久婷婷综合色丁香| 亚洲情欲久久| 日本一级特黄大片AAAAA级| 丁香五月手机在线| 国产99精品免费视频| 婷婷五月亚洲激情| 色五月激情视频在线综合| 中文字幕综合| 热久久成人| 婷婷欧美激情综合| 久久五月婷天天干| www,超碰| 国产亚洲在线| 欧美三级视频| www999日韩精品| 亚洲五月天婷婷| 五月婷婷啪啪啪| 91精品久久久久久久| 天天看A片| 国产亚洲99| 亚洲中文无码成人| 丁香熟女乱| 久久新地此| 久99热在线观看| 久久久8| 日韩色色色色色| 99在线观看精彩视频| 亚州欧美国产久精国产99综合视频| 色欲天天综合| site:pzdcoin.com| 五月丁香色六月激情干大屄| 97人人射| 草久私拍| 五月丁香婷婷综合在线| 五月丁香在线婷婷蜜桃| 五月婷婷激情日本| 日韩在线看AV| 碰超在线九色| 香蕉伊人综合| 日 日干 日日做| 天天色,天天日,天天做| 激情五月天色色网| 亚洲无aV在线中文字幕| 337p午夜影院| 色噜噜综合网| 色婷婷综合在线| 久婷婷五月天影院| 婷婷综合在线观看视频| 99热都是精品| 少妇性按摩无码中文A片| 色五XX| 中文字幕av在线| 欧美精品在线观看| 色婷婷色99国产综合精品| 中出内射的人妻视频| 激情六月色| 激情AV| 黄色成人AV在线| 色噜噜狠狠色综合无码久久欧美| 高清无码一区二区三区四区| 99干视频| 一级性爱大片| 丁香五月婷婷欧美成人色图| 激情五月激情综合网| yw国产AV| 情五月亚洲婷婷| 五月天成人在线播放| 99国产精品白浆在线观看免费| 99精品国产在热久久| 日韩久综合| 国产婷婷五月中文字幕高清| 婷婷综合久久| 欧美三日本三级少妇三99| 人色五月天婷婷| 丁香五月激情五月| 婷婷五月天成人视频| 丁香五月影院| 五月婷婷六月天| 色婷婷亚洲五月天| 嫩草视频。| 九热久| 五月婷俺去也| 九九综合色| AV片在线观看| 色婷婷在线视频综合| 夜夜干夜夜操| 婷婷丁香色五月亚洲| 五月六月婷| 懂色av粉嫩av蜜臀av| 色色五月丁香婷婷| 午夜一区| 五月丁香综合| 人妻精品一区二区三区| 欧美日韩成人| 99精品综合| 婷婷 伊人 久久| 丁香五月婷婷色偷偷| 777精品久无码人妻蜜桃| 91色综合网| 丁香五月日本| 爽tv | 国产韩日亚洲美州欧亚综合在线| 五月婷婷二月丁香| 色婷婷丁香AV综合| 五月天亚洲综合网| 婷婷趴趴| 超碰日日操| 丁香五月婷婷综合精品素人| 青青草原伊人网| 狠狠干狠狠操狠狠爱| 这里只有精品99www| 热九九精品| 91性高潮久久久久久久久| 99超级碰碰| 亚洲在线视频321| 日韩AAAAAAAAAAA片| 欧美婷婷综合| 丁香五月天婷婷91| 四色五月婷婷在线观看| 日本nghangse中文字幕| www,色中色| 无码激情AAAAA片-区区| 亚洲综合色五月| 北条麻妃九九九国产精品视频| 精品一二三区久久AAA片| www久久99com| 天天干人人奸97| 五月丁花色综合网| 9精品国产在热久久| 久久人妻高清中文| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 性色播| 99视频这里有精品| 好看的国产精品| www.色综合.com| 五月婷婷久久大香蕉| 丁香五月先锋| 色频玖玖五月天| www.夜夜操.com| 丁香综合伊人| 色综合中文| 久久综合性| 啪啪一区| 日本99视频精品免费播放| www.人人操人人看人人想人人摸 人人人人操,COM | 色色色婷婷五月天| 一本道在线电影| 天天 青草 丝袜制服 在线| 一区二区三区四日本| 日韩人妻操逼视频| 激情五月综合网最新| 狠狠色综合网| 国产视频婷婷| 再綫Av免费視品| 9久热精品在线视频| site:hcxsz888.com| 99在线免费视频| 丁香五月婷婷骚视屏| 久久99精品久久久久久青青AR| 思思热在线免费视频| 热婷婷在线视频| 婷婷五月亚洲综合| 婷婷五月天美女视频| 51精品国自产在线| 激情六月婷婷| 综合网五月天123| 91精品久久久久久久久久 | 性生活久久朋友人妻| 婷婷六月综合基地| 天天干-天天日| 亚洲乱码日产精品BD| 激情网五夜婷婷| 日日日日日| 丁香五月天啪啪a日本| 激情AV在线| 亚洲精品久久久久AV无码| 亚洲综合激情五月| 婷婷五月开心中文字幕色| 久久久天堂国产精品女人| 丁香婷婷激情五月色| 99热人人操人人操| 亚洲欧洲中文日韩久久AV乱码| 五月激情偷拍婷婷| 在线另类| 日韩精品超碰在线观看| #NAME?| 夜夜操天天干| 伊人久久大香线蕉av一区| 天天狠狠插| 五月天婷综合| 色婷婷久久久| 日日夜夜青青草| 成人丁香色| AV性爱在线| 日本高清综合网五月丁香| 天堂AV三级| 大香蕉Av在线| 久久激情婷婷| 色综合99无码| 亚洲视频一区| 美欧日韩国产成人在战| 99视频久久| 永久99免费视频网站| 中文久久婷婷| 狠狠干在线| 久久小说网| 人人色人人摸人人看| 婷婷激情五月天桃花网| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 激情久久五月网| 9999久久久久| 99九色视频在线观看| 九九中文色色| 精品婷婷丁香五| 亚洲综合激情五月久久| 青青草成人网| 九九视频在线| 丁香婷婷激情| 国产成人网址| 婷婷色网| 成人精品视频99在线观看免费 | 五月婷久久| 久久免费9| 第四色网婷婷| 欧日韩成人| 综合激情在线观看| 桃色五月婷婷| 亚洲无码99| 婷婷五月丁香六月综合网| 色婷激情网| 五月天激情网图片 - 百度| 六月份天丁香婷婷| 韩国天天婷婷| 另类视频五月天| 天天做好综合色| 色色色色五月| 超碰成人av| 婷婷狠狠18禁久久| se99视频| 九色视频91疯狂| 伊人网碰碰| 婷婷五月天激情五月天网站| 九一99| 996er在线观看| 伍月婷丁香婷| 亚洲视频无| 丁香狠狠干| 开心色色五月天综合| 色99网站| 全部老头和老太XXXXX| 久久色9| 五月天婷婷成人网| 久久婷婷激情| 99国产精品白浆在线观看免费| 亚洲激情综| 日夜操B| www.婷婷五月天.com| 亚洲久久激情| 91黄色五月天视频| www.99精品日操伊人乱碰在线| 天天干,夜夜爽| 色丁香影院| 亚洲色色图片| 婷婷五点亚洲| 97视频.干com| 精品亚洲国产成AV人片传媒| 国产av第一专区| 激情久久网| 五月婷婷六月丁香| 天堂草在线观看| 天天日天天操心| 色五月丁香网| 亚洲AV日韩在线观看| 国产精产国品一二三在观看| 婷婷六月色| 任你干aa| 综合亚洲色色| 色狠狠婷婷| 久久激情网| 国产乱妇无乱码大黄AA片| 国产av天天插天天操天天爽| 色婷婷成人做爰A片免费看网站 | 玖玖婷婷五月天| 天天肏天天插| 五月丁香六月激情综合| 国产.亚洲.欧洲视频在线| 五月丁香六月激情| 色月丁| 久久天天天| 这里只有精彩亚洲视频推荐| 色五月婷婷九月| 综合色久| 啪啪五月综合| 日韩小视频在线99| www夜夜| 99色精品| 五月丁香影院| 亚洲 视频 导航 一区| 久久精品国产色| 精品人妻久久久久久| 五月天大香蕉| 婷婷五月天奸女| 五月天五月色| 久9视频| 一起操 91N.com| 碰97久久| 99久久思思| 丁香五月自拍| 久热伊人9| 天天做天天要天天爽| 丁香五月综合激情性爱| 9久热在线视频| 丁香婷婷五月天亚洲| 很很干天天干| 九月婷婷在线观看| 天天爽天天透天天爱| 丁香九月久久| 色婷婷超碰| 丁香综合网| www色色com| 精品99在线看| 激情婷婷六月天| 久久xxxx| 综激情网| 9精品在线| www. 五月. com| 激情综合网 激情五月天| www.99热| 蜜臀丁香黄色婷婷五月天| 五月婷婷丁香俺日污视频| 色狠狠婷婷| 99色色网| 精品一二三区久久AAA片| 9久久久| 五月婷婷丁香狠狠撸久久| 97色色色色色| www狠狠爱com| 五月丁香拍拍激情综合| 激情五月色婷婷| 成人 AV播放| 99福利视频| 亚洲亚洲人成综合网络| 欧洲激情五月天婷婷| 亚洲免费看片| www.久久| 日韩999| 日本一级一级一级一级| 亚洲精品婷婷| 激情小说五月丁香在线视频观看视频| 日本狠狠色| 黄色91在线观看| 人人操Av| 99热最新| 久久九九视频网站| 五月丁香婷婷色| 激情婷婷五月亚洲| 噜噜噜狠狠色综| 99色热视频| 97AV在线视频| 丁香五月精品视频| 日本熟妇乱妇熟色A片蜜桃| 久碰久操| 九九热免费视频| 五月婷婷六月丁香免费| 五月丁香色播| 五月婷婷六月激情| 国产午夜一区二区三区| 激情丁香九九五月综合网| 色五月婷婷91| 婷婷激情小说网| 久久久婷| 欧美激情综合色综合| 久热精彩视频98| 成人丁香五月天| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色婷婷色五月丁香| 五月婷婷丁香综合,亚洲天堂| 99er日韩| 六月婷婷综合网2| 99国产这里只有精品| 色婷婷综合电影| 色色色婷| 婷婷丁香五月视频| 日本操B片| 98永久精品| 丁香五月性| 美女五月狠狠| 无码九九| 第四色色色色色丁香五月天| 亚洲熟女色| 婷婷五月天成人娱乐| 色色五月婷婷狠狠| 激情亚洲婷婷| 影音先锋一区| AV中文网| 久婷婷婷| 欧美婷婷六月丁香综合色| 五月丁香综合啪啪| 国产AV一区二区三区日韩| 美妞av| 国产精品 的国产| 五月色影院| 激情网开心网| 91jiuseshunv| 大香蕉啪啪啪| 色婷婷综合网站| 538任你爽视频不一样的| 婷婷金品综合视频| 丁香五月五月婷婷五月天激情四射| 亚洲精品第一国产综合亚AV| 色婷婷操逼| 五月天操逼网| 六月色色| 九九re精品视频在线观看| 久er7久热| 九九精品热播| 婷婷五月激情黄色| 丁香五月久久| 五月婷婷啪啪| 天天做综合网色综合| 欧美色99| 色婷婷综合在线| 啪啪操超碰| 99久久精品网| 玖月婷婷爱丁香| 五月丁香综合| 99这里只有精品|v| 六月丁香综合999| 國語久久婷| 婷婷五月丁香四射| 五月婷婷六月丁香| 99思思在线视频| 婷婷五月天丁香综合网| 九九婷婷综合| 激情六月综合| 另类图片婷婷五月天| 五月婷婷激情刺激| 色婷婷成人网| WWW·色色色·COM| 美女视频图片久久91| 99综合免费视频| 第四色五月婷婷| 99精品久久久久久久婷婷久久| 欧美久人人| 少妇搡BBBB搡BBB搡毛茸茸| 丁香久色| 狠狠操之狠狠操| 99日精品视频| 久久久久激情网| 四色五月婷婷| 天天爽天天日| 人人摸人人摸| 色欲色香综合网| 五月天丁香网站| 色五月av| 开心激情久久久久久久| 五月激情综合婷婷| 色久在| 亚洲AV成人精品日韩在线播放| 91精品激情9| 天天色播| 99久久婷婷国产综合精品草原| 99在线精品视频免费观看20| 91九色国产| 婷婷色啪| 狠狠人妻色综合| 99精品国产在热久久婷婷| 色婷婷五月天激情在线观看| 激情五月天色婷婷综合| 这里只有精品69| 五月天婷婷开心| 色一情一乱一乱一区9| 超碰A V在线| 啪啪九九色| 免费在线观看av网站| 夜色五月天| 99re8热精品免费视频| 夜夜嗨一区二区三区直播内容 | 99精品视频免费观看近期发布| 久久九九爽| 99在线精品免费视频| 五月天色婷婷激情| 天天插天天爽| 超碰九九热| 亚洲九区| 五月花婷婷| 五月丁香网站| 久777| 亚洲成人电影在线免费观看| 色综合久久综合| 日韩黄色网络| 五月天激情综合网俺也去| 91人妻九色大屁股| 九九热在线99| 国产一级片| 久久婷婷六月综合资源| 热99热9| 九九99精品视频在线观看| 婷婷五月丁香五月综合网| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 成人丁香| 精品人妻久久久久久| 激情五月天婷婷| 久久婷婷六月综合国际| 五月叮香啪| 亚洲操逼网| 色婷激情网| 99精品热| 激情五月天色色| www婷婷色| 91无码高清| 黄色99视频| 欧美综合激情五月| 成人丁香色| 激情五月综合| 啪啪东京热| 久久98| 五月丁香九九九综合| 天天透天天爱| 日韩啪啪网| 国产99久| 婷婷久久天堂网| 激情久久久久| 99免费视频在线观看爱| 激情五月天小说| 五月婷在线观看| 五月亭亭开心网| 五月天操逼激情| 日本在线视频播放91| 色五月天中文字幕| 中文字幕,综合,91| 疯狂做受XXXX高潮A片| 中文字幕日产A片在线看| 九九综合九| 亚洲中文AV网站| 91啪啪| 亚洲欧美999| 丁香六月综合| 吊色AV男人的天堂| 色婷婷五月综合网| 91精品久久久久久77777| 欧美69色| 26uuuu精品一区二区| 久久久久亚洲AV无码网影音先锋| 日韩人妻无码专区| 九九99热| 激情五月狠狠| 图片区 小说区 区 亚洲五月 | 97精品自拍视频| 婷婷九月激情网| 五月丁香啪啪啪啪| 久久天堂色| \\五月天婷婷激情| 激情图片五月天| 欧美性爱日韩性爱| 亚洲性爱区无码区| 欧美搡BBBBB摔BBBBB| 亚洲成人AV在线播放| 99热在线观看亚洲区| 天天干一干| 午夜丁香综合婷婷| 99精品视频免费在线播放| 九九色综合视频| 国产又黄又爽又色的免费| 影音先锋91| 亚洲欧美婷婷五月色综合| 岛国AV网| 欧美性生交A片免费看| 久久新地址| 思思re99视频在线观看| 亚洲无AV在线中文字幕| 婷婷久久网| 五月丁香自拍| 色婷婷影音| 人人视频色| 婷婷午夜天| 婷婷性爱网| 丁香五月黄色| 操射国产日本| 99干免费视频| 思思热再线视频| 国产 码在线成人网站| 久久精品系列| 五月丁香花激情综合网| 99视频在线精品| 九九香蕉网| 婷婷六月色| 久超超碰| 色在线免费观看| 五月丁香久久丝袜啪啪| 99视频| 激情婷婷综合网| 天堂婷婷丁香六月网| 激情又色又爽又黄的A片 | 热99国产精品| 97视频91| 一起草AV| 99热这里只有精品9| 色婷婷久久综合| 色五月六月| 97色干| 中文av网| 亚州激情网| 天天爽天天干| 五月色 亚洲| 天天色色天天| 99小精品| 婷婷五月激情的图片| 激情视频综合| 色婷婷9| 九月激情网| 色播六月| 青青草性爱视频| 天天日天天色| 日本ww亚洲| 西西4r午夜剧场| 久久深爱激情网| 婷婷五月天丁香久久| 色五月婷婷影院| 久久久久久久91| 五月花婷婷最新| 91大神操美女| 九九爱这里只有精品| 国产成人精品一区二三区熟女在线| 婷婷爱爱蜜臀天天操| 激情五月图| 国色天香成人网| 国产色网站| 色色亚洲五月天| 蜜桃婷婷五月| 久久久久这里只有精品| 夜夜天天天天天干天天爽| 成人国产欧美大片一区| 夜夜爽天天干| 91丨九色丨熟女|新版| 激情AV| 久久婷婷操| 国内久久亭亭| 热99在线| 激情色中文| 91精品91久久久久77777| 天天爱夜夜爽| 俺来也综合网精品一区| 99热在线只有精品| 99爱视频免费看| 99热费观看| 婷婷五月天网| 五月天色婷婷激情| av免费在线网站| 九九成人视频| 亚洲欧美999| 99综合视频一体| 超喷97免费在线视频| 九九色色| 美女婷婷六月色| 在线中文亚洲| 成人国产欧美大片一区| 夜夜爱伊人| 久久ER视频com| 伊人久久综合| 欧亚成人A片一区二区| 激情开心五月天婷婷基地丁香社区| 婷婷干| 狠狠婷婷爱| 99九九视频| 亚洲精品又粗又大又爽A片| 天天日天天操天天干| 999热这里只有美国精品| WWW久久久| 2w在线视频| 9色免费网| 欧美性色A片免费免费观看的| 色欲婷婷五月天| 色99xx| 丁香五月偷拍| 国产97色在线 | 日韩| 日日干综合| 丁香婷婷六月天| 天堂在线伊久| AA丁香综合激情| 99在线免费观看| 深爱激情av| 婷婷综合欧美| 欧美色宗和激情| 伊人喵咪a V| 亚洲欧洲另类| 玖玖综合色| 婷五月天在线草| 综合五月婷婷| 日日噜噜久久婷婷五月天| 六月丁香啪啪| 国产精品国产| 五月天久久www| 激情五月天丁香| 狼人婷婷久久| 91日综合欧美| 91n啪啪| 中文字幕乱码亚洲精品一区| www.五月丁香| 色碰碰| 一起草无码| 丁香婷婷视频| 特级片神马电影| 五月丁香六月色婷| 另类天堂| 天天爱天天狠天天透| 日日骑夜夜撸| 国产人妻操逼| 色五月综合在线| 狠狠人妻色综合| 色天堂操| 狠狠情色| 毛v一区二区视频| 久久九九一區| 婷婷九九色| 最近中文字幕大全免费版在线| 五月丁香色婷婷| 色播播五月| 日本熟女内射| 五月天激情无码| 这里只有精品69| 天天日夜夜帕| 欧美日韩一区二区三区四区| 夜夜夜夜夜骑撸| 婷婷精品综合| 婷婷五月激情图片| 久久婷婷五月激情网站| 狠狠色婷婷六月激情网| 色婷婷在线视频综合| 99热这里都是精品| 超碰免费大香蕉| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 直接看的av| 久久精品亚洲热| 99免费热视频在线| 久久人妻人人| 日本91在线| 97av在线视频| 任你草| 538在线精品| 蜜桃婷婷丁香综合久久开心亚洲| 五月天色影院| 国产精品久久久久9999小说| 中文字幕日产A片在线看| 综合 激情 婷婷| 婷婷五月,综合伊人| 久久综合图片| 91综合色噜噜| 婷婷99中文字幕| 五月天婷婷基地| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 99精品一二三四视频| 丁香六月狠狠干| 久色视频在线| 久草五月天电影网| 婷婷五月亚洲一本在线丁香| 日日操日日干| 99视频这里有精品| 丁香婷婷六月天| 亚洲人人操| www.金莲av| 婷婷 伊人 久久| 久久资源网五月婷| 婷婷开心青青草| 色婷婷狠狠干芒果TV| 玖玖五月丁香| 丁香五月天啪啪| www.99riav99| 九九人人精品| 色五月婷婷五月久久| 亚洲无码成人| xxx日本东京热| 五月成人天| 91Chinese在线| 人妻丰满精品一区二区A片| 久久国产高清| 五月丁香久久| 亚洲五月色| 亚洲啪啪啪啪| 性爱激情久久| 婷婷激情六月综合| 中文人妻主播久久| 丁香五月天视频| 欧美日韩一区二区三区四区| 婷婷中文字幕网站| 色狠狠999综合| 色婷婷AV五月天| 99久视频| 久久精品99久久久久久| www.色婷婷| 啪啪日热| 久久98| 五月天天天色| 色色色色色色网| 97操在线资源| 婷婷五月丁香六月伊人网| 狠狠操狠狠插| 欧美性生交XXXXX无码小说| 色综合狠狠色| 插插网爽妇五月丁香| 色欲天天综合| 久久久久久99日本| 中文字幕婷婷五月天| 99思思| 狠狠精品干练久久久无码中文字幕| 99爱在线视频| 婷婷的久久网站| 亚州精品久久久久AV无码| 伊人五月综合网| 青青草原爱爱网| 婷婷五月天影视| 天天插综合网| 久操97| 五月天精品综合| 99在线免费观看| 久久精品五月天| 五月丁香青草综合啪啪| 亚洲操操| 国産精品| 五月99久久| WWW、99热| 五月丁香六月婷婷综合网| 色情五月婷| 久久五月天丁香| 欧美黑人大吊| 亚洲最大在线| www,婷婷,com| 午夜丁香丁香婷婷| 丁香伊人网| 免费成人中文字幕| 欧美久久婷婷| 欧美大肥婆大肥BBBBB| 九九av| 五月天婷婷激情| 成人网站高清无码| 天天色综合综合| 人与禽A片啪啪| 骚五月婷婷| 六月激情丁香一道本7777| 99在线精品视频免费观看20| 狠狠CAO日日穞夜夜穞AV | 丁香五月六月久久综合| 亚洲欧州色情在线观看| 久久久国产精品黄毛片| AA丁香综合激情| www热久久yy9| h亚洲| 色色色色网站| 狠狠干在线| 婷婷精品性视频| 丁香综合久久| 色婷婷五月天视频在线| 伊人九九九久| 热99精品视频观看| 亚洲第一综合| 五月丁香色色综合| 超碰在线免费9| 婷婷五月天丁香成人社区| 五月天婷婷在线播放| 999九九九久久久99HD| 人妻VideOssS人妻高清| 青青操日本摸摸看看| 人人视频色| 丁香亭亭激情四射| 26uuu亚洲精品国产| 久久青草国| 26uuu欧美激情另类| 潘金莲AAAAAAAAAA| 亚洲最大视频| 懂色av蜜臀av粉嫩av永陈冠希| 无码一区二区三区四区五区| 亚洲热综合| 五月色婷婷影视在线电影| 99无码视频| 欧美97超碰| 激情五月婷婷六月丁香| 日本少妇AA一级特黄大片| 丁香五月天社区| 五月天丁香婷| 五月天国产| 可以免费看av网站| 七月丁香婷婷 色色| 79精品视频| 婷婷基地成人五月天| 99噜噜| 99ri精品视频在线观看| 婷婷六月天| 亚洲五月婷天天操| 天堂在线婷婷| 色婷五月| 五月婷婷中字在线| www。五月,com| 五月天精品视频| 色吧五月婷婷| 丁香六月婷| 五月婷婷婷自由综合| 97超级操操| 国产91视频| 色亚洲婷婷| 色婷婷激情视频| 91在线日| 电影蜘蛛女| 狠狠色噜噜狠狠狠狠狠色综合久久| 蜜乳.comcom| 爱99干99| 五月天成人在线播放| 五月婷中文字幕| 成人无码髙潮喷水A片| 色五月丁香在线| 停停五月色宗合| 丁香激情五月天| 桔色成人在线| 男女免费视频999| 99热97| 五月色天情| 天天操天天爱天天日| 日本一级黄色片。| 久久人人超| 99热精品在线播放观看| 激情久久丁香| 国产无套精品一区二区| 五月丁香婷婷啪啪综合网| 懂色av粉嫩av蜜臀av| 青青草五月天| 婷婷五月免费观看| 中文字幕婷婷在线| 激情五月激情综合网| 激情五月天影院| 只有精品在线观看| 久久色大香蕉| 婷婷丁香在线播放| 精品久久婷婷| 色婷婷成人做爰A片免费看网站 | 97色干| 日本97在线| 精品一二三区久久AAA片| www色中色综合| 激情婷婷五月综合| 色婷婷视频| xx人人xx| 久久精品永久免费| 色婷婷操逼| 久久人视频| 99热热热99精品婷婷| 性爱视频久久| 天天爽综合| 激情小说色五月| 色色国产| 婷婷五月天美女视频| 欧美色色色| 欧美性爱中文字幕| 丁香婷婷老熟女综合网| 丁香五月社区| 99在线视频资源| 我要看激情五月天| 丁香六月av| 俺也去五月婷婷丁| 色偷偷综合| AV在线大香蕉| 99在线精品视频免费观看20| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 久操干| 婷婷五月无码| 五月天成人在线| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 大香婷婷| 久久婷婷五月综合色欧美| 丁香五月开心亚洲| 久久丁香五月婷婷| 激情五月婷婷网在线观看| 久碰视频| 婷婷成人AV| 大香蕉人人网| 婷婷六月激情综合| 99精品偷自拍| 国产AV一区二区三区日韩| 色综合婷婷| 亚洲av免费在线| 9久热在线视频精品| 桃色激情婷婷伊人网| 色色精品色| 影音先锋一区| 日本啪啪网| 成人婷婷| 激情五月色综合网| 9 99免费视频| 色九九中文字幕| 79精品视频在线观看,| 狠狠高潮精品亚洲1| 国产精品激情五月天色婷婷| 青青福利网| 久久这里只有精彩| 久久久色婷婷五月天| 日韩五月婷婷| 《诡秘之主》在线观看| www99久久| 色情丁香五月婷婷精品| 五月丁香综合成人社区| 亚洲性视频| 五月丁香婷婷伊人日韩| 第四色色六月色综合| 六月丁香开心婷婷欧美| 182tv992tv人之初午夜免费观看| 丁香五月色| 欧美内射AAAAAAXXXXX| 国内外色色色色色成人视频| 亚洲妇女熟BBW| 91狠狠综合久久久久久| 乱岳熟女50岁| 99久久97| 九一娱乐在线观看视频| 色射7856五月天激情四射| 婷婷五月,偷窥偷拍网| 五月婷婷综合影院| 操碰99在线视频观看| 欧美三级A做爰在线观看| 综合AV网| 狠狠色九月| 操逼巨乳91| 欧美人人超级碰| 久久婷.com| 天天久久狠狠色综合| 亚洲夜五月| 婷婷色情小说| 美国色五月天婷婷资源站| 六月丁丁香| 亚洲av网站在线观看| 99热成人| 性爱111111| 成人免费视频一区| 四虎成人精品永久免费AV九九| 五月丁香网站| 婷色五月天| 国产精品噜噜在线视频| 99热免| 久久人妻高清中文| 思思久热| 亚洲国产成人在线| 激情五月综合亚洲另类| 丁香五月天天久久综合小说| 男妓跪趴把舌头伸进我的嘴巴| 国产精品第一国产精品| 九九亚洲| 超碰2021| 99日本黄站| 伦99热| 玖玖热视频| 综合色色网| 九九伦子片| 97操碰视频| 我爱va亚洲va52| 大香蕉欧美在线| 天天爽天天日| www.cao.com久久| 97干在线| 五月婷婷co.m| 久久亚洲天堂| 夜夜爽77777妓女免费下载| 美女久久天堂| 丁香婷婷网| 日日爽天天| 九九精品综合| 五婷婷综合网| 丁香五月色情| 开心五月婷| 26UUU欧美| 九热网站| 99综合| 婷婷精品性视频| 嫩草AV久久伊人妇女超级A| 夜夜爽77777妓女免费下载| 天天操天天日天天爽| 人人干99| 嫩BBB搡BBBB榛BBBB| 九九色婷| 大香蕉五月天婷婷丁香91| 五月丁香A片| 夜夜夜夜夜骑撸| 久热这里只有精品6| 色婷婷精品视频在线播放| 五月花婷婷在线精品视频| 思思热精品在线观看| 狠狠综合网| 色婷精品91| 91小黄书网址在线观看| 久久婷婷精品| 欧美日韩国产一区二区| 五月天播播综合| 99re视频在线播放| 丁香五月婷婷少妇| 综合欧美五月婷婷| 玖玖爱综合网| 五月丁香伊人网| 亚洲精品国产setv| 五月天伊人久久| 欧美综合在线五月天色婷婷| 丁香五月丁香伊人| 五月丁香偷拍| OYIWbGcPu8H| 色婷婷五月开心六月综合| 色五月色五天免费视频| 色色欧美色色色| 色婷婷内射| 久久五月婷婷丁香| 99超级超级超级碰| 久久五月婷婷开心网| 丁香五月天色婷婷| 91人妻人人做人碰人人爽九色| 五月婷婷伊人久久| 五月丁香777| 美女黄频aⅴ视频| 天天噜| 四川女人毛多水多A片| 六月丁香成人| 久久这里只有精品热在99| 婷婷六月综合基地| 婷婷久久国产视频| 色五月色五天色情网| 开心激情综合| 国产成人网| 九九AV在线| 91色性感五月婷婷丁香| 激情亚洲五月| 国产精品18久久久| 天天狠狠插| 51国精产品自偷自偷综合| 综合色播| 天天天综合网| 久cao香蕉影院| 开心 五月 综合| 久久538| 色丁香久久| 操99| 色五月天.con| 丁香五月综合婷婷| 久久国产AV| 天天日天天摸| 日韩一级网站| 极品 少妇 内射| 一本色道久久88加勒比| 天天爱天天做天天爽| 婷婷丁香六月天| 五月丁香六月婷婷综合免| 99精品在线观看| 超碰成人在线观看| 91久久久久久久| 久热这里只有精品性色AV| 久久精品99| 色情性爱视频网址| 欧美大肥婆大肥BBBBB| 亚洲亚洲激情| 成人看片网站| 人人色AV| 激情影院69| 天天色天天操天天射| 婷婷伊人綜合| 亚洲旡码| 五月天日日操夜夜操 | 天天射综合网站| 久久九九怡红院| 97操碰碰无码视频| 久久婷婷五月天激情新地址| 综合婷婷| 色大综合| 五月丁香激情综合网官网| 久久久噜噜噜久久人妻| 九色91视频| 久操热| 久久香蕉婷婷五月天| 97成人视频| 婷婷丁香宗合888| 色五月丁香总合网| 中文在线视频久1| 99九九在线观看免费| 色丁香五月婷婷| 最新精品视频99| 激情色情五月天| 丁香九月婷婷综合| 婷婷5月天激情综合| 五月天电影网| 26uuu精品一区二区| av在线观看网址| 久久久久婷| 六月激情久久婷婷| 婷婷情色五月| 伊人碰碰碰| 亚州激情网站无码| 丁香五月婷婷综合激情啪啪啪| dingxiangtingtingliuyue| 丁香玖玖| 婷婷伊人网| 天天干天天爽天天操| 丁香婷婷老司机久操| 日本色色网站| 亚洲俩性性爱图片久久第六页| 99色色网| 99热手机在线精品| 99在线观看视频| 婷婷在线日韩综合| 玖玖综合色| 五月激情日本在线| 激情涩播|