免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux下Tomcat開機(jī)自啟:systemd配置與排障全指南

Linux下Tomcat開機(jī)自啟:systemd配置與排障全指南 如果你手頭有一臺(tái)跑著生產(chǎn)業(yè)務(wù)的 Linux 服務(wù)器上面部署了 Tomcat那你大概率經(jīng)歷過這種時(shí)刻機(jī)房斷電、服務(wù)器自動(dòng)重啟或者運(yùn)維例行升級內(nèi)核 reboot 之后同事過來說“網(wǎng)站打不開了”。SSH 上去一看MySQL、Nginx 都活著唯獨(dú) Java 進(jìn)程沒了——Tomcat 沒有開機(jī)自啟。后來我專門整理過一套在 linux 上設(shè)置 tomcat 開機(jī)啟動(dòng)的完整方法才把這件回頭看并不復(fù)雜、踩坑時(shí)卻相當(dāng)折磨人的事徹底理順。這篇內(nèi)容適合手里有 Linux 服務(wù)器、用 Tomcat 跑著 Java Web 項(xiàng)目、且經(jīng)受不起下次重啟后服務(wù)靜默消失的開發(fā)或運(yùn)維朋友。文章不會(huì)只給你一段能用的配置我會(huì)把方案選型、單元文件每個(gè)參數(shù)的作用、驗(yàn)證方式、常見坑的完整排查鏈路以及配套的 JVM 參數(shù)、日志切割、多實(shí)例部署這些細(xì)節(jié)一并講清楚。1. 為什么 Linux 服務(wù)器上的 Tomcat 必須配置開機(jī)自啟1.1 先說一個(gè)讓我凌晨爬起來加班的場景我印象特別深有一年某個(gè)測試環(huán)境因?yàn)闄C(jī)房變更要重啟一臺(tái)老應(yīng)用服務(wù)器上面跑著 Tomcat 8.5 和幾個(gè)客戶對接用的 JSP 系統(tǒng)。重啟完成、網(wǎng)絡(luò)通了之后用客戶端工具一連——接口直接報(bào)連接超時(shí)。SSH 上去看Memcached 是起的Nginx 是起的唯獨(dú)java進(jìn)程一個(gè)都看不到Tomcat 壓根沒有跟著系統(tǒng)起來。當(dāng)時(shí)這臺(tái)機(jī)器的 Tomcat 是同事手動(dòng)startup.sh拉起來的配置里也沒有任何開機(jī)自啟的邏輯。更要命的是沒人記得具體配置細(xì)節(jié)JAVA_HOME、CATALINA_BASE 全靠/etc/profile里的環(huán)境變量撐腰。我后來花了大半夜把環(huán)境全部摸了一遍才意識(shí)到配置 Tomcat 開機(jī)啟動(dòng)這件事不只是寫一行命令那么簡單它需要把啟動(dòng)方式、環(huán)境變量、用戶權(quán)限、服務(wù)依賴全部理順。從那以后我在任何一臺(tái)要長期跑 Tomcat 的 Linux 機(jī)器上做的第一件事就是先把開機(jī)自啟搞定。1.2 開機(jī)自啟的三種主流方案先做個(gè)了斷到目前為止我在不同年代、不同發(fā)行版的機(jī)器上實(shí)際用過的方案主要有三種方案原理適用場景維護(hù)成本systemd 服務(wù)單元通過/etc/systemd/system/tomcat.service聲明服務(wù)由 systemd 托管生命周期當(dāng)前幾乎所有主流發(fā)行版CentOS 7、Debian 8、Ubuntu 15低管理命令統(tǒng)一SysV init 腳本在/etc/init.d/放腳本通過update-rc.d或chkconfig注冊老系統(tǒng)、最小化容器、嵌入式環(huán)境中依賴順序全手動(dòng)crontab reboot用戶 crontab 里寫reboot /path/startup.sh臨時(shí)性、實(shí)驗(yàn)性環(huán)境低但服務(wù)狀態(tài)和重啟策略幾乎沒有我見過不少生產(chǎn)環(huán)境的服務(wù)器還在用第三種方式就是reboot掛一條啟動(dòng)命令。你說它不行它確實(shí)能在重啟后把 Tomcat 拉起來。但問題在于沒有服務(wù)狀態(tài)管理如果想用systemctl查狀態(tài)、自動(dòng)重啟、看失敗次數(shù)、做資源隔離它什么都給不了。而且reboot的 cron 任務(wù)經(jīng)常踩環(huán)境變量坑——crontab 的執(zhí)行環(huán)境不是登錄式 Shell/etc/profile里定義的 JAVA_HOME 它根本讀不到啟動(dòng)一個(gè)失敗一個(gè)。SysV init 腳本在 CentOS 6 時(shí)代是絕對主力我現(xiàn)在也還會(huì)遇到基于老鏡像的機(jī)器。它的邏輯就是啟動(dòng)時(shí)按 rc.d 里的腳本順序調(diào)用#!/bin/sh從頭寫一套 start/stop/restart 邏輯還要考慮鎖文件、PID 文件。能用但確實(shí)繁瑣而且很多長期沒人維護(hù)的 init 腳本里連注釋都過期了。1.3 為什么我最終把生產(chǎn)環(huán)境的 Tomcat 全部切到 systemd如果機(jī)器發(fā)行版支持 systemd我的建議非常直接別折騰其他方案直接用 systemd。理由不復(fù)雜就三條。第一服務(wù)狀態(tài)可觀測。systemctl status tomcat看到的是active (running)、activating、failed這些明確狀態(tài)結(jié)合journalctl -u tomcat能看到服務(wù)日志定位速度比在/var/log/tomcat/里翻半天快得多。第二依賴和資源控制原生支持。我可以聲明Afternetwork.target等網(wǎng)絡(luò)就緒也可以設(shè)置MemoryLimit、CPUQuota對 Tomcat 這種占內(nèi)存大頭、容易出現(xiàn)內(nèi)存泄漏的 Java 進(jìn)程這是實(shí)實(shí)在在的護(hù)欄。第三失敗重啟策略。Restarton-failure加上RestartSec讓 Tomcat 意外退出后自動(dòng)拉起。相比在 crontab 里反復(fù)跑pgrep去判斷進(jìn)程存在與否systemd 的處理方式又干凈又可靠。現(xiàn)在主流發(fā)行版幾乎都跑 systemd所以下面的配置全部圍繞 systemd 展開同時(shí)穿插說明一些老方案里的對應(yīng)做法。2. 手把手把 Tomcat 配成 systemd 開機(jī)自啟服務(wù)2.1 動(dòng)手前先體檢目錄、賬號(hào)、路徑這三個(gè)事別跳過配置前我會(huì)先確認(rèn)三件事任何一件沒確認(rèn)清楚后面都會(huì)回來找麻煩。第一JDK 的真實(shí)路徑。在命令行里執(zhí)行which java readlink -f $(which java)后一條命令會(huì)把/usr/bin/java這類軟鏈接一路解析到真實(shí)路徑比如/usr/local/java/jdk-17/bin/java那 JAVA_HOME 就是/usr/local/java/jdk-17。千萬別想當(dāng)然寫成/usr/lib/jvm/...以readlink解析出來的為準(zhǔn)。第二Tomcat 安裝目錄和版本。通常我會(huì)用/usr/local/tomcat作為 CATALINA_HOME。要注意目錄里有沒有完整的bin、conf、lib結(jié)構(gòu)缺少文件大概率是以前解壓到一半或者路徑被改過??梢詧?zhí)行/usr/local/tomcat/bin/version.sh看版本前提是 JAVA_HOME 已經(jīng)在當(dāng)前 Shell 導(dǎo)出。第三運(yùn)行賬號(hào)。強(qiáng)烈建議不要用 root 直接跑 Tomcat。一旦進(jìn)程被利用或者 war 包出問題root 權(quán)限的 Java 進(jìn)程會(huì)造成更大的麻煩。我通常新建一個(gè)系統(tǒng)用戶useradd -r -s /bin/false tomcat chown -R tomcat:tomcat /usr/local/tomcat-r表示系統(tǒng)賬戶-s /bin/false讓它無法交互登錄對 Tomcat 運(yùn)行來說足夠。大家常問的“Tomcat 啟動(dòng)閃退”有相當(dāng)一部分就是目錄權(quán)限不對啟動(dòng)腳本寫不了日志或 PID 文件導(dǎo)致進(jìn)程退出。2.2 寫一個(gè)能打的 tomcat.service 單元文件在/etc/systemd/system/tomcat.service創(chuàng)建文件這是 systemd 管理 Tomcat 的入口。我先把一份經(jīng)過生產(chǎn)驗(yàn)證的配置完整貼出來再做逐行解釋。[Unit] DescriptionApache Tomcat 9 Web Application Container Afternetwork.target Wantsnetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentJAVA_HOME/usr/local/java/jdk-17 EnvironmentCATALINA_HOME/usr/local/tomcat EnvironmentCATALINA_BASE/usr/local/tomcat EnvironmentCATALINA_PID/usr/local/tomcat/logs/tomcat.pid PIDFile/usr/local/tomcat/logs/tomcat.pid ExecStart/usr/local/tomcat/bin/startup.sh ExecStop/usr/local/tomcat/bin/shutdown.sh Restarton-failure RestartSec10 TimeoutStartSec60 TimeoutStopSec30 [Install] WantedBymulti-user.target這個(gè)文件里的[Unit]部分描述服務(wù)是什么、啟動(dòng)順序上的依賴[Service]部分是核心定義了進(jìn)程類型、用哪個(gè)用戶運(yùn)行、執(zhí)行什么腳本[Install]段決定了它掛載到哪個(gè)啟動(dòng)目標(biāo)multi-user.target表示這臺(tái)機(jī)器進(jìn)入正常的非圖形化運(yùn)行級別時(shí)啟動(dòng)。2.3 單元文件里這些參數(shù)每一行都在解決什么問題很多人習(xí)慣網(wǎng)上復(fù)制一份配置能用就行出了問題就完全不知道往哪里看。我建議把幾個(gè)關(guān)鍵參數(shù)吃透。Typeforking。Tomcat 的startup.sh啟動(dòng) Java 進(jìn)程后會(huì)立即返回退出真正的 Tomcat 主進(jìn)程是被 fork 出來的子進(jìn)程所以對 systemd 來說必須聲明Typeforking。如果不聲明或聲成simplesystemd 會(huì)把短暫駐留的啟動(dòng) Shell 當(dāng)成主服務(wù)導(dǎo)致狀態(tài)判斷完全錯(cuò)亂。PIDFile 與 CATALINA_PID。systemd 需要跟蹤 Tomcat 實(shí)際主進(jìn)程的 PID 來管理它。Tomcat 自身通過 CATALINA_PID 來寫 PID 文件。單元文件里我把 PID 指向/usr/local/tomcat/logs/tomcat.pid。這里有一個(gè)非常典型的坑很多發(fā)行版默認(rèn) Tomcat 配置里沒有導(dǎo)出 CATALINA_PID啟動(dòng)時(shí)根本沒有 PID 文件可讀systemd 在 stop 和 status 時(shí)的判斷會(huì)對不上。解決辦法就是顯式在服務(wù)里設(shè)置同時(shí)寫上PIDFile讓 systemd 知道去哪里讀。Environment。這一步我要特別強(qiáng)調(diào)。systemd 通過ExecStart啟動(dòng)的服務(wù)不會(huì)讀取/etc/profile、~/.bashrc這些 Shell 初始化文件。不少人的 Tomcat 平時(shí)手動(dòng)啟動(dòng)沒問題一配 systemd 就報(bào)JAVA_HOME is not defined correctly十有八九是這個(gè)原因。所以我把 JAVA_HOME、CATALINA_HOME、CATALINA_PID 統(tǒng)統(tǒng)用 Environment 寫進(jìn)去不依賴任何全局 Shell 變量。After / Wants。Afternetwork.target表示網(wǎng)絡(luò)目標(biāo)完成后才會(huì)啟動(dòng) Tomcat避免在網(wǎng)絡(luò)接口沒有就緒時(shí)就去綁定端口。如果你的項(xiàng)目強(qiáng)依賴數(shù)據(jù)庫或 Redis也可以追加Aftermysql.service之類的聲明。注意After不產(chǎn)生啟動(dòng)依賴它只是順序約束要用Requires或Wants來真正拉起依賴服務(wù)最常見的組合就是Wants...加After...。Restart 策略。Restarton-failure搭配RestartSec10進(jìn)程異常退出時(shí) 10 秒后自動(dòng)重試。on-failure只處理非正常狀態(tài)如果你自己調(diào)systemctl stop tomcat它不會(huì)去重啟這也是我推薦這個(gè)值的原因。TimeoutStopSec。Tomcat 關(guān)閉時(shí)可能要優(yōu)雅停掉應(yīng)用和連接池時(shí)間給太短會(huì)被 systemd 強(qiáng)殺。我設(shè)了 30 秒大多數(shù) Web 應(yīng)用足夠。如果線上應(yīng)用有長事務(wù)、連接池回收慢可以再調(diào)大一點(diǎn)。2.4 啟用自啟、驗(yàn)證生效一次做過配置寫完以后執(zhí)行systemctl daemon-reload systemctl enable tomcat systemctl start tomcat每次修改 service 文件必須重新執(zhí)行daemon-reload這是新手最容易漏掉的動(dòng)作。enable會(huì)在/etc/systemd/system/multi-user.target.wants/下生成符號(hào)鏈接下次開機(jī)時(shí)自動(dòng)啟動(dòng)start是立即啟動(dòng)并不是必須和enable一起執(zhí)行但先手動(dòng)啟動(dòng)一次能盡早發(fā)現(xiàn)配置錯(cuò)誤。啟動(dòng)后一定要做到驗(yàn)證閉環(huán)systemctl status tomcat systemctl is-enabled tomcat ss -lntp | grep 8080 curl -sI http://127.0.0.1:8080 | head -n 3如果看到enabled、狀態(tài)是active (running)、8080 端口監(jiān)聽正常這一步就完成了。我自己的習(xí)慣還會(huì)再補(bǔ)一句journalctl -u tomcat -n 50 --no-pager確認(rèn)日志沒有異常然后找個(gè)時(shí)間真正 reboot 一次驗(yàn)證自啟——這一步必須有下面會(huì)解釋為什么。3. 配置自啟途中踩過的坑和完整排查鏈路3.1 環(huán)境變量丟失systemd 說這不是它的鍋癥狀很典型手動(dòng)執(zhí)行startup.sh一切正常systemctl start tomcat后過幾秒狀態(tài)變成failedjournalctl -u tomcat里能看到類似Neither the JAVA_HOME nor the JRE_HOME environment variable is defined At least one of these environment variable is required to run this program原因就是我前面說的systemd 啟動(dòng)的進(jìn)程不加載 Shell 環(huán)境文件。很多教程讓你把 JAVA_HOME 寫進(jìn)/etc/profile這只會(huì)影響交互式 Shell不會(huì)影響 systemd。排查鏈路按順序走systemctl show tomcat -p Environment看 systemd 實(shí)際傳給進(jìn)程的環(huán)境變量。如果沒有 JAVA_HOME去單元文件里補(bǔ)上EnvironmentJAVA_HOME...絕對路徑以readlink -f $(which java)解析出來的為準(zhǔn)。XShell 里敲的java -version能用不代表 Tomcat 腳本能用腳本看的是 JAVA_HOME/JRE_HOME不是 PATH 里的 java 命令。3.2 PID 文件缺失狀態(tài)一直卡在 activating有一個(gè)場景我遇到不止一次Tomcat 其實(shí)已經(jīng)起來了8080 端口也在監(jiān)聽業(yè)務(wù)能通但systemctl status顯示的卻是activating (start-pre)或者反復(fù)failed用systemctl stop還停不下來。根因基本可以鎖定在 PID 文件上。Typeforking加 PIDFile 時(shí)systemd 會(huì)用 PID 文件里的主進(jìn)程號(hào)來判斷服務(wù)是否成功啟動(dòng)。如果 CATALINA_PID 沒有導(dǎo)出startup.sh 不寫 PID 文件或者寫的路徑進(jìn)程沒權(quán)限寫就會(huì)卡在狀態(tài)判斷上。排查方式ls -l /usr/local/tomcat/logs/tomcat.pid cat /usr/local/tomcat/logs/tomcat.pid如果沒有這個(gè)文件檢查單元文件里 CATALINA_PID 是否配置如果文件存在但權(quán)限是 root檢查chown -R tomcat:tomcat /usr/local/tomcat因?yàn)?Tomcat 運(yùn)行用戶寫不了這個(gè)文件同樣會(huì)導(dǎo)致 systemd 狀態(tài)不對。SELinux 開啟時(shí)如果目錄上下文不對也可能拒絕寫權(quán)限這個(gè)下面單獨(dú)說。3.3 啟動(dòng)閃退排查先在前臺(tái)跑一次 catalina.sh配了自啟之后閃退日志往往被 systemd 收走反而不如直接前臺(tái)啟動(dòng)看得快。排查閃退我最順手的動(dòng)作是把 Tomcat 開到前臺(tái)sudo -u tomcat /usr/local/tomcat/bin/catalina.sh runcatalina.sh run是前臺(tái)運(yùn)行日志直接打到終端報(bào)錯(cuò)一眼能看到。常見閃退原因端口被占用。ss -lntp | grep 8080看是不是別的服務(wù)占著或上一次啟動(dòng)的殘留進(jìn)程占著端口。war 包解壓失敗、webapps 下的應(yīng)用啟動(dòng)異常導(dǎo)致線程啟動(dòng)時(shí)報(bào)錯(cuò)退出。內(nèi)存不足或 JVM 參數(shù)非法比如-Xmx設(shè)置超出物理內(nèi)存啟動(dòng)直接報(bào)Could not reserve enough bytes for object heap。系統(tǒng)服務(wù)對進(jìn)程數(shù)量、文件句柄有限制journalctl -u tomcat里能看到句柄耗盡的跡象。定位到根因后按對應(yīng)的方式改配置改完再systemctl start tomcat驗(yàn)證。不要反復(fù)無腦重啟日志不會(huì)騙人。3.4 端口能通但外網(wǎng)訪問不了防火墻與 SELinux 兩個(gè)兄弟自啟配好了本機(jī) curl 127.0.0.1:8080 有響應(yīng)外面怎么都訪問不到這時(shí)候要懷疑防火墻和 SELinux。firewalld 在 CentOS/RHEL 系機(jī)器上默認(rèn)可能攔截了外部到 8080 的訪問firewall-cmd --permanent --add-port8080/tcp firewall-cmd --reloadSELinux 則是另一個(gè)容易忽略的環(huán)節(jié)。Tomcat 安裝到非標(biāo)準(zhǔn)目錄后進(jìn)程寫日志、寫臨時(shí)文件可能被 SELinux 策略擋住。先看當(dāng)前模式getenforce如果是Enforcing可以用restorecon -RF /usr/local/tomcat恢復(fù)目錄的 SELinux 上下文如果 Tomcat 確實(shí)需要連接外部網(wǎng)絡(luò)或端口可能需要設(shè)置對應(yīng)的 boolean。這里不展開講 SELinux 策略撰寫但要記住遇到進(jìn)程行為異常、日志中帶著Permission denied又說不清權(quán)限問題時(shí)八成和 SELinux 有關(guān)。注意不建議圖省事直接在生產(chǎn)上永久關(guān)閉 SELinux。造成的問題應(yīng)該用策略去解決頂多臨時(shí)setenforce 0驗(yàn)證確認(rèn)后再定位是哪條策略。3.5 journalctl 里最值得記住的五類關(guān)鍵線索配自啟的排查基本繞不開journalctl -u tomcat我總結(jié)過幾類最常出現(xiàn)的日志線索看到就知道往哪里查日志線索指向的問題JAVA_HOME is not defined環(huán)境變量沒配置或路徑不對去 [Service] 段補(bǔ) Environmentpid file write failedPID 文件路徑不可寫檢查目錄權(quán)限、SELinux 上下文Address already in use端口被占用找占用進(jìn)程或改 server.xml 端口Broken pipe、Connection reset通常是反向代理/防火墻/長連接資源問題優(yōu)先看 Nginx 和網(wǎng)絡(luò)側(cè)OutOfMemoryError、GC overhead limit exceededJVM 或堆內(nèi)存不足調(diào) CATALINA_OPTS每次排查都從日志入手按鏈路一層層往下通常能比東翻西找快一半時(shí)間。4. 開機(jī)自啟配好之后順手把這些運(yùn)維細(xì)節(jié)也安排上4.1 JVM 參數(shù)放哪最干凈用 setenv.sh 而不是硬塞 service設(shè)置好自啟之后很多人會(huì)問我想調(diào) JVM 堆內(nèi)存、GC 參數(shù)怎么辦兩個(gè)選擇一是全部懟在 service 文件的 Environment 里二是在/usr/local/tomcat/bin/下創(chuàng)建setenv.sh。Tomcat 每次啟動(dòng)都會(huì)自動(dòng)加載bin/setenv.sh里導(dǎo)出的環(huán)境變量。這是官方預(yù)留的擴(kuò)展機(jī)制比在 systemd 單元文件里寫一長串 Environment 干凈得多也更方便維護(hù)。我通常在 setenv.sh 里寫export CATALINA_OPTS-Xms512m -Xmx2048m -XX:MetaspaceSize256m -XX:UseG1GC -XX:HeapDumpOnOutOfMemoryError注意兩個(gè)變量的區(qū)別CATALINA_OPTS只作用于 Tomcat 啟動(dòng)的 JVM不影響它內(nèi)部的輔助工具JAVA_OPTS會(huì)作用于所有基于 Java 的進(jìn)程包括啟動(dòng)腳本里的輔助程序。針對 Tomcat 的堆和 GC 配置優(yōu)先用 CATALINA_OPTS。修改 setenv.sh 后不用重寫 servicesystemctl restart tomcat即可生效這個(gè)先后順序建議固定下來。4.2 catalina.out 無限增長一個(gè) logrotate 配置解決Tomcat 的catalina.out會(huì)越滾越大尤其線上打了大量訪問日志或異常棧時(shí)一個(gè)季度漲到幾個(gè) GB 很常見。有些項(xiàng)目把日志輸出在 catalina.out 里不處理遲早拖垮磁盤。我在生產(chǎn)上通常用 logrotate 做每日切割配置放在/etc/logrotate.d/tomcat/usr/local/tomcat/logs/catalina.out { daily rotate 7 copytruncate compress missingok notifempty }這里最需要注意的參數(shù)是copytruncate。因?yàn)?Java 進(jìn)程一直持有 catalina.out 這個(gè)文件句柄直接mv重命名會(huì)導(dǎo)致 Tomcat 繼續(xù)寫舊句柄肉眼看到的是日志“消失”實(shí)際磁盤空間沒釋放。copytruncate先復(fù)制再清空原文件雖然極端情況下會(huì)丟一點(diǎn)點(diǎn)新日志但比重啟 Tomcat 去切日志劃算得多。4.3 多實(shí)例部署用模板化 service 文件省一半配置如果一臺(tái)服務(wù)器上要跑多個(gè) Tomcat 實(shí)例比如按項(xiàng)目名隔離的web1、web2完全不需要為每個(gè)實(shí)例各寫一份 service 文件。systemd 支持模板單元tomcat.service通過%i引用實(shí)例名[Unit] DescriptionTomcat instance %i Afternetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentCATALINA_HOME/opt/tomcat-appserver EnvironmentCATALINA_BASE/opt/tomcat-%i EnvironmentCATALINA_PID/opt/tomcat-%i/logs/tomcat.pid PIDFile/opt/tomcat-%i/logs/tomcat.pid ExecStart/opt/tomcat-appserver/bin/startup.sh ExecStop/opt/tomcat-appserver/bin/shutdown.sh Restarton-failure [Install] WantedBymulti-user.target然后一行命令注冊并啟動(dòng)對應(yīng)實(shí)例systemctl enable tomcatweb1 systemctl start tomcatweb1需要注意多實(shí)例場景里CATALINA_HOME可以共用一份 Tomcat 程序但CATALINA_BASE必須每個(gè)實(shí)例各自獨(dú)立conf/、webapps/、logs/、temp/放在各自的 BASE 目錄下。這會(huì)讓自啟配置的復(fù)雜度大大下降也方便后續(xù)單獨(dú)重啟某個(gè)實(shí)例而不影響其他應(yīng)用。4.4 升級 Tomcat 版本時(shí)自啟配置怎么平滑過渡Tomcat 大版本升級時(shí)最容易踩的雷就是解壓新版到新目錄然后忘了改自啟單元文件里指向 CATALINA_HOME 的路徑重啟回來發(fā)現(xiàn)啟動(dòng)的還是老版本。我的做法一般是先用軟鏈接固定路徑ln -s /usr/local/tomcat-9.0.85 /usr/local/tomcatservice 文件里始終只寫/usr/local/tomcat升級時(shí)解壓新版目錄停服務(wù)換軟鏈接指向再啟動(dòng)。如果出問題就回退軟鏈接整個(gè)過程可逆可控。升級前記得備份conf/server.xml、conf/web.xml和webapps下需要保留的業(yè)務(wù)應(yīng)用。Tomcat 10 把javax.*換成jakarta.*的兼容差異比較大升級時(shí)要么代碼同步遷移要么先確認(rèn)業(yè)務(wù)是否接受這個(gè)改動(dòng)。4.5 順便提一句安全加固manager 后臺(tái)別裸奔很多網(wǎng)站在 Tomcat 配置完成后conf/tomcat-users.xml里寫死了一個(gè)manager-gui角色賬號(hào)用于后臺(tái)部署 war 包。我的建議是兩步走一是 manager 相關(guān)角色盡量不開放公網(wǎng)訪問至少在防火墻層或 Nginx 層限制來源 IP二是如果確實(shí)需要遠(yuǎn)程管理配合 Tomcat 的 Valve 配置做來源地址白名單而不要只靠一個(gè)弱口令頂著。這個(gè)不屬于自啟范圍但既然聊到線上的 Tomcat順手提醒總比出了安全事件再補(bǔ)要省心。5. 我總結(jié)的幾個(gè)實(shí)操習(xí)慣照著做能少走很多彎路配置和排障都講完了最后分享幾個(gè)我自己養(yǎng)成的習(xí)慣都是踩過坑后留下的。第一配置完自啟后一定要找時(shí)間重啟一次機(jī)器驗(yàn)證。很多人配完enable就覺得萬事大吉等真重啟才發(fā)現(xiàn)某個(gè)依賴順序或環(huán)境變量在純引導(dǎo)環(huán)境里根本不生效。重啟后確認(rèn)進(jìn)程在、端口在、systemctl status是 active才算完成閉環(huán)。第二每次都先daemon-reload再改狀態(tài)。改 service 文件卻不 reloadsystemd 仍在用舊配置這會(huì)浪費(fèi)大量時(shí)間。我自己的流程是改完文件 →systemctl daemon-reload→systemctl restart tomcat→journalctl -u tomcat -n 30收尾。第三寫文檔比記憶可靠。Tomcat 版本、JAVA_HOME 路徑、實(shí)例名、端口、依賴關(guān)系這些信息散落在不同人腦子里最危險(xiǎn)。我會(huì)在機(jī)器上放一個(gè)/etc/systemd/system/README-tomcat.txt或者同步到私有維基記錄每次變更前后的狀態(tài)和原因下次不管誰接手都能快速接上。第四盡量用 systemd 統(tǒng)一管理減少“手藝人腳本”。手寫 shell 腳本輪詢進(jìn)程、在 rc.local 里追加啟動(dòng)命令這些方式應(yīng)急時(shí)可以但長期維護(hù)下來狀態(tài)不可觀測、失敗不自愈的代價(jià)會(huì)越來越高。把 Tomcat、Nginx、MySQL 這些服務(wù)通通納入 systemd 視角后一條命令就能看清整臺(tái)機(jī)器的服務(wù)圖譜排障思路也會(huì)清晰很多。配置 Tomcat 開機(jī)自啟本質(zhì)上并不難難的是把方案選對、把細(xì)節(jié)做扎實(shí)。希望這篇實(shí)踐筆記能讓你下次面對“重啟后服務(wù)消失”的時(shí)候不再手忙腳亂。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
密桃激情五月天综合网| 天堂色婷婷| 丁香五月激情图片婷婷| 久婷五月| 五月婷婷亞洲中文| 国产五月丁香在线| 亚洲成人另类| 久777| 亚洲欧美婷婷五月色综合| 变态另类9| 97色碰| 26uuuuuuuu国产| 亚洲无码11| 五月丁香六月激情| 婷婷伊人五月天| 丁香婷婷五月天色播| 91色性感五月婷婷丁香| 5月丁香啪啪啪| 综合亚洲六月婷婷在线| 密臀av无码人妻精品| 五月天播播| 99色色色色| 五月婷婷黄色| 婷婷99视频精品| 丰满少妇猛烈A片免费看观看 | 伦99热| 香蕉婷婷| 丁香五月婷久久| 午夜婷婷六月天| 午夜激情婷婷| 91人碰| 国产成人精品一区二三区熟女在线 | 丁香五月天堂婷婷| 国产在线黄色| 91色在线 | 日韩| 开心五月综合激情综合五月| 99re这里只有精品免费| 蜜臀AV在线成人| 五月天色色色色色| 六月婷婷综合| 五月丁香婷婷欧美| 大香蕉久久婷婷精品综合| 甈你aaaaa| 深爱五月综合网| 一起草Av| 天天狠狠婷婷在线| av中文在线| 超碰97色| 青996青| 思思热99er| 免费观看全黄做爰的视频| 五月天大香蕉| 色色婷婷五月天| 色99在线| 综合AV在线| 天天在线XXX| 婷婷丁香五月,狠狠综合| 精品视频99看在线视频| 色99网| 九九av在线| 风流少妇A片一区二区蜜桃 | 永久热91| 99久在线视频| 丁香五月亚洲激情婷婷射| 五月天婷综合| 大香蕉av在线| 五月情丁香色| 九九热这里只有精品首页| 无码yw| 色欲色香,www,com| 亚洲婷婷激情综合激情999精品| 精品人妻久久久久久| 成人丁香色| 五月天精品| 开心五月婷婷激情网| 天天日狠狠| 国产永久一二一起草| 秋霞免费三级片| 亚洲综合九九| 伊人在线婷婷草| 开心五月婷| 五月丁香在线婷婷蜜桃| 色五月婷婷五月| 9l视频自拍9l九色9l成人| 色婷婷AAA| www99精品| 色五月成人| 久碰视频| 五月婷婷久久爱| 久久青草国| 色青五月天| 日本女人久久| 人妻乱码久久久| 色九九综合| 久99久视频| 影音先锋毛片网站| 色综合夜夜| 五月婷婷视频啪啪美女| 99九九精品| 国产欧美va| 五月天涩涩| 99只有精品| 天天看A片| 久操热| 国产乱妇乱子在线播视频播放网站 | 超碰人人艹| 色五月婷婷综合在线| 五月丁香久久久久| Va另类视频| 99精彩视频在线观看| 亚洲bt丁香五月天婷婷激情小说| 国产67194| 99久久婷婷| 超碰久热| 色色五月婷婷久久| 亚洲精| 色五月天在线观看| 国产67194| 色香欲综合| 国产AV一区二区三区日韩| HD久久精品视频| 日本久久视频| 丁香婷婷色五月天| 超碰在线人妻| 五月天婷婷基地综合网| 久久66精品| 狠狠干在线| 天天艹夜夜艹| 人人操女人| 丁香婷婷偷拍| 五月婷婷六月丁香| www婷婷色| 这里只有精品亚洲| 色婷婷色| 99re热视频| 久久 婷婷 五月天| 久9热视频在线观看| 天堂中文国产| 亚洲在线免费成人| 99热99思午夜精品| www.久久久.com| 国产69久久久欧美黑人A片| 丁香五月综合激情性爱| 色色色色色色色色网站| 国产精品日本一区二区在线播放| 97丁香五月| wwccc久久久| 狠狠爱婷婷丁香| 色狠狠色综合久久久绯色aⅴ影视| 我去色色网五雨天| 五月婷婷性| 婷婷亚洲综合| 伊人网欧美在线男人天堂五月丁香 | 色综久久久| 国产激情综合五月久久| 琪琪色网址| 电影爱拉战争免费观看| 五月婷婷中文| 97精品欧美91久久久久久久| 色爱综合网| 亚洲午夜成人av电影网| 丁香五月婷婷六月婷| 婷婷久月| 99久久99九九99九九九| 91视频一起草| 91色五月| 五月丁香婷婷基地| 另类激情五月| 久9热视频| 天天日日| 国产免费一区二区三区三州老师F1F1.CC | 国产精产国品一二三在观看| 狠狠干天天内射| 伊人久久大香线蕉av最新| www.久操| 丁香五月欧美午夜视频| 伦乱人妻| 亚洲热久久| 97精品人人A片免费看| www超碰| 五月婷婷天堂| 久99久视频| 丁香激情网| 色青五月天| 丁香五月婷婷视频| 久久永久视频| 超碰91在线| 91狠狠色丁香婷婷综合久久| 婷婷五月激情综合| 六月五月丁香五月欧美| 大香蕉九九| 中文字幕AV在线播放| www.色婷婷.com| 久久99精品日本| 免费亚洲婷婷五月| 深爱五月月天| 思思9久久| 五月涩涩网| 成人做爰高潮A片免费视频| 色吧五月婷婷六月丁香| 色色丁香婷婷五月天| 日日插日日干| 久9久9久9久9久9久9| 91精品久久久久久久| 亚洲成人AV在线观看| 五月婷婷深深爱| 五月婷婷六月丁香综合| 午夜丁香六月婷| 国产乱人偷精品人妻A片| 亚洲天堂AAA| 天堂无码人妻精品AV一区| 99精品这里只有免费视频| 色婷婷五月在线| 九九草热在线观看| 123草逼网| 日本一级一级一级一级| 久久 视频这里只有精总| 亚洲精品另类| 婷婷五月天av| 毛片新网地| 日韩三级视频一区二区| 亚洲国产99| 人人澡天天色天天做| 一本大道嫩草AV无码专区| 开心综合激情综合| 激情小说五月欧美亚洲丁香| 99久久网站| 久久大香蕉同僚| www.婷婷| 天天干 夜夜爽| 欧美三级黄色片久久| 思思99热| 婷婷五月色情| 五月婷综合性中心| av在线中文| www九九热| 亚洲 六月 综合| 国产精品色婷婷99久久精品| 91麻豆国产三级精品福利在线观看| 婷婷五月天熟妇| 欧美精品久| 激情婷婷丁香| 色综合另类| 丁香五月天堂网| 婷婷丁香人妻| 国产97色在线| www.激情五月天.con| 玖玖在线视频| 五月婷婷丁香俺日污视频| 九九碰九九爱97| www.超碰97| 综合网啪| 3p日韩网站视频| 九月色婷婷综合| 99色综合| 日韩高清成人| 免费不卡狠操美女视频网 | 被男人添B超爽视频| 五月婷婷色激情| 超碰在线视屏| 人人操人人干AV| 四LLL少妇BBBB槡BBBB| 五月天婷婷色| 亚洲第79页| 日韩九区| 婷婷九九视频| 国产成人综合电影| 久久丁香五月天| 日韩五月丁香| 十月丁香九月婷婷综合| 婷婷激情五月天亚洲综合| 男女99免费视频| av婷婷六月丁香社区在线观看| 79精品视频在线观看,| 五月天婷婷小说| 五月婷婷六月丁香五月| 伊人久久婷婷| 九色视频91疯狂| 激情综合一| 一区二区免费看| 久久er视频6| 婷婷丁香综合| 亚洲在线成人| 激情啪啪五月天| 婷婷丁香九色| 久久婷婷综合五月| 国产,欧美,学生妹,视频| 99啪啪视频| 激情婷婷六月天| 欧美Va在线| 色五月av伊人| a色色片| 亚洲无码另类| 久久XX| 一区视频网站| 亚洲免费观看高清完整版AV线| 激情色五月天| 国产欧美熟妇另类久久久| 欧美黄色AA片哗啦啦啦| 久久九九热视频| www九九| 狼友超碰| 色五月婷婷大香蕉| 影音先锋四区| 婷婷丁香久久| 丁香六月婷婷综合| 少妇AB又爽又紧无码网站| 伊人久久激情图区五月| 2013AV天堂| 39视频第二区| 性生活视频98791| 久久综合影院| 日本色道视频网站| 五月天无码视屏播放| 日本综合久| 九九亚洲视频| 狠狠五月丁香色婷| 激情网婷婷婷| 色五月五月天色婷婷色五月| 亚洲国产成人在线| 婷婷五月天成人| 熟妇无码乱子成人精品| 激情婷婷五月丁香啪啪啪| 色婷婷色综合久久精品V| 亚洲丁香五冃97色| 色图亚洲91| 丁香色色五月| 九九Y精品热播| 午夜免费高清AV片| 色区久久| 五月激情综合深爱| 久久色五月天| 色优久久| 色综合99无码 | 九九热在线视频,| 久久只这里有精品| 六月丁香五月婷婷| 99色| 激情av网| 婷婷日本色| 日屌日日操日日色| 婷婷五月综合久久中文字幕| 啪啪一区| 91热久| 91丨九色丨高潮丰满日本| 色婷婷电影网| 精品久久久久久久人妻| 色婷婷久久综合| 99色在线| 2017人人操| 久久草人妻| 伊人六月无码视频| 亚洲激情久久| 久狠日av| 婷婷色五月激情| 日本片日本片祼观看网站在线看中文版网页在线看 | 成年AAAA色情| 激情五月天婷婷丁香 | 五月丁香六月婷综合成人综合| 五月花婷婷在线精品视频| 日韩好吊操| 久久久久思思热| 日韩999| 办公室少妇激情呻吟A片在线观看 白人荫道BBWBBB大荫道 | 99精品在线观看视频| se色99| 26UUU欧美| 大香网伊人久久综合| 99色在线观看视频者| 久久婷婷六月综合| 五月婷婷黄色| 五月天激情小说网| 婷婷大美在线| 婷婷丁香五月久久| 国产特级毛片AAAAAAA高清| 91色综合| 色色性爱视频| 99热20| av人人干| 欧美Va日本Va| 午夜大香蕉| www.99精品视频| 久久AAAA片一区二区| 噜噜视频| www.韩日视频| 人人射av| 婷婷五月在线视频| 99黄色性生活| 久久激情五月天| 色吧网综合| xxxx五月| 婷婷五月天视频| 伊人网色婷婷五月天| 99色五月| 久热这里只有精品性色AV| 激情综合婷婷| 99热在线观看亚洲区| 天堂网操| 91热在线| 五六月丁香激情视频| 欧美精品999| www.久久五月天.com| 中字幕视频在线永久在线观看免费| 国产在这里只有精品| 婷婷五月丁香色播| 九九精品网| 久久9热好| 久久永久网址| 婷婷综合网| 色香欲综合| 五月J香蕉婷婷| 婷婷,五月天,丁香,第一| 午夜九九九九九九九九九九九九九| 91制片厂久久久国产电影| 99激| 日韩一本操| 人妻体体内射精一区二区| 婷婷丁香五月天影院| 色五月婷婷久久| 天天天添天天操| 大香蕉人人网| 国产69久久久欧美黑人A片| 深爱激情五月婷婷| 激情精品久久| 婷婷丁香五月天在线视频| 五月丁香啪啪| 99热精品网| 五月婷婷丁香| 丁香婷婷综合五月天| 久机视频这只有精品| 五月婷婷六月天| 婷婷五月综合社区| 五月丁香综合激情| 色久九| 亚洲色综合色网| 欧美综合激情五月| 久久男人网婷婷| a久久免费视频| 九九99在线观看视频| 亚洲综合五月天| 色五月五月婷婷| 无码G高清天| 婷婷五月丁香性爱| 五月综合色| 日日日日日| 九九蜜臀精品| 中文av网站| 猫咪伊人久久| 亚洲人妻av| 色玖玖| 国产免费一区二区在线A片视频| 五月天婷婷日日爱| 色婷婷香蕉在线| 四色 爱 婷婷 精品 亚洲 五月天| 色色色色色色色色综合网| 99热精品在线观看| 九九爱激情| 婷婷五月天婷婷| 色色丁香色五月| 丁香五月天啪啪激情综合网| 综合99在线| 欧美大片| 97精品人人A片免费看| 亚洲啪啪啪啪| 99精品在线观看| 婷婷色情网| 七七色色综合| 亚洲激情五月| 色婷婷五月天av在线| 五月丁香中文| 天天综合色丁香| 五月丁香婷婷伊人| 亚洲综合视频网| 婷婷基地成人五月天| 丁香五月狠狠在线观看| www.婷婷.com| 婷婷五月综合婷婷| 极品少妇婷婷五月| 丁香五月AV| www.狠狠狠狠| www.maotanji.com| 成人五月丁香花| 色婷婷激情五月天丁香| 综合久久婷婷| 99ER热精品视频| 欧美性猛交XXXX乱大交极品| 97人碰人操| 影音先锋秋秋五月婷婷| 99热大| 欧美日韩国产日本精品四虎网网站物| 狼人婷婷久久| 欧美激情综合色综合啪啪五月| 五月丁香婷婷人体| 亚洲天堂婷婷| www久久艹| 白天AV月月| 任你日热视频| 五月丁香婷婷五月色| 久久婷婷五月综合啪| 五月色无码| 丁香婷婷色色| 九九伦子片| 97人人干人人操| 久久精品亚洲一级牲爱综合 | 97性高潮久久久| 天天日天天色| 激情五月婷婷| 婷婷五月天伊人网| 五月停停丁香| 激情伊人六| 色欲婷婷五月天丁香| 大香蕉久久视频久久视频 | 五月丁香花激情综合网| 婷婷丁香综合在线| av高清无码| 这里只有精品免费视频| 26.uuu丁香五月婷婷| 操操操av| 久久婷婷五月综合色丁香| 综合久久丁丁香婷| 超碰人妻在线| www.五月天婷婷| 综合啪啪| 五月丁香婷婷AV| 亚洲久久婷婷| 人妻五月天激情开心网| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 五月开心激情| 久久久久久丁香五月| 激情丁香婷婷五月天| 男女99免费视频| 色99色| 色欲色香,www,com| 91九色白丝| 色www久视频| 丁香五月天社区| 五月丁香在线观看| www.99视频| 亚洲视频99| 亚洲狠狠狠| 九九热在线观看视频网站| 亚洲丁香五月综合| 激情涩涩网| 最新日本A片| 天天久久66xxx| 99男人的天堂| 超碰高清在线| 婷婷五月色图| 五月婷婷熟女| 五月婷久久久| 大香蕉啪啪| 婷婷久久性爱| 超碰操网| 婷婷五月在线综合| 成人色图情色成人网 www.5b5b5bcom 五月天 | 操操操97| 九九99精品视品| 丁香情色五月| 色 噜噜 九月 婷婷| 成人AV在线电影| 丰满人妻一区二区三区| 亚洲妇女熟BBW| 亚洲成人免费在线| 婷婷五月天影院| 亚洲视频一区| www.夜夜操| 国外亚洲成AV人片在线观看| 五月天久久婷| 狠干综合| 婷婷色网站| 另类综合激情| 婷婷五月天伊人在线| 五月丁香少妇A| 欧美视频在线观看噜噜| 爱的综合网| 人妻videos人妻高清| 五月婷婷之六月丁香| 六月婷婷激情小说网| 五月激情婷婷女| A久久| 亚洲精品电影| 欧美三9久九观看| 国产精品成人网站| 91日婷婷在线| 五月婷婷啪| 成人做爰高潮A片免费视频| 激情五月天在线观看婷婷| 色在线99| 99久久精| 欧美性色A片免费免费观看的| 久久综合网免费视频| 激情综合五月婷婷| 五月色欧洲| 日韩AV中文在线观看| 五月丁香啪啪啪啪| www.99视频| 天天色综合天天| 亚洲成av人影院| 人人人操 超碰| 五月狠狠| 亚洲天堂色色| 丁香六月婷婷综合啪啪| 无码人妻电影| www.色婷婷| 婷婷丁香五月基地| 噜综合| 婷婷在线免费| 亚洲无码99| 久久久日韩特色特黄AAAA| 九色视频91疯狂| 国产亚洲色婷婷99精品| 色婷婷丁香五月在线观看| 综合网啪| 影音先锋91在线资源站| 色一情一乱一乱一区91| 婷婷五月天免费视频在线观看| 少妇人妻人伦A片| 无码激情AAAAA片-区区| 最新国产AV| 色婷婷XXXXX| 激情五月天伊人影院| 开心激情网在线| 另类婷婷五月天啪帕帕| 热九九在线| 99热这里只有精品86| 欧美啪啪9| 激情亚洲五月| 激情深爱综合| 综合一区二区三区| 美女被肏网站在线看| 久久综合综合久久| 色99网| 国产又爽又猛又粗的视频A片| a九九热www| 丁香婷婷中文字幕| 99热久久这里只有精品| 色婷婷亚洲| 青青草视频福利| 国产性爱亚洲是图| 六月丁香中文字幕| AV人人操| www.1024久久| 五月婷婷九月婷婷九月婷婷| 国产FREESEXVIDEOS性中国| 激情视频91| 天天爽免费视频| 综合AV网| 第二色AⅤ| 狠狠狠狠狠狠狠狠| 婷婷亚洲在线| 丁香五月综合图片在线观看| 婷婷六月天| 亚洲色碰| 激情综合色网| 人人操AV| 五月六月婷| 九九99偷拍视频| 中文aV网| 天天久久婷婷| 无码激情AAAAA片-区区| 激情五月丁香五月| 玖玖99免费视频| 激情网 久久| 99久久思思| 五月综合激情| 五月天亚洲最大成人| 日本99在线视频| 午夜成人在线免费视频| 99免费视频在线观看爱| 国产偷人爽久久久久久老妇APP| 337p大胆噜噜噜噜噜91Av| 超碰男人色| 九艹在线| 影音先锋777xfplay色资源网站| 五月四色激情| 综合色色色色色色| 九九热青青草| 99这里只有精品|v| 午夜婷婷久久 | 丰满少妇猛烈A片免费看观看| 久久久思思热| 天天色情站| 一本久久亚洲五月婷婷| 激情内射人妻1区2区3区| 天天天天天操| 免费黄网不卡AV| 特级片神马电影| 91n网站cad入口在线观看| 激情五月狠狠| 波多野结衣AV无码Porn| 这里只有精品视频在线看| 五月天开心色色网| 婷婷激情五月天小说| Www.久久| 97婷婷丁香| 色婷婷网| 国产婷婷色综合AV蜜臀AV | 免费观看的AV| 婷婷久久图片| 色婷婷影视| 综合激情五月天| 99久久婷婷国产综合精品草原| 一本道综合网| 亚洲视频1区| 狠狠色丁香婷婷久久综合| 97碰久久| 嫩草AV久久伊人妇女超级A| 欧美激情五月综合| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月丁香黄色| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 婷五月天在线草| 色九月丁香婷婷蜜桃在线观看| 久久色亭亭五月天| 99色中文| 精品无码久久久久久久久| 天天操天天操天天操天天操天天操天天操| 五月婷婷综合色啪首页 | 光棍影院日韩精品| 婷婷成人五月天成人文学| 99在线视频精品| 亚洲在线播放| 91狠狠色色丁香婷婷综合久久| 久这里只有精品99| 色八戒操婷婷| 夜夜谢天天干| va婷婷在线免费观看| 大香蕉Av在线| 色色色欧美| 五月天激情综合10p| 色欲影香| 五月J香蕉婷婷| 99自拍视频网站| 久久这里只有精品16| 深夜婷婷 丁香| 婷婷五月大香蕉| 精品九九视频| 丁香六月av| 97久久人人操| 噜噜色com| 激情综合女人网五月播播| 中文字幕无码人妻少妇免费视频| 色五月婷婷基地| 91精品熟女| 9热成人在线视频| 亚洲AV成人无码久久精品老人法拉利| 婷婷玖玖丁香| 99热这里| 青青草原99热| 涩涩涩,com| 99爱在线| 成人看片网站| 丁香九月婷| 五月天成人手机在线视频| 九九99精品视频在线观看| 超爽内射| 牛牛澡牛牛爽| 色婷婷丁香五月| 色久天| 99色1| 爱爱色五月天| 999热在线视频| 99日在线观看视频| 69天堂99| 无码 av电影| 99在线精品视频| 99精品热视频| 五月天成人在线视频网站| 日韩乱玛久久| 亚洲尤物在线| 大香蕉久久久久| 操大屄五月天视频| 97碰碰碰免费公开在线视频| 亚州操人在线视频| 色婷婷六月天在线| 久久久精品99亚洲综合| 色六月婷婷| 99碰视频| 婷五月天六| 日韩人妻在线播放| 中文字幕人妻熟女在线| 色九区| 色爱亚洲| 思思热在线播放| 久久久99久久| 色色色干| 婷婷色五月开心五月| 五月婷婷丁香俺日污视频| 五月色俺婷婷| 狠狠干五码| 五月婷婷免费| 蜘蛛女免费观看完整版高清电影| 色综合久| 丁香婷婷精品视频| 婷婷99中文字幕| 香蕉狠狠爱视频| www久久久久久| 一本色道久久88加勒比| 校花娇喘呻吟校长陈若雪视频| www.99热| 五月丁久久| 五月丁香色婷婷| 国产激情视频在线观看| 丁香五月另类色婷婷麻豆| 操九色| 伊人网大香| 久久色天堂| 久久视频婷婷视频| 久久精品婷婷| 丁香五月成人| 99热久久这里只有精品| 九九色影院| 思思热在线| 成人五月天丁香婷| 五月天亚洲最大成人| 69凹凸成人综合网| 九九精品丁香花| 亚洲亚洲人成综合网络| 五月婷A V在线| 4399精品一区二区| 中文字幕激情综合| 色啪综合| 99久久这里只有精品免费官网| 天天日天天摸天天| 狠狠操狠狠做| 欧美va在线观看| 九九热九九| 91操操| 久久五月婷综合| 青青草国产亚洲精品久久| 韩日另类| 五月天婷婷色色网| 久久丁香五月综合六月激情红杏视频| 婷婷色色综合激情| 五月深爱激情网| 久久视频这里99| 欧美丁香五月97色| 激情五月天婷婷丁香| 国产伦亲子伦亲子视频观看| 国产99久久久国产精品免费看| 亚洲中文AV网站| 色噜噜狠狠色综合成人99| 久久五月天视频| 久久婷婷成人视频| 高清国产一级婬片a免费| 九九热99免费视频| 婷婷六月丁香1| 色婷婷五月天视频网站| 久久久精品色| 思思久久99热只有频精品66| 超碰99热在线观看| 国产激情综合| 欧美爆乳一区二区三区| 91在线日| 91久久网站| 五月天婷婷基地| 婷婷五月丁综合| 婷婷五月天影院| 六月丁花香啪啪激情欧美| 91互操| www.操逼comm| 91人人爽狠狠狠| 婷婷五月天丁香花| 欧美色偷拍| 丁香婷五月天| 色女人久久| 噼里啪啦完整版中文在线观看| 免費观看aV在线网址| 97人妻碰碰碰久| 夜夜操,天天撸| 天天日天天操心| 啪啪九九色| 狠狠综合久久| 激情婷婷啪啪| 99国产精品久久久久久久久久久| 99亚洲精品视频| 狠狠操狠狠狠| 俺去也五月天婷婷| 操逼综合网| 开心五月婷婷激情| 性色视频| 国产午夜精品一区二区三区嫩草| 99网址在线看| 亚洲色爱综合| 无码少妇高潮喷水A片免费| 五月婷婷婷综合网| 天天夜夜六月丁香五月婷婷老师| 亚洲国产精品VA在线看黑人| 激情五月份婷婷| 五月久久亚洲| 婷婷五月天小说| 欧美图片丁香五月天| 五月花亭亭| 亚洲高清在线| 67194成I人在线观看线路1| 丁香五月婷婷骚视屏| 五月婷在线| 五月丁香综合| 97久久精品视频| 激情文学五月丁香六月婷婷| 开心激情色婷婷五月天| 97丁香婷婷| 伊人狠狠色婷婷综合丁香一区| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 丁香婷婷大香蕉| 婷婷碰碰| 亚洲五月天第一综合干| 91精品在线看| 91丨九色丨熟女丰满| 婷婷五月综合亚洲| 波多婷婷久久| 深爱丁香激情| 91综合在线| 伊人婷婷大香蕉| 日日夜夜干| 碰久久精品w| 色色网站免费观看| 欧美日本韩国亚洲| 色婷婷色久综| 少妇伦子伦精品无吗| 做爱夜夜干天天操| 激情丁香五月婷婷| 婷婷五月播| 欧美婷婷五月丁香| 亚洲成人在线播放| 婷婷五月天AV| 99久久九九| 婷婷色五月激情| 9色在线视频| 人人操AV| 亚洲成AV人片在线观看| www一区二区三区| 97搞在线| 天天操夜夜爽歪歪| 色九九中文字幕| 精品草原久久视频| 欧美成综合在线观看| 婷婷十月激情综合网| 韩国97天堂| 天天狠狠色噜噜| 丁香六月婷婷基地| 婷婷五月天在线观看第二页| 色色网91| 97视频.干com| 67194国产| 久久成人性爱| av国产精品| 天天操夜夜爽| www.91AV.COM| 色伊人婷婷| 天天色天天爽| 久久A极片| 日日日日操| 亚洲春色奇米影视| 婷婷一本和五月丁香| 激情九月婷婷九月| 涩五月丁香| 五月婷婷性爱视频| 9l视频自拍9l九色9l成人| 泰州成人视频| 日日噜人人人做人| 亚洲情综合五月天| 九九免费精品在线视频| 在线视频婷婷| 久久538| 欧美色图45678| 99久热这里只有精品| 亚州精品色情在线观看| 无码碰碰| 97人凄人人操人人爽| 亚洲在线操| 天天日天天爽| 激情网婷婷婷| 97人人搞| 欧洲第一无人区观看| 色情综合网| 日本人人干| 色五月亚洲| 婷婷十月激情综合网| 婷婷五月丁香啪啪| 北京熟妇搡BBBB搡BBBB| 久久婷婷综合五月趴| 日韩一级A片黄色| 国外亚洲成AV人片在线观看| 五月草视频| 丁香五月天导航| 亚洲天堂色| 九九激情| bbwcuckold精品熟妇| 99艹精品在线观看| 人妻操逼视频| 天天天操天天天日| 青青热视频| 香港九九六区八区99| 成人av在线电影| 国产26uuu视频| XX久久| 欧美日韩二区在线| 久久婷婷亚洲| 婷婷五月激情在线视频| 婷婷丁香五月天哟啪| 天天久久九九| 大香蕉综合在线| 99视频精品在线| 五月天六月丁香| 婷婷 伊人 久久| 九九99久久精品| 天天爱天天爽| 色播五月丁香综合| 激情婷婷丁香五月天| 操操操97| 婷婷五月天电影网| 婷婷 色 丁香 夜| 久久综合婷婷| 五月丁香久久综合色| 91九色精品熟女内射| 久久视频这里99| 天天色天天射天天日| 日韩有码一区| 六月婷婷中文字幕| 开心婷婷中文字幕| 六月亭亭久久综合激情| 久久五月丁香婷婷| 日韩无码乱轮| 影音先锋秋秋五月婷婷| 婷丁香五月天| 国产激情在线| 亚洲国产成人AV在线| 欧美S码亚洲码精品M码| 色久天| 亚洲婷婷基地| 亚洲国产99| 丁香五月婷婷色播艳门照| 蜜桃婷婷五月| 影音先锋AV男人站| 无码少妇高潮喷水A片免费| 五月丁香六月激情综合| 激情人妻综合| 欧美丁香五月夫妻天| 久久久99精品| 月婷婷亚洲| 五月婷婷偷拍| 激情性爱网站| 久久免费高| 免费无码毛片一区二区A片| 色播五月网| 成人 在线 日韩| 激情五月天网站| 草婷婷在线| 蜜乳人妻一区二区三区| 999婷婷综合| 丁香五月在线播放| 91dy.av| 操操操av| 成人网页在线观看| 婷婷黄色五月| 91精品久| 婷婷丁香五月天操逼| 久草婷妨| 久久丁香婷婷色情综合| 99综合色色色| 久久色区| 五月天婷婷丁香基地在线观看| 五月伊人视频在线看| 成人五月天色天堂| 2050人人操免费工开爱| 丁香五月天激情网址| 久久久久这里都是精品| 91狠狠综合久久| 色欲色天天香综合| 99久久偷拍视频| 97超碰99热99| 日本女色人人| 婷婷五月天免费99| 热日韩欧美| 白度黄视频| 色婷婷丁香五月| 激情五月婷婷| 日日撸夜夜操| 91色噜噜狠狠狠狠色综合| 99在线视频精品| 99热8| 国产.亚洲.欧洲视频在线| 五月婷婷久久大香蕉| www.开心激情| 五月天开心网| 92久久| 五月色丁香| 久久久性爱视频| 天天日夜夜拍| 五月婷婷无码| 日韩AV免费电影在线播放| 熟女人妻一区二区三区免费看| 欧美色男人网站| 色域五月丁香| 大香蕉狠狠爱主页| 99日本在线| 中文字幕在线免费| 天天开心婷婷丁香五月| www.色窝| 色五月天在线观看| 五月丁香婷婷综合久久| 啪啪91| 天堂成人A片永久免费网站| 中字幕视频在线永久在线观看免费| 激情婷婷激情在线不卡| 9久9久9久女女女九九九一九| 手机在线日韩视频中文字幕| 91打屁股视频网站| 久er7久热| 丁香色婷婷五月天| 中文字幕在线日亚州9| 99热在线观看| 九九超碰人人| 99综合视频一体| 激情六月丁香综合| 五月婷网站| www.jiujiujiu| 日本狠狠干| 狠狠久久婷婷| …亚洲黄色在线播放日韩、av中文a…| 色色精品色| 中文在线视频久1| 91久久久久久久久18| 在线播放人妻| 久青操| 天天操天天操综合| 丁香五月98| 久久婷婷丁香花综合网| 青青草原亚洲久| 久婷婷| 九九一综合精品| 五月色婷婷影院| 亚洲国产精品VA在线看黑人| 五月丁香久久综合色| 午夜爱爱爱成人| 综合五月天| 国外亚洲成AV人片在线观看| 操人精品| 26uuu91| 五月婷久久| 亚洲啪啪自拍| 婷婷天天舔| 日本爆乳片手机在线播放| 中文成人在线| 超碰亚洲天堂| 丁香五月区| 全部老头和老太XXXXX| 丁香av网| 99热 在线观看| 思思99久久| 欧美日韩成人综合9| 激情综合网五月在线播放| 91大屁股| 乱精品一区字幕二区| 国产精品色婷婷99久久精品| 2w在线视频| 五月丁香色色网| 久久久99日本大片| 色五月婷婷丁香婷婷| 丁香久久| 九九超日本| 婷婷五月丁香六月天亚洲综合| 亚洲AV免费在线| 超碰在线9| 亚洲视色| 丁香婷婷天堂| 婷婷五月激情丁香激情| 996热re视频精品视频| 国产91在线视频| www,婷婷五月天,com| 538任你爽| 色婷婷瘦婷婷日韩| 色色色无码| 综合久久狠狠| 色综合开心五月深爱五月| 亚洲色久| 男人天堂AV在线一区二区| 婷婷天天综合| 欧美性生交XXXXX无码小说| 国产精品视频免费看| 丁香五月综合AV在线| 99青青草99| 激情纯色婷婷五月天在线不卡视频| 99视频在线| 五月丁香婷婷久久| 色五月激情网| 一级黄色操B| 婷婷五月天狠狠| 丁香五月天AV在线 | 国产精品成人网址| 狠狠干2007| 激情第四色| 久热91精品| 五月丁香色综合| 激情淫乱男女| 日日夜夜狠狠操| 91趴趴| www,av好吊操| 99riAV成人在线视频| 色婷亚洲| 婷婷五月天成人| 九九AV| 久久久97| 婷婷五月天影视| 日本不卡高字幕在线2019| 97激情五月天| 亚洲激情网| www.久久爱| 色婷婷视频| 久久亚洲婷婷综合色五月| 玖玖综合色| 99久久免费性爱视频`| 这里只有精品免费视频| 五月丁香综合激情在线观看| 99热精品在线播放| 99热6这里之有精品| 少妇搡BBBB搡BBB搡毛茸茸| 爱草视频在线| 色逼综合网| 激情五月婷婷六月丁香| 欧美色偷拍| 任你爽精品免费视频6| 影音先锋按摩| 婷婷金品综合视频| 色婷婷手机在线| 风流少妇A片一区二区蜜桃| 狠狠干五月天婷婷网| 婷婷丁香社区| 精品一区二区三区木瓜| 五月天啪啪网| 99爱视频在线观看| 激情六月丁香| 综合色99| 五月天色网站| 天天综合91入口| 色播婷婷五月天| tingting五月天亚洲| 性爱技巧五月| 欧美狠狠地| 91无码高清| 亚洲综合婷婷| 国产五月丁香在线| 强辱丰满人妻HD中文字幕| 五月开心深爱激情网| 久热视频97AV在线观看| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 五月丁香免费视频| 97碰超级人人看| 激情丁香婷婷五月天| 97超级碰| 色欲丁香| 丁香伊人综合| 婷婷激情五月视频| 天天干一干| 色婷婷五月天小说网| 色五月中文字幕| 丁香五月婷婷网| 色色婷婷综合网| 九九偷拍网| 五月天婷婷小说| 天天色激情| 狠狠操狠狠爱| 五月婷婷香蕉| 九热免费视频| 亚洲人妻一区二区|