免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Oracle AWR報(bào)告實(shí)戰(zhàn):從快照機(jī)制到等待事件,DBA性能診斷全攻略

Oracle AWR報(bào)告實(shí)戰(zhàn):從快照機(jī)制到等待事件,DBA性能診斷全攻略 簡(jiǎn)介一份面向 Oracle 數(shù)據(jù)庫(kù)管理員與性能優(yōu)化人員的 AWR 報(bào)告分析指南由黃偉波撰寫(xiě)系統(tǒng)講解 AWR自動(dòng)工作負(fù)載庫(kù)從導(dǎo)出到分析的全流程。內(nèi)容涵蓋 AWR 概念、統(tǒng)計(jì)信息分類(lèi)、STATISTICS_LEVEL 參數(shù)調(diào)優(yōu)、報(bào)告核心元素負(fù)載概況、SQL 報(bào)告、等待事件、活動(dòng)會(huì)話歷史、AWR 維護(hù)與快照管理并演示通過(guò)企業(yè)管理器 EM 與命令行生成多種形式的報(bào)告基線對(duì)比、時(shí)段對(duì)比同時(shí)重點(diǎn)解讀緩沖區(qū)緩存命中率、硬解析次數(shù)、邏輯讀取次數(shù)等關(guān)鍵性能指標(biāo)幫助讀者定位瓶頸并優(yōu)化數(shù)據(jù)庫(kù)配置。整份資源為 1 個(gè) PDF 文件大小 7.13MB內(nèi)容結(jié)構(gòu)按“導(dǎo)出 AWR 報(bào)告—分析 AWR 報(bào)告”組織目錄清晰既有基礎(chǔ)概念也包含操作性示例適合從初級(jí)到中高級(jí)的 DBA 閱讀與查閱。目前已有 225 人學(xué)習(xí)下載是一份偏理論但足夠完整的性能診斷參考手冊(cè)。 做DBA這些年我見(jiàn)過(guò)太多人拿到了Oracle數(shù)據(jù)庫(kù)的AWR報(bào)告翻了幾頁(yè)就擱到一邊嘴里念叨看不懂信息量太大不知道從哪里下手。尤其當(dāng)系統(tǒng)半夜出現(xiàn)性能問(wèn)題第二天早上領(lǐng)導(dǎo)把一份幾百頁(yè)的HTML報(bào)告甩過(guò)來(lái)讓你給出結(jié)論時(shí)那種壓力我太熟悉了。AWRAutomatic Workload Repository自動(dòng)工作負(fù)載信息庫(kù)報(bào)告說(shuō)白了就是Oracle數(shù)據(jù)庫(kù)的行車(chē)記錄儀體檢報(bào)告。它每隔一段時(shí)間自動(dòng)給數(shù)據(jù)庫(kù)拍一張快照記錄當(dāng)時(shí)的負(fù)載、等待事件、SQL執(zhí)行情況、資源消耗等關(guān)鍵指標(biāo)然后通過(guò)awrrpt.sql等腳本生成一份可讀的分析報(bào)告。這份報(bào)告的價(jià)值在于當(dāng)數(shù)據(jù)庫(kù)性能出現(xiàn)問(wèn)題時(shí)它能告訴你過(guò)去這段時(shí)間數(shù)據(jù)庫(kù)到底在忙什么瓶頸卡在哪個(gè)環(huán)節(jié)哪些SQL是罪魁禍?zhǔn)住1疚木蛧@AWR報(bào)告分析這件事從一個(gè)一線DBA的實(shí)際視角把報(bào)告的生成、核心指標(biāo)解讀、根因反推方法以及我踩過(guò)的坑一次性講透。不管你是剛?cè)腴T(mén)的新手還是被性能問(wèn)題折磨的老手這篇文章都能讓你拿到報(bào)告后不再發(fā)怵。1. 報(bào)告生成前必須搞清楚的事快照機(jī)制與生成方法1.1 AWR快照的工作機(jī)制AWR的核心機(jī)制是周期性采樣。默認(rèn)情況下Oracle每60分鐘自動(dòng)采集一次快照Snapshot將數(shù)據(jù)庫(kù)的運(yùn)行狀態(tài)寫(xiě)入SYSAUX表空間中的WRM$_和WRH$_系列表里。這些快照數(shù)據(jù)默認(rèn)保留8天之后會(huì)被自動(dòng)清理。所以你要分析某段時(shí)間的性能問(wèn)題必須確??煺崭采w了問(wèn)題發(fā)生的時(shí)間窗口。這里有一個(gè)常見(jiàn)誤區(qū)很多人直接把AWR等同于報(bào)告其實(shí)AWR是數(shù)據(jù)倉(cāng)庫(kù)報(bào)告只是基于這些數(shù)據(jù)生成的分析視圖??煺詹杉臄?shù)據(jù)包括等待事件統(tǒng)計(jì)、時(shí)間模型統(tǒng)計(jì)、SQL執(zhí)行統(tǒng)計(jì)、會(huì)話活動(dòng)統(tǒng)計(jì)、文件I/O統(tǒng)計(jì)、段Segment統(tǒng)計(jì)、系統(tǒng)參數(shù)快照等。知識(shí)點(diǎn)要記牢AWR報(bào)告對(duì)比的是兩個(gè)快照之間的增量數(shù)據(jù)而不是瞬時(shí)狀態(tài)。這意味著快照起點(diǎn)和終點(diǎn)的選擇直接決定了報(bào)告呈現(xiàn)的內(nèi)容。1.2 手動(dòng)生成報(bào)告的完整步驟雖然默認(rèn)每60分鐘自動(dòng)采集一次快照但實(shí)際生產(chǎn)中問(wèn)題往往出現(xiàn)在兩次自動(dòng)快照之間。所以手動(dòng)創(chuàng)建快照、手動(dòng)生成報(bào)告是DBA的基本功。生成單實(shí)例AWR報(bào)告的基本流程# 以sysdba身份登錄數(shù)據(jù)庫(kù) sqlplus / as sysdba # 手動(dòng)創(chuàng)建兩個(gè)快照可選一般建議分析已有快照 exec dbms_workload_repository.create_snapshot(); -- 等待一段時(shí)間讓負(fù)載數(shù)據(jù)被采集 exec dbms_workload_repository.create_snapshot(); # 調(diào)用報(bào)告生成腳本 ?/rdbms/admin/awrrpt.sql腳本執(zhí)行后會(huì)依次提示你輸入報(bào)告類(lèi)型輸入html或text。我強(qiáng)烈建議選html因?yàn)镠TML格式支持顏色標(biāo)注、排序點(diǎn)擊、圖表展示信息密度高且容易定位重點(diǎn)。除非你要做命令行環(huán)境下的快速分析才選text??煺仗鞌?shù)范圍輸入你要查看的時(shí)間跨度比如1表示查看最近1天的快照。起始快照ID和結(jié)束快照ID這里要注意起始ID必須小于結(jié)束ID且兩個(gè)ID之間的時(shí)間窗口要覆蓋問(wèn)題時(shí)間段。輸出文件名默認(rèn)會(huì)生成awrrpt_1_100_101.html這樣的文件建議改成有意義的名字比如awrrpt_prod_20250117_2200_2300.html方便歸檔和追溯。如果是RAC集群環(huán)境每個(gè)實(shí)例有獨(dú)立的AWR數(shù)據(jù)你需要使用awrrpti.sql腳本并額外指定實(shí)例ID?/rdbms/admin/awrrpti.sql -- 按照提示輸入實(shí)例號(hào)比如 1 或 2這里分享一個(gè)我在實(shí)際運(yùn)維中經(jīng)常用的小技巧分析跨實(shí)例的性能問(wèn)題時(shí)最好分別生成每個(gè)實(shí)例的報(bào)告再做橫向?qū)Ρ?。RAC環(huán)境下負(fù)載不均衡的情況非常常見(jiàn)單看匯總報(bào)告容易掩蓋某個(gè)實(shí)例的異常。1.3 快照權(quán)限與歷史數(shù)據(jù)查詢不是所有數(shù)據(jù)庫(kù)用戶都有權(quán)限生成AWR報(bào)告。手動(dòng)生成報(bào)告需要DBA角色或者被授予ADVISOR權(quán)限。如果使用的是云數(shù)據(jù)庫(kù)如阿里云RDS、AWS RDS權(quán)限往往受限你需要通過(guò)云平臺(tái)自帶的管理控制臺(tái)生成報(bào)告命令行的方式不一定可行。如果需要查看歷史快照信息可以查詢數(shù)據(jù)字典視圖-- 查詢數(shù)據(jù)庫(kù)現(xiàn)有的快照列表 select snap_id, instance_number, to_char(begin_interval_time, yyyy-mm-dd hh24:mi) as begin_time, to_char(end_interval_time, yyyy-mm-dd hh24:mi) as end_time from dba_hist_snapshot order by snap_id desc;通過(guò)這個(gè)視圖你可以快速定位哪個(gè)快照覆蓋了問(wèn)題時(shí)間段避免盲目生成報(bào)告。我傾向于在生產(chǎn)系統(tǒng)出問(wèn)題后第一時(shí)間先查快照列表確認(rèn)快照沒(méi)有缺失再?zèng)Q定是否需要手動(dòng)補(bǔ)快照??煺杖笔У膯?wèn)題我在后面專門(mén)講。2. 報(bào)告開(kāi)篇三巨頭DB Time、Elapsed與負(fù)載畫(huà)像拿到AWR報(bào)告大多數(shù)人會(huì)從Report Summary開(kāi)始看。這確實(shí)是正確入口但很多新手只是掃一眼就劃走了。實(shí)際上報(bào)告開(kāi)頭這幾個(gè)指標(biāo)包含了大量信息值得逐項(xiàng)拆解。2.1 DB Time與Elapsed Time的關(guān)系這是AWR報(bào)告中最核心、最先要看的兩個(gè)數(shù)值Elapsed Time快照間隔的墻鐘時(shí)間即這段分析窗口實(shí)際過(guò)去了多久。DB Time數(shù)據(jù)庫(kù)實(shí)例在所有會(huì)話上花費(fèi)的累計(jì)數(shù)據(jù)庫(kù)時(shí)間用戶調(diào)用消耗的CPU時(shí)間等待時(shí)間總和。注意它是累計(jì)值與并發(fā)會(huì)話數(shù)量直接相關(guān)。判斷邏輯很簡(jiǎn)單如果DB Time遠(yuǎn)小于Elapsed Time說(shuō)明數(shù)據(jù)庫(kù)大部分時(shí)間在休息負(fù)載較輕瓶頸大概率不在數(shù)據(jù)庫(kù)內(nèi)部。如果DB Time是Elapsed Time的幾倍甚至幾十倍說(shuō)明數(shù)據(jù)庫(kù)內(nèi)部存在嚴(yán)重的爭(zhēng)用或等待CPU、I/O、鎖競(jìng)爭(zhēng)必居其一。舉個(gè)例子某系統(tǒng)Elapsed Time為60分鐘DB Time為480分鐘說(shuō)明平均有8個(gè)會(huì)話在同時(shí)干活。這時(shí)候你再看DB CPU與Total DB Time的占比如果CPU時(shí)間占比很低而等待時(shí)間占比很高就要重點(diǎn)看等待事件了。2.2 時(shí)間模型里的關(guān)鍵指標(biāo)AWR報(bào)告的Time Model Statistics部分按累計(jì)時(shí)間排序展示了數(shù)據(jù)庫(kù)各項(xiàng)操作的耗時(shí)占比。我通常關(guān)注這幾個(gè)指標(biāo)DB CPU所有會(huì)話消耗的CPU時(shí)間總和。CPU占比高說(shuō)明數(shù)據(jù)庫(kù)在實(shí)打?qū)嵉赜?jì)算SQL執(zhí)行效率可能是關(guān)鍵。sql execute elapsed timeSQL執(zhí)行階段消耗的總時(shí)間。這個(gè)數(shù)值高說(shuō)明SQL層是性能熱點(diǎn)。parse time elapsedSQL解析時(shí)間。如果這個(gè)占比異常高要考慮硬解析過(guò)多的問(wèn)題往往與綁定變量使用不當(dāng)有關(guān)。connection management call elapsed time連接管理耗時(shí)。對(duì)高并發(fā)短連接應(yīng)用系統(tǒng)這個(gè)指標(biāo)會(huì)非常刺眼。時(shí)間模型看的是時(shí)間花到哪里去了它不像等待事件那樣能立刻指向資源瓶頸但能幫你確認(rèn)SQL執(zhí)行層在整個(gè)數(shù)據(jù)庫(kù)運(yùn)行中的權(quán)重??赐暾麖垐?bào)告后我通常會(huì)回到時(shí)間模型校驗(yàn)一次自己的判斷。2.3 Load Profile系統(tǒng)負(fù)載的速寫(xiě)畫(huà)像Load Profile部分展示的是每秒和每事務(wù)的平均指標(biāo)相當(dāng)于數(shù)據(jù)庫(kù)負(fù)載的速寫(xiě)。這里不需要所有指標(biāo)都看但以下幾項(xiàng)要留意Redo size每秒產(chǎn)生的重做日志量。突然增大說(shuō)明有大量DML操作或批量數(shù)據(jù)寫(xiě)入。Logical reads與Physical reads邏輯讀反映SQL訪問(wèn)的數(shù)據(jù)塊總量物理讀反映實(shí)際磁盤(pán)I/O量。物理讀占比過(guò)高通常意味著B(niǎo)uffer Cache命中率下降或全表掃描過(guò)多。Executes與Transactions每秒鐘執(zhí)行SQL次數(shù)與事務(wù)數(shù)。事務(wù)數(shù)是TPS的直接體現(xiàn)如果TPS暴跌結(jié)合其他指標(biāo)才能判斷是應(yīng)用問(wèn)題還是數(shù)據(jù)庫(kù)問(wèn)題。Hard parse每秒硬解析次數(shù)。數(shù)值長(zhǎng)期偏高說(shuō)明共享池使用效率差大量SQL沒(méi)有復(fù)用執(zhí)行計(jì)劃。Load Profile的意義在于建立基線。比如某系統(tǒng)平時(shí)每秒邏輯讀在300萬(wàn)左右某天突然漲到900萬(wàn)哪怕其他指標(biāo)還沒(méi)異常你也能嗅到SQL執(zhí)行計(jì)劃發(fā)生變化或數(shù)據(jù)量突增的味道。沒(méi)有基線所有數(shù)值都是孤立的有了基線變化本身就會(huì)說(shuō)話。3. 等待事件分析定位瓶頸的核心抓手3.1 Top 10 Foreground Events的正確讀法AWR報(bào)告中最具診斷價(jià)值的部分我認(rèn)為是Top 10 Foreground Events by Total Wait Time。這部分按等待時(shí)間降序列出了前臺(tái)會(huì)話最關(guān)心的等待事件。解讀時(shí)要看三列Wait Time(s)、% DB Time、Wait Class。常見(jiàn)的等待事件分門(mén)別類(lèi)說(shuō)CPU時(shí)間類(lèi)DB CPU被列在等待事件表格中它雖然不是等待但Oracle會(huì)把它排在前面。如果DB CPU排第一且占比超過(guò)30%說(shuō)明數(shù)據(jù)庫(kù)瓶頸在CPU計(jì)算能力通常與低效SQL、全表掃描或排序操作過(guò)多有關(guān)。I/O類(lèi)db file sequential read單塊讀常見(jiàn)于索引掃描、db file scattered read多塊讀常見(jiàn)于全表掃描或索引快速全掃描、direct path read直接路徑讀常見(jiàn)于并行查詢或排序。I/O等待占比高說(shuō)明存儲(chǔ)性能或SQL訪問(wèn)路徑出問(wèn)題。并發(fā)類(lèi)enq: TX - row lock contention行鎖爭(zhēng)用多會(huì)話更新同一行、enq: TM - contention表級(jí)鎖常見(jiàn)于DDL阻塞DML。日志類(lèi)log file sync與log file parallel write。前者反映提交操作等待日志寫(xiě)入磁盤(pán)的耗時(shí)對(duì)OLTP系統(tǒng)中提交頻繁的應(yīng)用影響極大。網(wǎng)絡(luò)類(lèi)SQL*Net message from client這類(lèi)等待說(shuō)明數(shù)據(jù)庫(kù)在等客戶端發(fā)SQL過(guò)來(lái)通常不是數(shù)據(jù)庫(kù)瓶頸。不過(guò)如果在RAC環(huán)境中出現(xiàn)gc cr block busy這類(lèi)集群互連等待就要考慮集群內(nèi)節(jié)點(diǎn)間通信效率問(wèn)題。3.2 通過(guò)等待事件比例反推瓶頸只看等待事件名稱還不夠要結(jié)合% DB Time判斷嚴(yán)重程度。比如log file sync等待占總DB Time的25%意味著數(shù)據(jù)庫(kù)每4秒里就有1秒在等日志寫(xiě)盤(pán)。此時(shí)回看Load Profile中的Redo size如果事務(wù)量并不大那問(wèn)題可能在日志文件所在的存儲(chǔ)設(shè)備上如果事務(wù)量巨大則要考慮批量提交改批量、減少commit頻率等應(yīng)用層面的優(yōu)化。等待事件是并列關(guān)系而非因果關(guān)系這句話請(qǐng)劃重點(diǎn)。比如db file sequential read漲上來(lái)本質(zhì)可能是因?yàn)槟硞€(gè)SQL走了低效的執(zhí)行計(jì)劃做了大量索引范圍掃描。等待事件是結(jié)果SQL才是原因。這也是為什么看等待事件之后永遠(yuǎn)要結(jié)合Top SQL去定位根因而不是停在資源層面。3.3 Instance Activity Stats補(bǔ)充閱讀Instance Activity Stats部分按統(tǒng)計(jì)項(xiàng)名稱展示快照期間的累計(jì)值。對(duì)于等待事件指向I/O時(shí)我建議順手查這幾個(gè)統(tǒng)計(jì)項(xiàng)physical reads和physical writes確認(rèn)I/O壓力是否真實(shí)存在。table scans (long tables)長(zhǎng)表全表掃描次數(shù)這個(gè)數(shù)值如果大通常能和Top SQL中的全表掃描操作對(duì)得上。user commits與user rollbacks確認(rèn)提交頻率用于驗(yàn)證日志類(lèi)等待的推斷。session logical reads邏輯讀總次數(shù)是CPU消耗的重要影響因素。這些統(tǒng)計(jì)項(xiàng)未必每次都看但它們是驗(yàn)證等待事件判斷的有力證據(jù)。分析AWR報(bào)告就像破案等待事件是現(xiàn)場(chǎng)線索實(shí)例統(tǒng)計(jì)是物證SQL是嫌疑人三者能彼此印證結(jié)論才站得住腳。4. SQL統(tǒng)計(jì)與段統(tǒng)計(jì)把根因釘死在SQL層面4.1 SQL ordered by Elapsed Time的結(jié)果解讀AWR報(bào)告的SQL Statistics部分按Elapsed Time、CPU Time、Physical Reads、Executions等多個(gè)維度展示Top SQL。我最常看的是SQL ordered by Elapsed Time和SQL ordered by CPU Time。這里有一個(gè)新手很容易踩的坑只看Elapsed Time排序容易忽略執(zhí)行次數(shù)極少的單次慢SQL也會(huì)把執(zhí)行次數(shù)多但單次很快的SQL當(dāng)作罪魁禍?zhǔn)?。比如某條SQL執(zhí)行了100萬(wàn)次每次0.01秒累計(jì)Elapsed Time是10000秒排第一另一條SQL執(zhí)行了1次耗時(shí)3000秒排第二。從累計(jì)時(shí)間看第一條SQL更貴但從業(yè)務(wù)影響看第二條SQL直接堵住了前臺(tái)頁(yè)面用戶體感是系統(tǒng)卡死了。如果你只優(yōu)化第一條第二條的問(wèn)題依然存在。我的習(xí)慣是優(yōu)先看Executions列區(qū)分高頻小SQL和低頻大SQL。對(duì)高頻SQL重點(diǎn)看單次執(zhí)行的邏輯讀和物理讀確認(rèn)是否有執(zhí)行計(jì)劃劣化。對(duì)低頻大SQL重點(diǎn)看是否做了不必要的全表掃描、排序或嵌套循環(huán)。SQL ordered by Physical Reads也需要盯住。物理讀高意味著大量磁盤(pán)I/O尤其是Physical Reads per Execution這個(gè)比值大時(shí)基本可以斷定SQL訪問(wèn)路徑出了問(wèn)題。這時(shí)候點(diǎn)開(kāi)對(duì)應(yīng)的SQL文本和執(zhí)行計(jì)劃?rùn)z查索引情況多半能發(fā)現(xiàn)缺少索引或索引失效的問(wèn)題。4.2 執(zhí)行計(jì)劃變化不只是看SQL文本拿到Top SQL后務(wù)必將本次AWR報(bào)告中的執(zhí)行計(jì)劃與SQL歷史執(zhí)行計(jì)劃做對(duì)比。AWR本身不直接保存執(zhí)行計(jì)劃歷史但可以借助dba_hist_sql_plan視圖查看-- 查看某條SQL語(yǔ)句在特定快照間的執(zhí)行計(jì)劃變化 select * from table(dbms_xplan.display_awr(sql_id, plan_hash_value));如果發(fā)現(xiàn)同一SQL_id在不同快照中Plan Hash Value不同說(shuō)明執(zhí)行計(jì)劃變了。常見(jiàn)的導(dǎo)致執(zhí)行計(jì)劃變化的因素有表數(shù)據(jù)量增長(zhǎng)、統(tǒng)計(jì)信息過(guò)期、綁定變量窺探Bind Peeking、參數(shù)變化。這時(shí)候要重點(diǎn)分析新執(zhí)行計(jì)劃到底差在哪個(gè)環(huán)節(jié)——是全表掃描替代了索引掃描還是Join順序改變導(dǎo)致中間結(jié)果集膨脹。4.3 Segment Statistics定位熱點(diǎn)對(duì)象Segment Statistics部分按邏輯讀、物理讀、緩沖區(qū)忙等待等維度列出熱點(diǎn)數(shù)據(jù)庫(kù)對(duì)象表、索引、分區(qū)。這部分能幫你快速建立SQL?對(duì)象的對(duì)應(yīng)關(guān)系。例如Segments by Logical Reads排名第一的表恰好是Top SQL中某條SQL訪問(wèn)的表基本可以確定問(wèn)題SQL和這個(gè)表的訪問(wèn)方式有關(guān)。如果這個(gè)表邏輯讀極高但物理讀不高說(shuō)明數(shù)據(jù)已經(jīng)被緩存在Buffer Cache中CPU壓力來(lái)自大量buffer cache的遍歷如果物理讀和邏輯讀雙高說(shuō)明內(nèi)存放不下或者訪問(wèn)路徑根本沒(méi)用上索引。Segments by Buffer Busy Waits也值得關(guān)注。如果某段頻繁出現(xiàn)buffer busy wait可能涉及熱點(diǎn)塊競(jìng)爭(zhēng)——多個(gè)會(huì)話同時(shí)訪問(wèn)同一個(gè)數(shù)據(jù)塊。這在某些全局唯一索引、序列或頻繁更新的小表上很常見(jiàn)。遇到這種情況有時(shí)候要改應(yīng)用邏輯比如減少對(duì)同一行的頻繁更新有時(shí)候要調(diào)整PCTFREE或分區(qū)設(shè)計(jì)單純調(diào)SQL未必有效。5. 從報(bào)告到結(jié)論一次完整的根因推演案例理論講了這么多我拿一個(gè)實(shí)際遇到的案例來(lái)串一遍這樣整個(gè)分析鏈路會(huì)更清晰。某業(yè)務(wù)系統(tǒng)反饋每天晚上8點(diǎn)到9點(diǎn)之間特別慢業(yè)務(wù)人員操作一個(gè)查詢頁(yè)面要等十幾秒。生成這段時(shí)間的AWR報(bào)告后我按如下順序做了分析第一步看DB Time vs Elapsed Time。Elapsed Time約60分鐘DB Time約350分鐘負(fù)載確實(shí)集中在這個(gè)時(shí)段。第二步看Top 10 Foreground Events排第一的是db file sequential read占比約45%其次是DB CPU占比約25%??吹竭@個(gè)組合我的第一判斷是大量單塊讀——極可能有人在通過(guò)索引做大量逐行訪問(wèn)I/O等待拖慢了整體響應(yīng)。第三步回到Load Profile看Physical reads per second數(shù)值為平時(shí)基線的6倍進(jìn)一步確認(rèn)I/O壓力激增。第四步翻開(kāi)SQL ordered by Physical Reads果然有一條SQL的物理讀次數(shù)遠(yuǎn)超其他SQL。點(diǎn)開(kāi)SQL文本是一張大寬表的主鍵范圍查詢而執(zhí)行計(jì)劃顯示它走了索引全掃描Index Full Scan該索引的葉子塊數(shù)量超過(guò)3萬(wàn)個(gè)。為什么走索引全掃描進(jìn)一步查執(zhí)行計(jì)劃發(fā)現(xiàn)查詢條件里用到了函數(shù)包裹索引列導(dǎo)致索引失效Oracle選擇了掃描整個(gè)索引然后做過(guò)濾。第五步驗(yàn)證將該SQL改為在應(yīng)用層先計(jì)算函數(shù)結(jié)果、再以原始列值查詢或者建立函數(shù)索引物理讀從每分鐘2萬(wàn)次直接降到幾百次頁(yè)面響應(yīng)恢復(fù)正常。這個(gè)案例說(shuō)明AWR報(bào)告分析的真正價(jià)值在于層層遞進(jìn)交叉驗(yàn)證。等待事件給方向Load Profile給量級(jí)Top SQL給抓手執(zhí)行計(jì)劃給根因。任何一步單獨(dú)看都可能誤判但串聯(lián)起來(lái)就是一個(gè)完整的故事。6. 實(shí)戰(zhàn)中的高頻坑快照缺失、RAC誤讀與報(bào)表陷阱6.1 快照缺失和采樣窗口問(wèn)題分析AWR報(bào)告最容易翻車(chē)的情況恰恰是報(bào)告生成本身。我之前遇到過(guò)一個(gè)問(wèn)題數(shù)據(jù)庫(kù)每天早上8點(diǎn)出現(xiàn)CPU飆高但生成的AWR報(bào)告里負(fù)載卻平平無(wú)奇。后來(lái)查了dba_hist_snapshot才發(fā)現(xiàn)8點(diǎn)前后恰好處于兩個(gè)自動(dòng)快照之間的盲區(qū)——問(wèn)題只持續(xù)了10分鐘而快照間隔是60分鐘峰值被平均掉了。解決辦法有兩個(gè)在問(wèn)題高發(fā)時(shí)段提前部署手動(dòng)快照縮小采樣窗口-- 每10分鐘生成一次手動(dòng)快照連續(xù)生成6次覆蓋1小時(shí) begin for i in 1..6 loop dbms_workload_repository.create_snapshot(); dbms_lock.sleep(600); end loop; end; /如果問(wèn)題已經(jīng)發(fā)生且沒(méi)有留存高頻快照退而求其次分析ASHActive Session History報(bào)告。ASH按秒級(jí)采樣會(huì)話活動(dòng)彌補(bǔ)AWR分鐘級(jí)粒度的不足。生成方式類(lèi)似?/rdbms/admin/ashrpt.sql分析方法與AWR一脈相承重點(diǎn)看Top活動(dòng)會(huì)話的等待事件和SQL_ID。6.2 RAC環(huán)境下單實(shí)例報(bào)告的局限RAC環(huán)境中最容易犯的錯(cuò)是只生成某一個(gè)實(shí)例的AWR報(bào)告然后對(duì)整體性能下結(jié)論。例如兩個(gè)節(jié)點(diǎn)的負(fù)載嚴(yán)重不均衡節(jié)點(diǎn)1的DB Time是節(jié)點(diǎn)2的8倍你只看節(jié)點(diǎn)1的報(bào)告會(huì)認(rèn)為系統(tǒng)繁忙到崩潰只看節(jié)點(diǎn)2的報(bào)告會(huì)認(rèn)為系統(tǒng)閑得很。必須分別生成每個(gè)實(shí)例的報(bào)告同時(shí)對(duì)比Global Cache Statistics里的gc cr block receive time、ges messages sent等集群互連指標(biāo)才能判斷是否存在節(jié)點(diǎn)間通信瓶頸。RAC還有一個(gè)隱蔽問(wèn)題同一個(gè)SQL在不同節(jié)點(diǎn)上的執(zhí)行計(jì)劃和性能可能完全不同。分析時(shí)需要按con_id和instance_number分開(kāi)查看SQL在各自節(jié)點(diǎn)的表現(xiàn)。如果只拉匯總報(bào)告這些差異會(huì)被掩蓋。6.3 容易誤判的指標(biāo)陷阱最后列幾個(gè)我在實(shí)際工作中反復(fù)踩過(guò)的指標(biāo)陷阱Buffer Cache命中率陷阱命中率高不代表性能好。如果一個(gè)系統(tǒng)命中率99%但邏輯讀總量高達(dá)每秒500萬(wàn)依然會(huì)消耗巨額CPU。高命中率掩蓋了低效SQL的大量邏輯訪問(wèn)。所以命中率要結(jié)合邏輯讀總量看。Average Active SessionsAAS陷阱AWR首頁(yè)有一個(gè)Avg DB Time per Call指標(biāo)但它是平均數(shù)不能反映峰值。一次大批量報(bào)表跑批可能平均數(shù)字看起來(lái)不高實(shí)際運(yùn)行過(guò)程中瞬間并發(fā)會(huì)話數(shù)已經(jīng)觸頂。SQL ordered by Gets vs Reads邏輯讀Gets和物理讀Reads排序的SQL往往不是同一批。前者影響CPU后者影響磁盤(pán)I/O。優(yōu)化時(shí)要明確目標(biāo)是降CPU還是降I/O不然優(yōu)化方向會(huì)打架。報(bào)告期間重啟數(shù)據(jù)庫(kù)的陷阱如果快照窗口內(nèi)發(fā)生過(guò)數(shù)據(jù)庫(kù)重啟快照數(shù)據(jù)會(huì)中斷部分指標(biāo)比如實(shí)例啟動(dòng)以來(lái)的累計(jì)值會(huì)出現(xiàn)跳變。這種報(bào)告直接放棄重新生成別硬分析。這些坑不是從文檔里看來(lái)的都是我在生產(chǎn)環(huán)境里一個(gè)個(gè)踩出來(lái)的。AWR報(bào)告分析能力的提升本質(zhì)上就是看報(bào)告→被坑→驗(yàn)證判斷→再被坑→再驗(yàn)證的循環(huán)。多分析歷史報(bào)告多和實(shí)際故障現(xiàn)象對(duì)照慢慢就會(huì)形成自己的判斷直覺(jué)。下一次再有人甩一份報(bào)告讓你給結(jié)論你至少知道該從哪里下刀了。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷婷色综图片| 小视频一区| 99热日本| 六月婷婷久久| 五月婷婷狠天天色综合| 五月婷婷色综图片| 一起操 91N.com| 大香蕉久操| 中文字幕丁香五月| 久久这里只有精彩| 婷婷射丁香| 性爱技巧五月| 国外亚洲成AV人片在线观看| 精品乱码久久久久| 91婷婷在线| 亚洲色五月天是什么| 91碰碰碰久久久久| 亚洲欧美综合7777色亭亭| 亚洲乱码在线观看| 五月天社区| 色五月丁香总合网| 国产欧美日韩性爱| 99热国产精品| 国产综合色婷婷精品久久| 免费观看全黄做爰的视频| 91丨九色丨丰满人妖| 日本久久天堂| 99综合一区| 亚洲AV成人一区二区在线观看| 欧洲亚洲免费视频9| 亚洲视频伍月婷婷| 亚洲小视频| 亚洲艹网| 婷婷五月天中文字幕.| 办公室少妇激情呻吟A片在线观看| 天天色噜| 五夜丁香| 99在线视频精品| 丁香五月无码| 五月综合婷婷久久在线| 亚洲激情97五月天| 亚洲狠狠干| 国产高清RV综合aVa| 超碰人人99| 国产高清av黄色看片| 激情五月综合婷婷| 国产精品99久久久久久久女警| 色色五月丁香婷婷| 超碰99在线观看| 伊人婷婷大香蕉| 五月天激情图片| 青草热视频这里只有精品| 丁香午月AV中文字幕| 五月丁香色婷基地综合久久| 91九色欧美| 激情综合色婷婷啪啪六月天| 这里只有精品免费视频| 天天日天天草| 97久久草草超级碰碰碰| 26uuu亚洲| 99热都是精品| 4399成人黄A片| 99性视频| 黄色热99| 色婷婷综合电影| 五月天啪啪网| 正宗黄色毛片| 夜夜爽天天| 色丁香五月天射婷婷爱婷婷| 日韩成人五月天| WWW五月婷婷| 日韩欧美一级大黄网站| 思思久久精品视频| 久机视频这只有精品| 噜噜网免费视频| 99思思热只有在这里看| 五月天婷婷丁香| 日本婷婷| 久久99热这里只频精品6学生| 激情五月色婷婷| 五月激情婷婷在线| 久久激情视频| 久久性都花花世界成人免费视频| 五月天激情影院| 亚洲AV成人在线| 9色在线| 人人爱操| 电影爱拉战争免费观看| 色噜噜狠狠色综合网| 五月天狠狠色| 五月丁香六月激情综合啪啪| 婷婷五月天成人网| 国产国产乱老熟女视频网站97| 专区无日本视频高清8| 国产精品a无线| 天堂网亚洲色图| 色一情一乱一乱91Av| 99在线视频精品| 五月天伊人av| 狠狠狠夜夜夜| 一起草av| 九九久久精品國產| 嫩草综合网| 五月天,激情四射,婷婷频道| 天天天天天天操| 人妻丰满精品一区二区A片| 免费一区二区三区| 在线五月色播| 久久久久久久97| 丁香六月综合激情| 97干视频在线| 婷婷五月天高清无码| 亚洲精品色| 九九热超碰| 日本三级第一页| 玖玖综合网| 丁香六月婷婷高清| 亚洲色网址| 亚洲色图五月丁香五月婷婷| 天天激情夜夜干| 五月天婷婷激情综合| www.五月丁香| 久99久视频精品| 久久久久久久久久久44| 婷婷免费无视频| 婷婷五月精品中文字幕| 《久久综合九色综合97婷婷| 丁香五月激情婷婷| 久久久五月天| 一本色道久久88加勒比—| 欧洲亚洲最新精品| 久久性爱视频| 五月停亭六月,六月停亭的英语| 国产欧美精品AAAAAA片| 亚洲操操| 久久草大香蕉| 色婷婷综合网| 五月丁香香蕉| 伊人婷婷青青cao| 久久金品黃色| 五月天激情综合网| 五月婷婷六月丁香在线视频免费在线观看| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 中文久久久人妻| 中文久久婷婷| 国产熟女大叫受不了| 亚洲丁香五月| 亚洲成人AV一区在线观看| 五月婷婷香蕉| 综合福利网| 播五月婷婷开心| 欧美精产国品一二三区| 九九色婷婷| 婷婷五月色激情欧美激情| 91大屁股在线| 伊人五月天久久| 亚洲无线视频| 玖玖色综合| 大香蕉欧美在线| 婷婷丁香五月天中文字幕| 久99热| 停停六月 综合| 天天做天天爱综合| 欧美成人猛片AAAAAAA| 五月婷婷在线视频免费观看| 九月婷婷综合| 亚洲VA在线| 亚洲日本韩国| se99视频| www.黄色片-久久成人国产精品在线播放-999AV | 婷婷五月综合中文字幕| 很很干天天干| 99综合一区| 国产成人在线精品| 九九热思思热| 激情五月婷婷综合视频| 激情五月成年| 天天精品视频免费观看| 五月婷婷丁香大香蕉| 日韩欧美一级大黄网站| 99干免费视频| 啪啪 综合网| 五月天婷婷免费| 99免费热视频在线| 777丁香六月青青草婷婷综合久月| 午夜少妇在线观看视频| 丁香五月婷婷六月| 色五月婷色彩免播放器| 色99久草在线| 成人视屏在线观看| 久热这里只有精品99re,久热这里只有精品7| 欧亚成人A片一区二区| 五月丁香少妇A| 五月天sesese| 婷婷五月综合在线| 韩国婷婷丁香五月| 97人操人免费视频| 丁香狠狠干| 真实亲子乱子伦高清在线观看| 丁香五月天五码婷婷| 婷婷操无码| 欧美性丁香色色五月天干干| 丁香五月自拍| 亚洲午夜一区二区| 精品一二三区久久AAA片| 激情小说 五月天| 激情中文在线| 成人龟情网丁香五月| 亚洲无码色色| 婷婷五月天com| 黄色一极大片| 超碰婷婷五月| 五月丁香啪啪啪| 久久这里只有欧美| 伊人影音无码一区二区三区| 亚洲操B视频| 伊人婷婷五月天| 婷久看人爽| 色爆五月| 天天草天天爽| 激情丁香九九五月综合网| 欧美狠狠草| 天天射网站| 日韩色五月| 色婷婷丁香五月丁香| 噜噜狠狠色综合久| 婷婷五月综合中文字幕| 婷婷久久综合久| 五月婷婷在线免费观看 | 日韩综合久久| 丁香狠狠操| 日日日日日| 亚洲色另类| 亚洲性爱99在线| 免费视频WWW在线观看网站| 天天干,夜夜爽| 六月丁香深深爱| 七七色综合| www.97干视频| 日本99婷婷| 国产国产乱老熟女视频网站97| 久久 天天| 五月天小说激情| 久久大香蕉伊人| AA片在线观看视频在线播放| 在线观看中文字幕| 97人人爱人人操| 精品无码色| 午夜成人在线免费视频| 97在线/日本| 97碰碰免费.视频| 欧美婷婷日本| 五月婷婷色播| www.伊人天堂偷偷婷婷| 日本在线视频手机播放五月婷| 六月婷欧美| 欧美日韩中国| 日韩一级网站| 综合网网欲色| 亚洲无码99| 欧美日韩成人在线网站| 丁香桃色网| 丁香五月综合婷婷| 99热亚洲| 丁香五月欧美| 99ER热精品视频| 搡BBBB搡BBB搡18| 超碰91在线| 日本三级黄色大片| 99操逼| 狠狠操狠狠操AV| 亚洲午夜av| www.99热视频| 91日韩在线| 九九伊人网| 九九热在线精品视频| 97av在线视频| 天天干天天av天天射| 黄色片久久| 婷婷在线网| 国产偷人爽久久久久久老妇APP| 六月丁香啪啪| 久久婷婷原创视频| 狼人婷婷久久| 婷婷五月天激情偷拍| 色五月成人| 伊人网啪啪| 91色涩| 99视频在线| 99性爱视频| 国产精品国产成人国产三级| 91av无码| 亚洲精品色色| 思思国产99| 激情久久丁香| 国产国产乱老熟女视频网站97| AV网在线| www,色婷婷| 色综合天天网| av在线免费网站 | 五月婷婷啪啪| 五月丁香色婷婷| 五月网站| 婷婷色在线| 激情亚洲色图片丁香综合| 这里只有精品视频一区| 色99视频| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 91九色精品熟女内射| www.婷婷网| 9999色色色色| 色色色色五月| 亚洲色色五月| 天天日人人爽| 丁香五月欧美| www.色九月| 丁香五月AV综合| 99久久玖玖| 久久这里有精品视频| 免费看欧美成人A片无码| AV电影在线播放| 五月久久| www.激情五月天。com| 婷婷五月永远18免费久久久| 久久五月天婷婷| 亚洲综合干| 五月天婷婷色小说| 五月丁香成人网| 婷婷五月天性爱视频| 五月天激情在线视频| 丁香五月欧美色综合| 99九九久久| 色欲色香综合网站| 国产精品久久久丁香五月八戒视频| 日韩超碰在线| 久久亚洲天堂| 噜噜精品| 午夜]香婷婷深深爱| 99热最新地址在线| 婷婷亚洲天堂| 九九大香视频| 人人摸人人| 国产精品久久久久9999小说 | 五月久久婷婷| 超碰在线免费9| 综合另类激情| 色色丁香激情五月| 五月丁香综合精品欧美| 囯产精品一品二区三区| 超碰v| 九九九热精品| 久久久www| 婷婷激情五月天小说| 六月色婷婷欧美| 五月天精品视频| 五月天婷婷爱| 日韩欧美成人片| 婷婷激情综合色五月久久91| 婷婷五月天综合色| 亚洲99一级无嗎特制在线| 婷婷丁香五月久久| 乱乱av| 婷婷丁香午夜综合影视| 日本视频久久| 激情婷婷网| 蜜桃婷婷丁香综合久久开心亚洲| 婷婷五月天影院| 99rewww| 思思热视频| 99日本精品视频热| 亚洲婷婷五月天| 五月丁香婷婷综合| 色欲天天综合网| 五月丁香久人妻中文| 69精品人人人人| 色五月天丁香| 夜精品无码A片一区二区蜜桃| 99er这里只有精品视频| 亚洲成人AV高清字幕| 玖玖九九99| 爱射综合| www.五月天社区| 亚洲免费成人电影AV| 四色五月婷婷在线观看| 99亚洲精美视频在线观看| 日本九九网| 人伦30P| 激情五月婷婷网| 狠狠干天天内射| 无码免费人妻A片AAA毛片西瓜| 开心日韩丁香婷婷五月| 久久伊人婷| 狠狠干综合| 大香蕉天堂| 五月婷婷婷婷| site:publishdd.com| 色婷婷人人| 99色色| 五月天激情图片| 久久五月网| 久久综合婷婷| 国产首页在线| 激情久久五月天| 99er6| 91人妻九色大屁股| 六九色综合婷婷五月天| 新99思思视频| 亚洲成人中文字幕| 99热加勒比| 99久久久久| 五月开心激情网| 日韩精品一区二区亚洲AV观看| 天天操夜夜操| 丁香五月天殴美激情| 亚洲欧洲一二| 99精品视频在线观看| 丁香五月播播| 玖玖在线资源视频| 99热99极品观看| 伊人激情AV一区二区三区| 久久久精品人妻录| 人人操Av| 天天色五月婷婷91久久久久久久| 99这里| 婷婷激情丁香六月| 五月丁色AV| 精品动漫 无码av| 中文av网| 丁香婷婷九月| 日日插日日干| 亚洲性爱干干| 日韩欧美一级大黄网站| 另类图片五月天| 五月综合激情视频在线| 99爱免费在线视频| 欧美五月丁香啪啪响视频| 免费成人中文字幕| www五月| 五月天婷婷乱论小说| 少妇高潮一区二区三区99欧美| 九九热精品| 五月天色社区| 综合网五月天123| 在线观看亚洲AV| 99丁香婷婷综合网| 噼里啪啦在线观看免费完整版视频| 五月深爱激情网| 色99视| 五月天开心色情网| 久久九九Com| 久久98| 九色91视频| 五月丁香成人| 五月色情婷婷开心五月色情| 激情小说五月丁香在线视频观看视频| 91丨九色丨熟女|新版| 婷婷五月天 丁香五月天 裸体 | 久久99久久99精品免视看婷婷| 99在线观看精品| 婷婷激情小说| 九九精品在线观看视频6| 6月丁香婷婷激情| 激情久久久| 伊人网大香| 五月天婷婷綜合院| 亚韩在线视频| 免费AV播放| 婷婷六月色开| 无码九九| 成人小说 五月天 婷婷| 91dy.av| 色播五月丁香综合| 久久九九大香蕉电院| 99久久成人| 丁香五月狠狠综合欧美| 亚洲久热无码| 五月婷婷69| 狠狠色狠狠操| 亚洲成人高清在线| 色中色综合| 97精品综合久久| Av大香蕉| 日日夜夜干| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 强壮公让我夜夜高潮A片视频| 日本狠狠色| 婷婷综合激情| 久久A极片| 成人免费黄色短视频| 色婷婷五月综合激情中文字幕| 在线观看免费观看在线9久| 成人国产欧美大片一区| 去色色五月天| 色婷婷9| 大香蕉啪啪啪| 欧美丁香五月天| 99热这里只有精品86| 日日撸夜夜操| 激情影院丁香五月| 色激情五月天| 精品99*| 1234操逼网| 日韩在线观看亚洲| 99在线观看视频蜜臀| 婷婷综合五月色播| 五月天天爽| 超碰色色综合| 欧美顶级少妇做爰HD| 日韩啪啪自拍| 97自拍视频在线| 开心五月激情站| 99亚洲色色| 婷婷五月天激情综合| 99热综合| 久久超视频| 精品五月丁香| nvrentiantang av| 色婷五月天| 97人人操com| 亚洲精品亚洲人成人网| 婷婷五月天综合色| 26uuu最新地址| 婷婷五月色播天| 色吊丝永久访问网址| 日韩亚洲视频| 日日舔夜夜操| 涩五月婷婷| 婷婷色基地在线看 | 国产精品国产成人国产三级| 狠狠爱婷婷丁香| 日本精品。999| 激情综合五月婷婷| 另类丁香五月天区图| 五月天天堂久久| 久久在线人妻| 色综合久久888| 综合网网欲色| 丁香五月婷婷天| 五月婷婷大香蕉| 色色色色色日韩午夜激情| 非洲一级AV| WWW激情五月天| 超碰碰碰碰| 欧美69色| 丁香综合网| 涩五月婷婷| 97九色视频| 开心五月深爱五月丁香五月激情五月 | 丁香五月婷婷视频| www.金莲av| 久久网站免费亚洲| 色五月激情婷婷| 99日本视频| 伍月婷婷六月丁香| 日韩黄在免| 玖玖资源站国产| 996热re视频精品视频| 久久久九九视频精品18| 99黄色| 五月大香蕉| www超碰| 激情综合五月婷婷丁香| 我想看国产大学生口爆吞精的视频| 色婷婷伦理| 成人在线综合| 久久久久久激情| 婷香五月激情视频| 99视频在线啪| 六九色综合婷婷五月天| 大香蕉Av在线| 人人摸人人| 亚洲无码黄色| www.ppypp| 久久久久久久久久久-久五月天婷婷| 丁香五月人妻| 91综合在线| 日本欧美999久久久三级片| 婷婷五月丁香基| 五月丁香六月综合激情| 国产日韩欧美性生活| 婷婷色五月天在线观看| 97自拍视频在线| 五月丁香免费视频| 激情丁香社区| 人妻少妇色综合| 六月丁香婷婷拍拍| 9l视频自拍9l九色成人| 淫荡家庭AV| 五月天色影院| 人人澡天天色天天做| 久久天天| 深爱五月天婷综合| 操逼亚洲天堂| AA丁香综合激情| 超碰a女人的天堂| 97人妻碰碰碰久久香蕉| 色九九九九| 婷婷狠狠18禁久久| 99er这里只有精品视频| 99精品偷自拍| 五月天婷婷影院影院观看| 欧美天天搞| 九九精品热| 六月激情婷婷色| 少妇AB又爽又紧无码网站| 中文字幕 久久9999| 99re热视频这里只精品| 婷婷噜噜| 九九久久精品| 婷婷丁香18| 五月天狠狠| 免费观看亚洲AV片| 国产精品久久久久久久久久免费| 日日夜夜爽| 五月丁香六月婷婷成人| 六月丁香啪啪啪| 天天爽日日搞| 欧美天堂婷婷日韩| www婷婷| 成人欧美一区二区三区在线观看| 日韩精品在线观看9| 激情综合九月| 亚洲行行色色| 久久99精品视频| 丁香五月天婷婷在线视频| 免费看欧美成人A片无码| 婷婷五月综合激情免费| 婷婷亚洲五| 丁香啪啪中文字幕| 丁香五月自拍| 色综合九九| 婷香五月| AV变态另类一区二区| 中文字幕综合网| 色大综合| 欧美激情丁香五月| 黄色五月婷| 婷婷六月色| 久久狠色噜噜狠狠狠狠97| 丁香婷婷婷五月综合色情| 婷婷综合网| 婷婷午夜天| 99re久热只有精品6在线直播| 大香蕉人人网| 婷婷五月天免费99| www.99视频| 五月丁香婷婷婷激情爱爱| 亚洲日韩26uuu| 精品无码片| 五月丁香综合| 开心激情五月天网| 色爱综合五月| 久九男女天堂| 99色色网| 99啪啪视频| 六月丁香VA| 第四色婷婷五月| 狠狠爱婷婷丁香| 久9热视频在线观看| 综合色播| 天天操九九插| 五月丁香美女| 性爱综合网| 久久婷婷五月综合成人d啪| 五月丁香激情综合| 五月天桃色深爱网| 五月激情影院| 99综合免费视频| 日本天堂免费99| 97色色色色色| 日本VA视频| 青青草婷婷综合五月| 久久这里只有国产| 《诡秘之主》在线观看| 大香蕉520| 久久丝袜婷婷| 任你日视频| 久久久久久99精品无码| 成人在线日韩欧美| AV成人在线播放| 亚洲另类AV| 九九九九成人| 一区二区三区四日本| 大地9中文在线观看免费高清| 色五月婷婷基地| 色五月丁香婷婷| 久热只有精品| 亚洲视频在线观看| AV在线不卡播放| 婷婷五月欧美综合| 在线色婷婷| 日本久久9| 99久久97久久欧美综合网| 五月丁香激情六月| 97碰| 思思久久99热| 久久婷婷五月综合激情国产| 色五月成人网| 99爱免费在线观看| 天天操,天天插| 蜜臀嫩草| 九九在线精品| 色色色无码| 精品一区二区三区四区五区六区| 激情综合色| 日日噜噜夜夜狠狠久久丁香五月| 91女人18毛片水多国产| 丁香五月亚洲综合丝袜| 97艹| 98色丁香五月婷婷综合网| 性天堂久久| 六月婷婷综合久久| 那里有AV网址| 激情五月综合视频| 丁香六月亭亭久久综合| 色停停香蕉视频| 六月激情网| 色插人人| 九九碰九九爱97超碰| 狠狠色综合777| 九九熱最新視頻| 五月婷婷色吧!| 色五月婷婷五月| 中文字幕 中文字幕明步| 国产性av| 色原狠狠综合| 大香蕉啪啪啪| 伊人久久丁香婷婷六月五月综合| 秋霞A V毛片| www.色婷婷| 97香蕉人人在线观看| 狠狠操综合| 婷婷丁香五月亚洲免费| 热99这就是精品视频| 久操香蕉| 亚洲综人色综网| 99热这里只有精品亚洲| 狠狠高潮精品亚洲1| 欧美色色色| 国产AV一区二区三区日韩| 久久婷婷青青草| 日韩AV一区二区三区| 99色这里| 色婷婷a| A片天天| 日韩成人电影AV| 亚洲欧美999| 丁香久久| 99日本在线| 婷婷五月激情视频| 九热视频| 超碰国产在线播放| 久99精品视频| 久久这里99| 婷婷丁香六月| 黄网网站在线播放| 丁香五月六月婷婷综合| 色五月婷婷7777| 99精品在线观看| 狠狠色婷婷7777久综合| 色亚洲视频| 丁香六月婷婷| 狠狠香蕉| 在线观看婷婷5月| 碰久久精品w| 五月天婷婷激情春色小说| 99毛片| 亚洲色基地| 亚洲 激情 中文| 九热视频| 欧美va视频| 五月丁香啪啪伦理电影| 婷婷99视频在线| 亚洲色情免费网| 五月天婷婷激情在线色图| 99综合自拍| 色色日本| 婷婷综合干| 天天看夜夜看| 桃色五月婷婷| 91人妻视频| 在线看的免费网站| 性爱在线播放av| 在线只有精品| 亚洲精品va| jiZZdr| 猫咪伊人久久| 五月丁香六月婷婷综合网缴情| 国产真实乱对白精彩| 综合逼五月激情婷婷| 人妻操操色| 热日韩欧美| 欧美亚洲999| 色色色色网站| 久超超碰| 激情内射人妻1区2区3区| 狠狠色噜噜狠狠| 亚洲另类视频| 五月婷婷,狠狠操| 婷婷99视频精品| 99热老网站| 99日韩| 激情99。| 懂色av粉嫩AV蜜臀AV| 日日舔夜夜操| 久久久jd| 99热精品在线播放| 精品一区二区三区四区五区六区介绍| 九九热最新| 这里只有精品视频一区| 久久九精品| 五月天无码| 婷婷五月婷婷| 午夜大香蕉| 深爱五月天| 日日做夜夜爱| 人人妻人人澡人人爽| 爱久久小说下载网| 99免费视频网| 六月婷婷九月丁香| 日日日日日| 五月丁香婷婷开心| 色婷婷亚洲| 中文字幕欧美日韩VA免费视频| 播五月丁香六月| 激情婷婷网| 久久婷婷五月综合| 激情宗合网激情五月天| 五月婷婷亚洲| 亚洲爆乳无码精品AAA片蜜桃| 丁香五月婷在线观看| 六月丁香六月婷婷欧美| 久久久亚洲精品一区二区三区浴池| 五月开心啪啪| Av九九| 97操操网| 中文字幕在线日亚洲9| 啪啪婷婷五月天激情| 丁香五月婷婷色偷偷| 五月亭亭六月天| 激情综合激情五月一起草| 色六月丁香婷婷啪啪啪| ...婷婷五月综合不卡,国产在线手机 | 五月天 无码| 婷婷丁香五月天综合AV| 色播色丁香五月| 色色婷| 五月丁香操亭亭网| 色婷婷五月影视| 成人在线视频男人的天堂4399| 色婷婷狠狠| 天天操天天插| 婷婷五月天视频小说| 色色色999| 91碰碰碰久久久久| 九九视频在线观看视频6 | 五月丁香影视| 中文不卡一二区| 激情五月天久久丁香| h亚洲| 婷婷五月丁香第四色超碰在线| 九九色热| 91小黄书网址在线观看| 丁香五月网络网络| 天天操天天国产三级片处女学生妹| 日韩成人电影AV| 欧美性丁香色色五月天干干| 26uuuu精品一区二区| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 国产AV一区二区三区最新精品| 丁香激情网| 激情丁香五月天图片| 久色五月| 五月丁香天天| 婷婷在线五月天观看| 综合久久9| 激情AV在线| 99人妻碰碰久久久禁片| 婷色五月天| 色99视频| 国产成人av在线| 欧美性爱中文字幕| 色色亚洲五月天| 五月五丁香婷婷| 激情婷婷综合| 久久五月天激情美女| 五月婷婷六月丁香综合| 雪千夏麻豆| 婷婷五月激情基地| 精品9久| 国产精品久久久久9999小说 | 91操人视频| 久久婷婷五月天激情| 丁香久月| 久久这里只有欧美| 五月婷婷综合潮喷| 思思re99视频在线观看| 五月婷婷丁香狠狠撸久久| www.激情五月天| 伊人色欲五月天| 亚洲激情精品| 华人在线免费| 99热这里只有精品搜| 久热这里这里有精品| 五月丁香久久婷| 中文字幕av网站| 激情婷婷网| 99色视| A在线观看| 婷婷99中文字幕| 五月天激情小说| 日韩色色色99| 另类小说五月天综合网| 五月婷婷综合潮喷| 激情五月天婷婷| 亚洲成人高清在线| 综合色99| 成人 在线观看国产| 五月色丁香婷婷综合| 国产97色在线 | 日韩| 99九九在线精品热动漫| 综合欧美五月婷婷| 色狠狠六月| 久久机热/这里只有精品| 精品无吗va视频免费观看| 大香蕉九操| 久久久久人妻精品| 五月婷婷久久大片| av在线观看网址| 丁香五月天网站| 亚洲色情一区二区三区四区| 色五月综合婷婷| 殴美综合激情五月天免费视频| 婷婷五月综合网| 五月丁香成人网| 嫩模草| 操碰99| 99高级会所久久| 婷婷婷婷婷开心无码播放| 激情五月天开心总和网| 97碰碰人人| 久热婷婷综合| 秋霞丝袜啪啪啪| 无码九九| 涩婷婷五月天| 开心激情婷婷| 黄色高清无码| 国产激情综合五月久久| 日韩激情人伦人| 香蕉操亚洲| 婷婷伊人久久无码色五月| 大香蕉人人人| 六月激情婷婷综合| 丁香五月婷婷AV在线| 激情综合五月天| 99资源人人| 九九综合久久丁香婷婷,开心激情综合网| 狠狠操天天操综合| WWW.桔色成人.COM| 国产熟妇乱子伦hd| 操逼视频一区| 欧美成人精品老美女噜噜噜| 97香蕉碰碰人妻国产欧美| 99久操视频| 玖玖婷婷五月天| 色五月中文网| 伊久大香蕉| 婷婷五月成人| 99爱精品| se色婷婷视频| 日韩一区二区在线播放| 色99视频| 91人人看| 午夜不卡成人一区二区| 丁香六月婷婷开心| 日韩无码乱轮| 婷婷激情五月天亚洲综合| 99re思思热久久| 亚洲欧洲另类图片| 国庆精品久久| 九九碰九九爱97| 色色五月激情| 婷婷五月图片小说视频| 婷婷五月av| 五月婷在线| 亚州操操| 亚洲国产网址| 丁香六月婷婷综合在线| 99色综合| 五月丁香综合啪啪| 99热99极品观看| 99热99| 天天久| 伊人喵咪a V| 99在线视频在线观看| www.操.com| 香蕉婷婷| 第五色色色婷婷| www.婷婷五月天,com| 丁香婷婷伊人| 无遮挡国产高潮视频免费观看| 开心久久五月天| 激情久久综合| 亭亭色色五月天| 丁香五月色情| 综合久久97| 日韩中文欧美| 99视频久久| 开心五月婷婷激情| 无码动漫AV| 骚。com| 免费成片在线观看| 亚洲aV写真天天综合网久久| 五月丁香婷婷激情爱爱| 99热国内| A片试看50分钟做受视频| 久久婷出差欧美色两性综合网| 超碰91在线| 婷婷五月天国产手机在线视频观看| 天天干 夜夜爽| 色婷婷婷av| 欧美 日韩 人妻 高清 中文| 99热6这里之有精品| 午夜天堂一区人妻| 337p午夜影院| 色99最新网址| www激情婷婷com| 久久婷婷东京热大香樵| 99热新网址| 丁香五月天堂| 国产人妻人伦精品一区二区| 在线观看玖玖资源免费观看| 亚洲久久天堂| 99综合| 丁香五月最新地址| 婷婷五月丁香五月| 激情亚洲五月| 中文字幕在线视频播放| 另类小说色婷婷| 色九月丁香婷婷蜜桃在线观看| 婷婷成人五月天成人文学小说| 色噜久| 九九色欲网| 777久久综合视频| 天天日天天色| 久色国产| 97人人做| 97香蕉碰碰人妻国产欧美| 亚洲性色XXXXX| 婷婷玖玖五月天| 亚洲成人在线播放| 天天插夜夜爽| 久久六月综合| 色综合久久888| 婷婷六月插屄激情| 五月天综合色| 色情五月婷婷| 美女美女美女三级色天天天天天| 在线看黄色| 性爱综合网| 亚洲丁香五月| 大香蕉啪啪啪| 婷婷新网址| AAA久久| 免费视频这里只有精品| 六月婷婷香蕉| 9精品久久999| 五月丁香成人| 婷婷涩涩网| 人妻激情在线| 丁香五月天堂婷婷| av在线中文| 天天草天天日| 91尤物九色在线| 日本久久色| 激情综合久久| 色吧五月婷婷| 欧美成人精品A片免费一区99| 最新激情五月天| 婷婷五月六月丁香| 天天干夜晚夜操| 日屌日日操日日色| 激情小说五月丁香在线视频观看视频| www.ywav| 婷婷五月色| 婷婷激情人妻| 深爱五月天 开心网| 8区视频在线| 大地资源色婷婷视频在线| 婷婷在线激情| 亚洲丁香网| 婷婷久久综合| WWW,五月| 日本天堂网站99| www.五月天| 成人五月天丁香| 丁香狠狠色婷婷久久无码视频| www.激情在线| 久久99婷婷| 色婷婷五月综合| 五月婷婷成人| 五月六月丁香激情| 色婷婷丁香五月高清在线| 婷婷伊人久久| 色五月激情综合| 香蕉视频性爱BB做爱| 婷婷五月色| 色狠狠综合| 99精品免费视频| 日韩在线aaa| 开心激情久久久久久久| 91婷婷丁香五月天免费视频网站| 在线观看av网站| 色综合久久88| 亚洲无码性爱| 操B无码视频国语| 九九干视频| 99只有精品| www.婷婷五月天.com| 五月丁香欧美综合免费视频| 丁香五月第九色| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 婷婷五月天日本无码| 另类小说五月天激情| 91艹人| 六月丁香久久| 色五月综合激情| 婷婷六月啪啪| 激情五月天啪啪| 天天色99| 5月丁香综合图区| 少妇性BBB搡BBB爽爽爽视頻| 中文字幕人妻熟女在线| 大香蕉九九| 五月开心久久| 中字幕视频在线永久在线观看免费 | 99燥99日| 久婷婷视平| 色五月激情五月| 五月天社区婷婷| 欧美精品狠狠色丁香婷婷| 婷婷色五月大香蕉在线| 婷婷伊人欧美| 五月丁香视频色色| 超碰97色| 99爱99操| 亭亭五月丁香综合欧美| a久久| 久久久com| 99er6免费视频热播| 综合99久久天天综合| 色吧五月婷婷| 9er热在线精品视频| 99热这里只有精品268| 久久视频婷婷视频| 99热精品免费在线观看| 日本色色色| 思思热久久艹| 丁香五月天啪啪| 欧美日韩成人在线| 亚洲熟妇AV乱码在线观看| 一级片无码| 久久久久网站| 99久热在线精品| caopeng97日韩| 欧美婷婷五月丁香| 久久思思热| 人人摸人人| 中国无码av| 99资源人人| 日本片日本片祼观看网站在线看中文版网页在线看 | 99人这里只有精品| 五月婷婷激情网| 99这里只有免费的小视频在线观看| 激情五月婷婷中文字幕| 亚州欧美国产久精国产99综合视频| 久久96热| 五月丁香色| 色五月在线观看| 欧美成人AAA片一区国产精品| 久久ri精品视频| 大香蕉久| 爱草视频在线观看| 日日操夜夜爽| 婷婷五月成人| 久久婷婷网址| 天天日天天做天天舔 | 激情综合六月| 91九色视频| 色欧美色色色| 色五月激情综合| 丁香五月天婷婷久久| 激情小说婷婷| 香蕉久久av一区二区三区| 中文字幕不卡视频| 日本女va| 婷婷六月综合激情| 激情小说五月天| 午夜成人在线免费视频| 婷婷五月丁香六月伊人网| 五月激情网综合| 丁香五月在线观看| 成人午夜在线视频| 丁香六月婷月91婷月| 欧美黄色韩日网| 强壮公让我夜夜高潮A片视频| 激情五月综合第一页| 六月婷婷视频| 9久久久久久久久久久| 超碰在线免费观看3 9| 六月婷婷激情| 激情五月天小说| 亚洲亚洲人成综合网络 | 丁香婷婷视频在线| 亚洲精品白浆高清久久久久久 | 丁香五月激动深爱欧美| 91日日日| 婷婷五月成人系列| 人妻体体内射精一区二区| 91精品国产综合久久密臀| 激情综合啪啪| 91 九色 入口| 天天日婷婷| 这里只有精品1| 久久9精品视频| 五月丁香六月婷婷操操操| 婷婷成人视频| 成人免费在线电影| 五月丁香激情婷婷| 日本不卡一区二区三区| 黄网免费看| 色婷婷丁香五月| 日韩人人操| 激情com| 99啪| 免费亚洲成人电影AV| 五月丁香六月婷婷欧美综合| 国产片XXXXA片国语对白| 五月天婷婷色五月天| 婷婷丁香五月亚洲| 色九月综合| 色噜噜,噜噜色| 色五月婷婷中文字幕| 激情综合五月| 蜜桃人妻无码AV天堂三区| 亚洲国产色婷婷| 精品草原久久视频| 热久综合| 五月天婷婷色小说| 性按摩玩人妻HD中文字幕| 激情五月丁香色婷婷| 色色99| 天天性视频| 这里只有精品1| 婷婷激情肏屄网| 天天日夜夜曹| 九九中文字幕九| 国内外色色色色色成人视频| 九九偷拍网| 久久免费婷婷视频| 九九九九中文字幕| 日本色视| 任你擦免费视频| 欧美色97| 丁香五月天网站| 夜夜操狠狠操|