免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

Ethernet幀完整性校驗:從FCS原理到CRC-32故障排查實戰(zhàn)

Ethernet幀完整性校驗:從FCS原理到CRC-32故障排查實戰(zhàn) 做網絡這一行“Ethernet幀完整性校驗”這串詞平時未必天天掛在嘴邊但真遇到網絡上莫名其妙的丟包、誤碼、延遲抖動繞來繞去最后總會撞到它身上。我第一次對它產生強烈印象是在一次聯(lián)調現(xiàn)場客戶反映兩套系統(tǒng)之間偶發(fā)通訊卡頓接口統(tǒng)計面板里某個計數(shù)在緩慢上漲業(yè)務卻感知不到太多異常。查了好幾天換線、換模塊、重啟設備都試過最后才有人點了一句“你怎么不去看看FCS錯誤率”。也正是從那一次開始我把幀完整性校驗的原理、計算方式、排查套路徹底過了一遍后面再遇到類似問題基本都能在半小時內找到方向。這篇文章里的內容我會從原理講到實操包括CRC-32到底怎么算、為什么抓包工具看不見幀尾的FCS、FCS異常增長時該怎么由表及里定位故障最后再總結一些我用過、踩過、后來養(yǎng)成的排查習慣。適合剛接觸網絡協(xié)議分析的開發(fā)者也適合在網絡一線做過一段時間、想系統(tǒng)梳理一下這類知識的朋友。1. 一次聯(lián)調里的意外發(fā)現(xiàn)抓包看不見幀尾FCS1.1 現(xiàn)場現(xiàn)象與第一反應那次聯(lián)調的環(huán)境并不復雜兩臺服務器通過交換機互通中間走了一段雙絞線再看一眼光模塊轉接。業(yè)務流量本身不大但每天總有那么幾個時段出現(xiàn)重傳。起初我沒太在意因為應用層有重試機制偶發(fā)重傳也正常。真正引起警覺的是某臺交換機端口統(tǒng)計里兩個字段在緩慢增長一個和CRC錯誤相關另一個和入方向丟棄相關。雖然增長幅度不大對業(yè)務暫時沒有明顯影響但這類計數(shù)一旦出現(xiàn)說明鏈路里一定在做“無用功”。我第一反應是懷疑線纜和光模塊。按照常規(guī)做法先換了一根跳線又把兩端的收發(fā)模塊重新插拔看是否能匹配成功。結果并不理想CRC錯誤計數(shù)并沒有停。后來又試著把兩條鏈路的速率協(xié)商狀態(tài)改為固定模式同樣沒有明顯改善。這時候我才意識到一個問題我一直在“猜”是物理鏈路的問題但我根本沒有真正搞清楚這個錯誤計數(shù)到底是在什么時候產生的。換句話說我該先弄懂“FCS”是什么它校驗的是什么才能知道該懷疑誰。1.2 以太網幀結構里FCS到底在哪里IEEE 802.3標準定義的基礎以太網幀結構從發(fā)送端的角度來看大致是這樣一個順序前導碼7字節(jié) 幀起始定界符SFD1字節(jié) 目的MAC地址6字節(jié) 源MAC地址6字節(jié) 長度/類型字段2字節(jié) 載荷46到1500字節(jié) 幀校驗序列FCS4字節(jié)前導碼和SFD是物理層同步用的接收端把它們識別出來之后就知道“幀數(shù)據(jù)從這兒開始了”。目的MAC、源MAC、長度/類型字段和載荷是真正被協(xié)議棧解析的內容。而FCS這4個字節(jié)就是我今天要重點聊的“Ethernet幀完整性校驗”機制的核心。FCS的校驗范圍是從目的MAC地址開始一直覆蓋到載荷結束不包含前導碼、SFD也不包含F(xiàn)CS本身。發(fā)送端對這一段數(shù)據(jù)算出一個32位的結果并按固定字節(jié)序填到幀尾。接收端收到整個幀之后用同樣的算法對同樣的范圍重新計算一次再把計算結果和收到的FCS做比較。如果一致就認為這一跳傳輸過程中數(shù)據(jù)沒有發(fā)生比特級的變化如果不一致接收端會把這個幀直接丟棄。有一點值得注意如果幀里帶了VLAN標簽802.1QFCS的校驗范圍會從目的MAC一直算到VLAN Tag和載荷結束這部分額外字段同樣受保護。無論是私有VLAN還是其他擴展標簽只要在幀頭里作為數(shù)據(jù)結構存在、接著載荷發(fā)送它們都會被納入CRC計算范圍。實踐中我見過不少人在用抓包工具查看帶VLAN幀時下意識只盯著源目MAC和IP完全沒意識到FCS覆蓋范圍已經發(fā)生了變化。1.3 為什么抓包工具“看不見”FCS很多第一次接觸抓包的朋友都會問同一個問題我抓出來的幀里明明能看到MAC頭能看到IP頭為什么找不到文檔里說的那4字節(jié)FCS答案和抓包工具的采集位置有關。抓包工具讀取的是主機協(xié)議棧里某個“鉤子”位置這個位置通常位于網卡驅動把報文上拋給系統(tǒng)網絡棧之后。而絕大多數(shù)網卡在硬件收幀時會先做一遍CRC校驗校驗不過的幀直接丟棄不往上拋校驗通過的幀再把尾部的4字節(jié)FCS剝離掉只把有效載荷部分交給驅動。所以應用層抓包工具拿到的幀天然就少了尾部這4個字節(jié)。這就帶來一個很重要的實操認知用抓包工具抓到的幀“看起來都是好的”并不能證明鏈路就是干凈的。因為真正帶FCS錯誤的幀在網卡硬件這一層就已經被處理掉了。你如果想驗證“這一跳有沒有出錯”不能只看抓包文件里的幀內容而是要看網卡驅動或者對端交換機的底層計數(shù)統(tǒng)計比如常見的rx_crc_errors、rx_fcs_errors這類字段。在不少網卡驅動里FCS錯誤是單獨計數(shù)的也有驅動把它并入CRC錯誤一類這取決于具體實現(xiàn)但整體思路一致它是物理層和MAC層之間的事件普通抓包工具默認是看不見的。當然也有例外。部分網卡驅動支持關閉CRC剝離功能或者抓包工具配置為“保留壞幀”模式這時你可能會在抓包里看到尾部帶FCS的完整幀甚至看到CRC校驗失敗的幀。但這種模式不是默認行為而且開啟之后抓包工具本身也容易把壞幀當作正常幀顯示反而誤導判斷。所以我個人并不建議在日常分析中開這種模式除非你明確知道自己想要抓壞幀做實驗。2. CRC-32幀完整性校驗的數(shù)學底子2.1 為什么以太網選擇CRC而不是簡單校驗和如果只是想讓接收端確認數(shù)據(jù)沒被改過最直覺的做法是“把所有字節(jié)加起來存一個和”。IP協(xié)議頭部的校驗和就是這么干的。但以太網這種鏈路層技術面對的是實實在在的物理信道電磁干擾、線纜衰減、連接器氧化、信號反射都會造成比特錯誤而且這些錯誤往往不是孤立的單個比特翻轉而是連續(xù)的突發(fā)錯誤。簡單求和這種方式對突發(fā)錯誤的識別能力很差。CRC循環(huán)冗余校驗的核心思想是把數(shù)據(jù)看成一個龐大的二進制數(shù)用這個數(shù)去除以一個固定的“生成多項式”得到的余數(shù)就是校驗值。接收端拿到數(shù)據(jù)和校驗值之后再做一次同樣的除法如果余數(shù)不為零就說明數(shù)據(jù)在這條鏈路上發(fā)生了改動。這個“除法求余”的過程聽起來復雜但在硬件上用移位寄存器實現(xiàn)非常順而且可以通過查表法提升速度這就是它在通信領域被廣泛采用的原因。IEEE 802.3選擇的CRC-32并不是隨便挑了個多項式。它背后對應了突發(fā)錯誤檢測能力的數(shù)學保證可以檢測出所有長度不超過32比特的突發(fā)錯誤可以檢測所有奇數(shù)個比特錯誤并且在數(shù)據(jù)長度足夠短的情況下雙比特錯誤的漏檢率也極低。對于一條物理鏈路上常見的噪聲擾動來說這套保證已經非常夠用。所以別看FCS只有4字節(jié)它在鏈路層協(xié)議里承擔的角色比很多剛入門的人想象中重要得多。2.2 IEEE 802.3 CRC-32的參數(shù)細節(jié)很多朋友試過自己實現(xiàn)CRC-32卻發(fā)現(xiàn)自己算出來的值和抓包工具或設備上的FCS對不上。真不是你代碼寫錯了而是CRC存在多種“變體”IEEE 802.3使用的CRC-32有自己特定的參數(shù)組合。我整理成一張速查表參數(shù)項IEEE 802.3 CRC-32取值生成多項式普通寫法0x04C11DB7生成多項式反射寫法0xEDB88320初始值0xFFFFFFFF輸入數(shù)據(jù)是否反射處理是輸出結果是否反射處理是最終異或值0xFFFFFFFF這里面的“反射”指的是對參與計算的每個字節(jié)先做位序反轉或者對整段數(shù)據(jù)處理時按位反序操作。用業(yè)界常見的話說802.3的CRC-32是“反射輸入、反射輸出、初值全1、結果異或全1”。如果你的CRC計算工具或者算法實現(xiàn)沒有配齊這套參數(shù)算出來的結果自然和真實FCS對不上。新手最容易栽的坑有三個一是多項式寫法搞混普通寫法和反射寫法之間的二進制位序正好相反二是忘記處理初始值不置為全1的話算出的結果只在空數(shù)據(jù)時恰好一致一旦有實際數(shù)據(jù)就會出現(xiàn)偏差三是漏掉最終異或導致差一個固定掩碼。還有一點FCS在網絡上的字節(jié)序也要注意常見網卡把CRC結果按小端序填到幀尾如果你按大端讀出來再比較一樣會不匹配。2.3 用生活化的例子理解“多項式除法”我知道“除以多項式”這個概念對非數(shù)學背景的讀者容易勸退。換個說法可以理解為你有一串特別長的數(shù)字然后有一個固定的“模子”發(fā)送端拿著這串數(shù)字去除以模子得到的余數(shù)就是蓋章。接收端收到數(shù)據(jù)之后也拿著同一個模子去除如果余數(shù)和發(fā)過來的章對不上說明數(shù)字在運輸途中被改過。為什么它能檢測出“改了哪個位”因為模子本身有精心設計的數(shù)學性質。任意一個比特錯誤等價于原數(shù)據(jù)加上了某個“誤差向量”。如果這個誤差向量恰好不是模子的倍數(shù)除法余數(shù)就會改變就會被識別出來。CRC能保證一定長度范圍內的所有突發(fā)錯誤都會被識別正是因為這個模子的數(shù)學設計讓這些誤差向量都不會“正好整除”。實際做鏈路分析時我不需要去手推多項式除法但理解這一層之后你會明白一個關鍵道理CRC不是加密不是哈希它不承諾防偽只承諾“傳輸過程有沒有擾動”。它也不會告訴你錯誤發(fā)生在哪個比特只會告訴你“這一幀壞掉了”。這一點在后面的故障排查里非常重要——FCS異常說明問題出在這條鏈路的某個環(huán)節(jié)但具體是哪一段還需要進一步定位。3. 手寫一個幀完整性校驗工具3.1 構造最小以太網幀并計算FCS要說對Ethernet幀完整性校驗的理解光看書肯定不夠。我當時為了讓自己徹底搞明白FCS的計算過程寫了一個很小的腳本去“造幀”自己拼一個最小以太網幀算出CRC-32再模擬接收方校驗一遍。整個過程不到幾十行代碼但對理解校驗邏輯非常有幫助。思路很簡單拼一個目的MAC是全FF廣播地址、源MAC是某個本地地址的幀EtherType字段填入0x0800載荷就放46個字節(jié)的測試數(shù)據(jù)。算一下FCSimport zlib import struct def build_frame(dst_mac, src_mac, ethertype, payload): frame dst_mac src_mac ethertype payload crc_val zlib.crc32(frame) 0xffffffff fcs struct.pack(I, crc_val) return frame fcs def verify_frame(frame): fcs frame[-4:] body frame[:-4] expected struct.pack(I, zlib.crc32(body) 0xffffffff) return fcs expected dst bytes.fromhex(ffffffffffff) src bytes.fromhex(001122334455) etype b\x08\x00 payload bytes(range(46)) full_frame build_frame(dst, src, etype, payload) print(frame length:, len(full_frame)) print(fcs bytes:, full_frame[-4:].hex()) print(verify result:, verify_frame(full_frame)) # 模擬傳輸過程中一個比特被翻轉 bad_frame bytearray(full_frame) bad_frame[20] ^ 0x01 print(verify result with flip:, verify_frame(bytes(bad_frame)))這里用到了Python內置的zlib.crc32它的底層實現(xiàn)恰好就是IEEE 802.3這套CRC-32參數(shù)多項式反射寫法是0xEDB88320初始值是全1輸入輸出都帶反射最后再做異或。所以不用自己寫查表邏輯。代碼里定義了兩個函數(shù)build_frame負責構造完整幀verify_frame負責把幀尾4字節(jié)當成FCS重新計算并比較。運行之后你會看到正常幀校驗返回True而把第20個字節(jié)翻轉一位后校驗立刻返回False。這個“翻轉一位就翻車”的效果正是CRC-32在鏈路層的務實價值它不保證你不被攻擊但能保證你不會把壞數(shù)據(jù)當成好數(shù)據(jù)繼續(xù)往上拋。3.2 離線驗證真實抓包數(shù)據(jù)自己造完幀之后我接下來做的一件事是拿一批真實的抓包文件做離線校驗。想直接從抓包文件里驗證FCS首先要面臨一個現(xiàn)實問題多數(shù)抓包文件保存的幀里根本沒有FCS字節(jié)。如果抓包時啟用了“完整幀保存”或者某些設備明確保留了幀尾FCS那么離線文件里的每一幀會包含完整4字節(jié)。需要逐幀解析pcap記錄pcap全局頭通常是24字節(jié)之后每一條記錄頭16字節(jié)記錄頭里的incl_len告訴你這條記錄實際捕獲了多少字節(jié)orig_len則告訴你網絡上的原始長度。如果incl_len比正常最小幀頭加最小載荷還要多出4字節(jié)或者和你已知的載荷長度對不上就值得去讀取最后4字節(jié)做校驗。import struct import zlib def parse_and_verify_pcap(file_path): with open(file_path, rb) as f: global_header f.read(24) while True: rec_header f.read(16) if len(rec_header) 16: break ts_sec, ts_usec, incl_len, orig_len struct.unpack(IIII, rec_header) packet_data f.read(incl_len) if incl_len 64 and orig_len 64: fcs packet_data[-4:] body packet_data[:-4] expected struct.pack(I, zlib.crc32(body) 0xffffffff) if fcs ! expected: print(ftimestamp {ts_sec}.{ts_usec:06d}: FCS mismatch)這段代碼只是示意不同鏈路類型比如帶VLAN Tag、帶元數(shù)據(jù)封裝會有差異但整體結構差不多。我實際跑批處理時發(fā)現(xiàn)一部分抓包確實能驗證通過另一部分文件里的幀尾4字節(jié)并不是有效FCS而是某些網卡驅動填充的占位數(shù)據(jù)這時候直接按FCS校驗就會出現(xiàn)大量“誤報”。所以離線校驗前最好先確認抓包工具到底有沒有存儲FCS別對著一堆占位數(shù)據(jù)空跑。3.3 單跳校驗通過之后的事從FCS角度看每經過一條鏈路、一臺交換機幀都會被重新計算一次FCS。也就是說端到端抓包時你看到的FCS已經是被中間設備“重新蓋過章”的版本而不是最初發(fā)送端蓋的章。這是理解幀校驗和上層校驗關系的關鍵。交換機從入端口收到一幀先校驗FCS通過之后再查轉發(fā)表修改某些字段比如TTL或MAC等涉及三層轉發(fā)的場景再重新計算一個新的FCS發(fā)出去。這個過程保證了“每一跳”的可靠性但每一跳都獨立完成上下游之間沒有狀態(tài)關聯(lián)。所以只靠鏈路層FCS沒辦法保證端到端的數(shù)據(jù)完整性應用層數(shù)據(jù)跨越多個網絡節(jié)點中間只要有一個節(jié)點軟件內部出問題就可能改掉數(shù)據(jù)后重新計算一個合法的FCS。這也是為什么TCP層還要有自己的校驗和到了更高層有些協(xié)議還會再做一次完整性摘要。鏈路層FCS是一道重要的防線但它只是縱深防御體系里的一道而不是唯一一道。實際排查問題的時候不要把“FCS校驗過了”當作“整條鏈路沒問題”的結論要理解每一層校驗各自保護的范圍。4. 從FCS異常反推鏈路故障4.1 CRC錯誤到底是在哪個環(huán)節(jié)產生的FCS異常的本質是“接收端算出來的校驗值和發(fā)送端寫的不一致”。那這個不一致通常在哪里被引入首當其沖是物理層雙絞線過長導致信號衰減、連接器氧化造成接觸電阻增大、網線內部線對絞距被破壞導致的串擾、電磁干擾源靠近線纜、光模塊老化導致光功率下降、光纖彎曲過大導致反射這些都會讓比特位在傳輸過程中“翻轉”。另一個常見來源是鏈路雙方的工作狀態(tài)不匹配。比如一端協(xié)商到了全雙工另一端卡在半雙工這種狀態(tài)在低速以太網上會出現(xiàn)大量沖突嚴重時幀會被截斷、撕裂接收端的FCS校驗自然過不了。尤其是強制雙工模式的時候風險更大因為雙方完全放棄了自動協(xié)商的握手確認過程。還有一個容易被忽視的環(huán)節(jié)網卡或交換芯片內部的處理邏輯。比如芯片收到一個長度異常的短幀Runt可能還沒來得及完整接收就已經把不完整的數(shù)據(jù)提交給上層模塊又比如交換機緩存不足時某個隊列被丟棄或部分丟棄也會表現(xiàn)為CRC錯誤或對齊錯誤。這類問題的物理鏈路本身可能是健康的。我自己的經驗是遇到FCS異常先不要急著懷疑線纜質量而是先看錯誤計數(shù)的分布特征。如果錯誤零散分布在多個端口那更像環(huán)境干擾或設備共有問題如果錯誤集中在一條鏈路的兩端那重點懷疑這條物理路徑如果只有一端報錯另一端完全干凈那可能是接收端硬件或驅動的問題。4.2 一套可以照抄的排查順序下面這套順序是我后來固定下來的排查流程不算特別復雜但每一步都有明確目的先收集兩側端口統(tǒng)計把CRC錯誤、FCS錯誤、對齊錯誤、短幀錯誤、丟包計數(shù)全部記下來。不要只看其中一個字段它們組合起來會給出更多線索。觀察錯誤增長速率和負載的關系。如果只在業(yè)務高峰時快速增長說明大概率是信號質量問題在高負載下被放大如果空載也在漲那問題可能很穩(wěn)定比如硬件損壞或接觸不良。做一次“物理層替換法”換線、換模塊、換端口。每換一個環(huán)節(jié)觀察一段時間計數(shù)。替換法最忌諱一次換好幾個東西那你就永遠不知道是哪個環(huán)節(jié)治好了問題。檢查協(xié)商狀態(tài)。確認兩端速率、雙工模式一致關閉強制的“非標準”配置再做對比。如果是在僅跑少量流量的測試環(huán)境可以嘗試顯式固定速率看錯誤是否消失。在鏈路兩端同時抓包并打時間戳比對兩端收到的幀數(shù)量和數(shù)據(jù)內容。如果入口流量正常、出口出現(xiàn)突發(fā)錯誤問題很可能在中間設備如果兩端都干凈但交換機計數(shù)在漲也可能是交換機內部統(tǒng)計口徑問題。如果錯誤只在某個特定網卡上出現(xiàn)更新驅動、固件并檢查網卡是否啟用了某些卸載特性比如接收側合并、Large Receive Offload這些特性在驅動實現(xiàn)有bug時會引發(fā)奇怪的數(shù)據(jù)異常。如果以上都做完了還沒找到原因再考慮設備硬件故障比如交換芯片的背板問題。這種情況通常需要換一臺設備或換一個板卡做隔離驗證。這套流程看起來基礎但能覆蓋絕大多數(shù)場景。尤其第3步的“每次只換一個環(huán)節(jié)”聽起來像廢話恰恰是無數(shù)現(xiàn)場工程師最容易因為急躁而犯的錯誤。4.3 故障速查表現(xiàn)象、原因與驗證手段為了隨時查閱我整理了一張速查表也算是對上面排查順序的一個濃縮現(xiàn)象可能原因先驗證什么可能的動作單端口CRC計數(shù)緩慢增長業(yè)務無明顯感知線纜老化、連接器接觸電阻、輕微電磁干擾端口協(xié)商狀態(tài)、線纜長度、兩端功率更換跳線、重新壓接水晶頭高負載下CRC計數(shù)快速上升信號衰減、光模塊劣化、雙工不匹配光功率、錯誤增長速率與負載關系更換光模塊、調整協(xié)商策略CRC錯誤伴隨對齊錯誤出現(xiàn)鏈路沖突、物理層幀截斷雙工狀態(tài)、線對序強制全雙工一致或更換線纜多端口同時出現(xiàn)CRC錯誤公共環(huán)境干擾、設備供電異常設備側電源、周邊大功率設備干擾整改布線路徑、調整電源更換模塊后計數(shù)短暫清零又復漲硬件插槽或背板鏈路問題換一個端口或設備對比進一步隔離硬件層級這里有一條通用原則CRC計數(shù)是一個“果”不是“因”。你從它著手去查問題沒錯但最終修復的一定是導致它的環(huán)境、物理鏈路、協(xié)商狀態(tài)或者硬件故障。神化統(tǒng)計字段容易把自己帶偏。5. 常見誤區(qū)和幾個實戰(zhàn)心得5.1 誤區(qū)一看到CRC上升就斷定是線纜質量差這類判斷太絕對了。很多情況下CRC錯誤來自驅動或設備內部的異常。我遇到過一次很典型的例子兩端口之間CRC計數(shù)持續(xù)上漲但把線纜、模塊全部換了一遍問題依舊。最后發(fā)現(xiàn)是某塊板卡內部背板鏈路的數(shù)據(jù)通路故障換了整塊線卡后才恢復。如果當時只盯著“換線”這一條思路根本走不到真正的根因。另一個容易被忽略的是虛擬化環(huán)境。虛擬交換機和虛擬網卡驅動在統(tǒng)計CRC時很多實現(xiàn)只是把宿主機物理網卡的統(tǒng)計原樣暴露出來并不代表虛擬鏈路上真的發(fā)生了比特錯誤。如果在虛擬化平臺上看到CRC上漲第一件事應該是確認這個計數(shù)到底來自物理網卡還是虛擬數(shù)據(jù)通路否則你容易把平臺自身的問題嫁禍給底層物理網絡。5.2 誤區(qū)二抓包工具顯示無錯鏈路就一定干凈這個誤區(qū)在上文已經提到過但它真的太常見了值得單獨拿出來再說一次。抓包工具默認拿到的幀是網卡剝離FCS之后的版本壞幀在進入?yún)f(xié)議棧之前就被丟棄了。所以抓包結果里每一條記錄都“光鮮亮麗”根本不能說明物理鏈路上沒有噪聲。想看鏈路健康度必須配合網卡底層計數(shù)否則你會被自己的抓包文件欺騙。反過來如果抓包工具里真的出現(xiàn)了CRC錯誤標記某些工具在捕獲引擎保留了壞幀時會有提示那說明這已經很嚴重了鏈路質量可能差到了一定程度。但普通場景下抓不到CRC錯誤反而是常態(tài)不要因為抓包結果好看就放松警惕。5.3 把CRC計數(shù)當作長期健康度指標排查完一個具體問題之后就可以建立一套自己的觀察習慣。我對接口統(tǒng)計的處理方式不是看某一個時間點上的絕對數(shù)值而是看趨勢。比如某端口的CRC錯誤計數(shù)今天比昨天多了300這個數(shù)量級在業(yè)務負載變化范圍內是否正常相比硬件報錯我更關心它是不是持續(xù)、單調地增長。持續(xù)增長意味著某個劣化過程正在發(fā)生可能是光模塊的激光器在緩慢衰老也可能是連接器在逐漸氧化。建議每隔一段時間把關鍵端口的統(tǒng)計拉出來存一份基線等變更發(fā)生后做對比。這個辦法成本極低但對解決問題幫助很大。真到問題爆發(fā)那一刻你能立刻判斷出“這個錯誤是什么時候開始變多的”“最近改了什么東西”遠比現(xiàn)場抓瞎要強。對于光口順帶關注光模塊的收發(fā)光功率變化趨勢光功率下降往往比CRC計數(shù)增長提前幾天就發(fā)出預警這算是我自己比較受用的一個小技巧。還有一個小習慣拿到一臺新設備或者新網卡先做一次短時間高負載收發(fā)測試把錯誤統(tǒng)計清零再觀察。每個硬件對誤碼的容忍度不一樣過早做基線反而容易在基線里埋入大量背景噪聲。等確認鏈路在干凈狀態(tài)下跑穩(wěn)了再開始記錄正?;€之后每一次統(tǒng)計異常都會很有參考價值。做鏈路分析做得時間長了我對“Ethernet幀完整性校驗”這串詞的感受已經從“一個CRC寄存器”變成了一整套觀察鏈路健康度的視角。自己動手寫校驗腳本、跑真實數(shù)據(jù)、被虛驚嚇過、也被真正的根因折磨過這些過程確實是把知識變成能力的最好方式。如果你下次再遇到CRC相關告警不妨先冷靜下來把統(tǒng)計字段、抓包位置、物理鏈路狀態(tài)這三樣東西擺到桌面上再決定要不要動手拆線纜。我個人的體會是絕大多數(shù)FCS異常都能通過一張清晰的排查順序表快速收斂真正難的從來不是修而是判斷該修哪里。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月色| 成人精品在线| 婷婷情色激情| 婷婷另类开心| 五月丁香999| 日韩AV中文在线观看| 99亚洲视频| 91Chinese在线| 婷婷激情五月天色| 99惹在线精品免费观看| 国产.亚洲.欧洲视频在线| 日本高清久久| 99色色视频| 日本婷色| 激情小说婷婷| 欧美色性色好| www.五月丁香| 国产色色色色| 热99只有里视频| 狠狠色丁香久久久婷| 丁香五月激情五月色综合| 婷婷久久久| www.五月天婷婷| 99热国产国产| 婷婷五月丁香影院| 色色色精品无码区| 美女100%露全身无挡网站| 日韩欧美一级大黄网站| 天天色综和网| av婷婷丁香 六月| 欧美五月婷婷| 五月天亚洲图片婷婷| 亚洲成人av在线播放| 丁香六月激情网C0W| 97在线精品| 操逼巨乳91| 大香蕉网 久久| 国产69精品久久久久999小说| 9999久久久久| 九九碰九九爱97| 色情综合网| www.五月天婷婷| 欧美性色五月天| 五月天激情站| 久色网五月| 国内裸舞二区| 天天成人综合视频| 直接看的av| 五月丁香婷爱在线| 激情婷婷五月天| 开心激情五月天网| 婷婷丁香五月激情| 国产精品激情AV久久久青桔| 色插人人| 色哟哟精品| av在线免费网站 | 丁香六月综合| 91人久| 国产日韩欧美| 香蕉99网| 九九热欧美| 久久看婷婷| 能看的av| 久热9| 五月丁香激情综合网| 久久久999精品| 色色a| 色婷婷成人做爰A片免费看网站 | Caoub青青超碰 | 丁香五月久久| 婷婷六月天国产综合| 亚洲中字AV电影在线网站| 五月婷婷综合激情小说| 狠狠色97| 人妻videos人妻高清| 我爱宗和色| 激情五月天婷婷视频| 99热这里只有精品国产精品| www.久久久.com| 久久久久人妻| 丁香六月激情综合网| 国产成人网站在线观看| 久久人妻人人槡| 99热这里是精品| 超碰在线看| 久久久国产精品黄毛片| 五月丁香色| 久草热在线视频| 91婷婷| 九月婷婷在线视频| 九九精品自拍| 深爱婷婷丁香五月激情| 性爱综合网| 婷婷丁香久久网| 97碰免费精采视频| 精品成人无码A片观看香草视频| 99热这里只有精品2| 亚洲操逼片| 国产精品第一国产精品| 99九九热在线观看| 丁香五月婷婷影院| 人人人操 超碰| 壅壅儕家a| 久久婷婷色情7777网站| 五月丁香在线观看| 国产女18毛片多18精品| 丁香月五月天婷婷久久| 婷婷丁香五月亚洲| 五月天停停日日| 五月色婷婷影视在线电影| 婷婷丁香五月激情| 婷婷婷婷婷婷婷婷婷婷丁香| 热久久77777| 日日天天干| 立川无码av| 亚洲另类日本| 9 9 9色色| 丁香六月婷婷综情欧美| 日韩亚洲视频| 97婷婷狠狠| 九九热视频免费观看| 67194成I人在线观看线路1| 久久色六月| 婷婷六月激情| 国产精品久久..4399| www.婷婷五月.com| 79色色色色| 激情99| 五月丁香琪琪| www.久久| 亚洲成人免费电影| 91色久| 天天综合五月天| 色五月婷婷五月丁香五月| 天天插天天爽| 五月天婷亚洲综合在线嫩草网| 久操无码| 99er这里只有精品视频| 国产亚洲精品久久久久久郑州| 久久精品63| 99热精品网| 五月丁香花开综合网| 99无码精品| 女性自慰系列第五页| www久久艹| 婷色视频| 色激情五月| 超碰人人超碰| 激情五月天色色| 久久五月天精品视频| 五月激情综合网| 五月综合丁香婷婷| 99爱视频在线观看这里只有精品| 老司机午夜福利视频金瓶梅| 亚洲综合网在线| 第四色婷婷最爱| 99色视频| 久久99性爱| 97人人操人| 成 人 色 色| 99青青草99| 五月婷婷深爱六月| 婷婷五月天网址| 丁香五月天激情综合| 亚洲精品网址| 天天天天操| 99免费视频久久| 亚洲色五月| 九九热这里只有精品12| 91人碰| 色欧美影院| 久久精品9| 成人在线不卡| 日韩无码人妻一区二区三区综合| 欧美激情 日韩无码 婷婷 五月天| 丁香五月六月综合欧美| 九九香蕉网| 亚洲色爽| 99热热热国产超碰| 国产JK精品白丝AV在线观看| 夜夜操,天天撸| 婷婷色色丁香| 五月婷婷丁香六月| 婷婷五月av| 在线观看亚洲AV| www.久久99热地址发布| 色婷婷精品小视频| 婷婷伊人綜合| 婷婷网五月天| 久色资源网| 日本视频欧美观看免费| 99综合视频一体| 丁香网五月网| 婷婷九九| 色天使色综合| 欧美这里只有精品| 天天草比天天爽| 亚洲成人在线免费| 久久九九激情五月天 | 日韩一级网站| 五月丁香色婷| 天天噜日日噜综合无码| 婷婷色网址| 九九99免费视频| CHINESE熟女老女人HD视频| 一本伊人色婷| 97亚洲色 torrent magnet| 91大屁股在线| 五月天激情小说| 性色99| 97色色综合| 久久免费精彩视频| 亚洲视频五区| 丁香五月成人社区| 婷婷丁香视频| 六月婷婷狠狠色在线观看| 在线播放 精品| 色综合久久44| 九九在线精点品| 天天噜天天插| 五月天色图| 色婷婷五月丁香色| 色级停停| 国产精产国品一二三在观看| 五月综合久久| 这里只有精品视频99| 99精品爱| 99性感视频| 婷婷五月天在线看| 91偷拍视频| 久热精品免费视频4| 久99热| 五月天婷婷丁香人人操91| 97人人超| 九九99免费理论| 狠狠狠夜夜夜| 五月天社区狠狠| WWW夜夜| 色婷婷a v| 丁香五月桃花在线激情综合| αv中文字幕在线观| 91久久婷婷| 日本99在线| 天天操天天谢| 精品少妇蜜臀91| 五月色婷婷亚洲| 久久9999| www.久久久久久久| 欧美97色| 色色色视频免费无码 | 大香蕉伊人99| 影音先锋色婷婷| 大香蕉伊在| 亚洲9久久精品| 琪琪色五月婷婷老师| 九九热免费视频| 久热 91| 亚洲另类视频| 国产激情在线| 五月丁香婷婷色| 五月天激情综合| 日本熟女内射| 777色色色| 精品51XX| 久色大| 99精品综合视频| 五月婷婷六月丁香在线视频免费在线观看| 久色激情| 五月婷成人| 99综合一区| 精品久久9| 黄色成人网站在线播放| 激情综合女人网五月播播| 色原狠狠综合| 天堂AV三级| 婷婷五月天中文字幕.| 91一起操| 呦呦v线| wwwxxx五月婷婷小说| 91干| 丁香五月欧美色综合| 九九热视频免费| 激情五月天www| 五月天 另类图片| 五月天久久婷婷婷| 婷婷五月18永久免费视频| 婷婷五月天在线综合| 天天爱夜夜爽| 五月综合久久| 99综合网| 大香伊人婷婷| 天天干,天天舔| ,99视频久久| 操嫩逼电影| 看国产探花操逼三级片| 五月丁香六月玩女人| 五月天婷婷免费| 激情AV| 国产精品第一国产精品| 熟女网站久久| 五月天成人综合| 久热这里只有| αV电影| 99精品97| 99只有这里是精品| 成人丁香五月| 丁香五夜激情四射夜夜夜| 六月婷色| 综合色色婷婷| 99热这里只有精品1| 五月丁香影院| 色开心五月丁香| 99操| 精品久热69| 久久五月婷| 五月丁香狠狠爱婷婷综合| 丁香六月婷婷开心| 久久只有18视频| 五月天色社区| av一区二区电影免费在线观看| 久久婷婷色情7777网站| 九月激情网| 五月婷深深爱激情网| 91人人操人人| 激情熟女网| 久久这里只精品66| 婷婷综合色图| 色九月综合网| 26uuu亚洲欧美| 这里只有精品2| www.cao.com久久| 色综合激情| 99这里只有精彩视频| 色综合com| 婷婷综合久久综合| 婷婷久久丁香五月| 96丁香六月婷婷蜜桃综合久久| 另类图片天天影视在线观看| 亚洲成片在线观看| 天天做天天爱天天玩夜夜爽| 免费看欧美成人A片无码| 综激情网| 人妻久热| 熟女网站久久| 综合婷婷五月天| 激情婷婷五月丁香啪啪啪| 天天日日夜夜| 丁香五月婷婷啪| 欧美成人精品A片免费一区99| aV直接看| 久草xx性爱视频| 久久五月综合| 久久这里面只有精品视频| 97精品欧美91久久久久久久| 1024AV视频| 色婷婷色五月丁香| 亚洲日韩乱码一区二区三区四区| wwxx日本| 国产人妻777人伦精品HD| 六月99天天婷婷激情综合| 热99视频精品| 99久久超级| 六月婷伊人| 婷婷综合网| 激情五月婷婷| 久久久久久久久99精品| 久久99久久99精品免观看粉嫩| 五月婷婷六月丁香在线| 超碰99热精品| 九九久久99| 99亚洲视频| www.97碰碰com| 久久婷婷人人| 91超级碰碰| 亚洲中文字幕网| 九月丁香亭亭| 婷婷久久午夜网| 色婷婷电影网| 六月亭亭久久综合激情| 色444综合网| 丁香狠狠色婷婷久久无码视频| 狠狠色综合无线观看| 色五月综合激情| 91jiuseshunv| 99激情在线| 秋霞免费三级片| 色婷五月天| 99极品视频| 天天干肏夜夜| 日本www免费九九| 亚洲第一综合| 丁香激情五月天| 日本VA视频| 丁香久久久| 丁香激情网| 午夜丁香丁香婷婷| 日韩无码AV电影网站| 天天日天天插| 91九色小视频| 天天干,噜噜色,狠狠色| 欧美婷婷五月天| 久99热| 婷婷综合另类| 丁香午月AV中文字幕| 俺去也在线官网| 六月丁香婷婷色狠狠久久| 六月丁香成人| 婷婷网影院| 丁香五月天视频| 伊人婷婷福利网| 亚洲无码yw| 91丨九色丨国产打屁股| 天堂在线观看视频| 亚洲激情av| 五月天五月色| 国产精女同一区二区三区久| 婷婷五月情| ji'qing'luan'ren'lun| 七七九色| 97碰碰叉| 超碰久热| 黄色三级日本| 五月激情综合美女久久| 99热久只有| 婷婷综合九月| 伊人香大香蕉视频| 99热这里只有精品8| 六月丁香VA| 美妞av| 久久女人九九| 99久久99综合| 99色精品| 色欲色香综合网| 26uuu国产激情视频| 538午夜激情| 久久九九99.www| 99热综合网| 人。妻久久| 丁香婷婷综合五月天| 欧美在线视频免费播放| 韩日AV片| 超碰人人摸AV| 色婷婷丁香女女| 一起草AV| 欧美大香蕉视频| 涩婷婷五月天| 伊人婷婷五月天av| 久色五月婷婷综合| 日韩激情婷婷五月天| 婷婷五月天综合久久日美女| 99在线精品免费视频| 任你日视频| 2025天天操| 九九热再线九九视频免费在线观看 | 97色婷婷| 成人午夜无码视频| 五月色婷婷中文字幕| 天天狠狠六月婷丁香影院| 丁香涩涩五月天| 色五月婷婷狠狠撸| 噜噜噜噜噜在线| 综合99视频| 天天操天天国产三级片处女学生妹| 蜜臀AV在线观看| 丁香五月五月婷婷| 欧洲色色| 97人人干| 激情内射人妻1区2区3区| 丁香六月综合激情| 99热思思| 欧美在线| 婷婷大香焦| 久99婷婷色综合| 少妇水多A片太爽了| 免费看欧美成人A片无码| 色婷婷激情| 欧美激情综合色综合啪啪五月| 九九综合久久| www99热| 亚洲无AV在线中文字幕| www.99.色| 97婷婷五月丁香| 一本色道久久综合狠狠躁一二三| 七月丁香婷婷 色色| 亚洲最大视频网站| 9 99免费视频| 99热 这里只有精品 国产 日韩| 日本色色网| 六月丁香婷啪射| 色青五月天| 婷婷五月天在婷| 天天舔天天操| 狠狠狠狠狠狠| 99热香港| 综激情网| 久久99热 这里有精品| 互月天综合| 日本婷婷色日| 天天插天天日| 激情五月黄色小说| 99亚洲色| 丁香婷婷性爱| 亚洲精品无码99热| 亚洲六月综合激情久久下卡| 久久久久激情网| 激情婷婷色色| 亚洲国产精品成人va在线观看| 丁香婷婷色五月合集| 激情五月婷黄版| 婷婷伊人中文字幕| 噢美99| 五月天伊人久久久久| 夜夜骑操AV| 中国激情网| 欧美五月婷婷| 丁香五月婷婷国产av| 九九色天堂| 欧美成性色| 亚洲人妻五月丁香婷婷| 五月天婷婷色色| 五月激情综合网| 久久婷婷五月天丁香| 色婷婷天堂| 亚洲婷婷五月天综合| 99亚洲日韩| 九九热最新| 婷婷香草网| 97日在线视频| 五月丁香色婷| 天天干夜夜想| 9久9久| 五月激情综合婷婷| 91色久| 日本波多野结衣视频| 色婷婷免费视频| 1995年关宝慧版蜘蛛女| 激情AV| 婷婷五月天av小说| 婷婷五月天xxx| 99色精品| 6 9式性爱视频在线播放| 五月婷婷激情四季| 婷婷五月激情的图片| 丁香香蕉射射射| 淫视馆aV二区一区| 亚洲色热| 五月天久草| 色欲五月天| 九九热黄色| 超碰激情五月| 都市激情五月婷婷亚洲| 男人操女人高潮91视频| 操操操av| 99色在线| 久婷久婷| 思思热在线| www.99热| 九九黄色网| 婷婷成人视频| 欧美123区免| 丁香五月亚洲综合| 久久精品99国产精品日本| 日本熟妇精品99| 五月婷婷六月丁香在线| 黄色片久久| 五月婷婷黄色| www.激情五月| 色5在线| www.天天干| 中文字幕av网站| 这里只有精品69| 国产黄大片在线观看画质优化| 俺也去婷婷五月天第五色| 啪啪综合| 色综合久久888| 久久精品4| 98永久精品| 天堂综合久久 | 日本狠狠爽| 亚洲色婷婷五月天| 青青夜夜狠狠夜夜狠狠| 六月婷婷五月丁香| 色婷婷五月综合| 99热在线精品观看| 婷婷五月激情四月综合| 色色婷| 97色啪| 色婷婷激情| www.maotanji.com| 91丨九色丨东北熟女| 久久婷婷五月天懂色| 色欲色香综合网| 婷婷丁香视频在线观看免费| 少妇被下春药玩弄A片| 日 日干 日日做| 五月婷A V在线| 丁香五月天的网址。| 五月天激情日色在线| 日韩淑女人妻luan伦激情精品一区二| 99色热视频| 五月丁香综合在线| 性爱网久久| av在线资源| 色五月成人婷婷| 国产精品天天狠天天看| 99久在线精品99re8热| 中文字幕av在线播放| 另类天堂| 激情开心五月亚洲| 香蕉久久国产av一区二区| 九九Av| 激情影院免费视频婷婷五月天| 一级片无码| 五月天丁香婷婷社区| 玖玖国产视频一区| 国产99久| 五月天狠狠| 人人草人人爱手机视频看看| 成人五月天丁香婷| 青柠影视免费高清电视剧 | 开心五月深爱五月| 亚洲男人的天堂婷婷色五月| 成人五月天综合网| 99热只有精品在线| 激情婷婷五月天| 五月丁香六月激情在线| 欧美五月丁香啪啪响视频| 天天激情站| 日韩久热| 久久精品66| 九热...av| 中日韩美欧成人一区二区精品在线| www.婷婷五月天.com| 99在线观看亚洲| 99久久婷婷五月| 欧美日韩999| 色欲一二三| 狠狠另类视频| 人妻久热| 亚洲国产精品二二三三区| 婷婷五月综激情| 色婷婷a三区麻| 无码人妻激情| 9 9 9色色| 色五月综合| 99综合激情久久精品久久| 色欲影香| 五月天综合色| 婷婷色情 | 婷婷伊人綜合中文字幕| 99热在线观看| 丁香五月色欲| 婷婷激情丁五月| 涩综合在线 | 久久这里有| 五月天婷爱综合| 九九伊人网| 五月婷婷综合性爱噜噜| 亚洲激情综合| 亚洲无码色色| 99精品热视频| 99乱视频| 综合视频五月| 五月天婷婷丁香花| 丁香五月天激情五月天激情五月天激情网| 99热久草| 欧美精品狠狠色丁香婷婷| 99噜噜噜在线播放| 久久九九综合| 五月天成人综合| 色哟哟精品| 综合久久99| www夜夜操com| 99热免| A√天堂网在线| 久久只有精| 丁香五月性爱| www.激情五月天。com| 99人妻碰碰久久久禁片| www.97视频| 国产XXXX搡XXXXX搡麻豆| 欧美日韩99| 99∨VTV| 99色在线视频| 九九av| 亚洲精品又粗又大又爽A片| 综合一区二区三区| 黄色成人网站在线播放| 综合激情五月天| 91日韩在线| 97色色婷婷| 色色热| 综合99视频| 在线观看av网站| 成人 在线 日韩| 丁香五月天堂网| 天天综合色| 女人高潮内射99精品| 极骚大香蕉伊人| 啪啪五月婷婷| 久久久久久99精品无码| 久久婷婷亚洲| 婷婷五月天.com| 26UUU精品一区二区Com| 六月香五月婷| 天天做天天爱天天要| 日91高清无玛| 久久五月丁香| 日韩熟女啪啪视频| 日本三级片片| 超碰人人操人人干| 成人婷婷深爱综合网| www色五月天| 天天干,天天日| 国产成人99久久亚洲综合精品| 婷婷五月天激情网| 婷婷五月丁香成人网| 成年人夜夜喷水| 深爱五月激情网| 另类综合网| 久9热视频| 97久久久| 婷婷影院欧美| 蜜臀A∨在线水帘洞| 99色爱| 婷婷综合色图| 亚洲三A| 色蜜婷婷| 欧洲日韩一区二区三区| 人妻久久久久久| 欧美99热| 91好好热日本在线| 丁香久久五月天视频在线观看| 五月丁香六月激情欧美综合| 99热这里只有精品5| 亚洲AV成人在线| 色五月自偷自拍婷婷婷婷| 婷婷色女| 人人草人人看| 伊大人久久| 91九色在线| 精品久久久久久久人妻| 久久久噜噜噜久久人妻| 丁香五月婷婷高清| 五月婷婷久久激情 | 久草xx性爱视频| 日日夜夜婷婷| caopeng97人人| 狠狠色丁婷婷日日,伊人激情综合网| 97色色色| 久99热| 婷婷爱爱蜜臀天天操| 婷婷五月天熟妇| 五月婷婷av| 国产精品电影网| 思思热在线视频99| 九九久久99| 丁香五月综合婷婷| 激情六月色| 91在线操逼视频| 色综天天综合| 亚洲av日韩无码| 婷婷五月另类网站| 激情WWW| 精品乱码久久久久| 91九色国产熟女| 亚洲va欧洲va国产va不卡| 丰满女老板BD高清A片| 婷婷永久在线| 色婷婷69| 天堂综合久| 五月丁香六月婷婷视频| 超碰97在线操| 婷婷伊人激情婷婷| 久色国产| 激情九九九九| 思思热精品在线观看| 免看黄大片AA | 亚洲综合新99视频| 久久99网站| 婷婷五月大| 欧美婷婷| 丁香综合婷婷开心激情网| www.精品99| 中文字幕日韩成人| 久久激情天堂| 久久五月天色婷婷| 97在线/亚洲| www.色婷婷.com| 可以直接看的av| 色婷婷影| 丁香美女主播视频在线观看 | 五月花激情网| 婷婷五月婷婷| 九九综舍久久| 热99在线精品| 国产婷婷五月天| 九九操操| 色五月天影视| 99久久综合网| 青青草原中文字幕| 99激情| 综合五月草| 全部老头和老太XXXXX| WwW天天干| 开心色色五月天综合| 婷婷久热| 99精品成人无码A片观看金桔| 激情五月天啪啪视频| 97在线观视频免费观看| 永久地址 色| 激情婷| 丁香 亚洲 久久| 五月天成人综合| 色婷婷狠狠| 婷婷激情丁五月| 97人妻人人| 九九九九这里只有精品| 久操97| 色婷婷六月| 思思热在线精品视频网站| 激情综合九| 超碰97免费在线| 人妻操逼视频。| 无码激情AAAAA片-区区| 热99re| xx久久| 六月丁香网| 99在线观看视频蜜臀| 天天日色情| 在线观看欧美| 欧美激情xxxXX| 九九九AAA热视频| 日本久久高清| 韩国婷婷丁香五月| 丁香五月电影院在线观看| 天天草天天爽| 丁香婷婷综合五月天| 五月婷婷丁香综合,亚洲天堂| 在线成人网址| WWW.开心五月天.COM| 亚洲综合999| 国产精品国产成人国产三级| 色播五月网| 欧美色图天堂网色| 色五月丁香五| 人妻人人操| 毛v一区二区视频| 99热8| 五月成人天| 国产精品久久久99视频| 色碰97| 色五月欧美| 久久婷婷综合五月天| 开心五月天私房婷婷| 密视AV综合在线| 中文字幕 码精品视频网站| 婷婷开心五月| 丁香婷五月天| www.99热视频| 操日本色| 中文字幕有多少字| 色婷婷五月综合| 亚洲无码99| 99在线视频精品| 五月婷婷三级| 啪啪色区| 激情网综合| 91视频精品99| 午夜av网| 亚洲综合五月天婷婷| 99色热| 干一干xxxx| 看久久性爱视频| 色五月av伊人| 永久的网站AAAA | 免费AV在线| 91麻豆国产三级精品福利在线观看| 99精品亚洲| 伊人久久五月天| 婷婷深爱五月天| 久久久久久五月天| 亚洲人妻一区二区 | 99热这里只有精| 亚洲激情精品| 97在线视频人妻九色| 精品九九网| 97日本在线播放| www.91av.com| 丰满人妻妇伦又伦精品国产| 激情五月天影院| 五月激情六月宗合| 亚洲人妻五月丁香婷婷| RenRenSe在线视频网站| 精品久久婷婷五月天| 婷婷色在线观看| 色娸娸综合网| av在线播放网址| 婷婷五月天在线观看| 久久综合中文字幕| 99久久高清视频| 亚洲av综合在线| 90色免费视频| 色五月丁香91| 丁香五月综合| 女人高潮内射99精品| 伊人久久艹| 六月丁香网| 久久人妻视频| 五月婷婷六月丁香| 亚洲成人网站在线观看| 久久婷婷五月天| 天天日夜夜爽| 亚洲第一成人无码A片| 国产精品人成A片一区二区| 中文幕无线码中文字蜜桃| 亚洲精品字幕在线观看| www久视频com| 亚洲AV无码电影| 色五月婷婷影视| 五月天激情亚洲| 久久99jiu9| 婷婷综合影院| 色情五月丁香| 99'无码| 久久婷婷色丁香| 色婷婷综合视频| 91久久综合亚洲鲁鲁五月天| 99热6这里只有精品| 99热这里只有精品3| 亚洲乱码日产精品BD| 国产黄色在线观看| 五月婷婷激情综合| 色五月丁香91| 免费播放片大片| 精品网站:999WWW| 欧美噜噜免费观看| 天天cha成人综合网| 99无码黄色视频| 9l视频自拍九色9l视频自拍九色9l社区| 97人人射| 久久人妻超碰一区| 成人人操| 99惹在线精品免费观看| 提提热五月天婷婷| 婷婷王月天影院| 中文AV在线播放| 99在线精品免费视频| 亚洲精品又粗又大又爽A片| 九九Y精品热播| 五月丁香综合啪啪啪啪啪| 欧美亚洲婷婷五月| 成人短视频在线| 无码人妻丰满熟妇奶水区码| 97人碰人操| 玖玖99免费视频| 开心婷婷五月天电影院| 99久在线精品99re8| 丁香午夜天| 亚州欧美黄色电影| 色婷婷香蕉| 激情五月天黄色小说| 夜夜爽天操| 日日干天天爽| 婷婷热色| 亚洲激情淫网| 丁香五月色五月| 美国少妇性做爰| 丁香五月婷婷色| 色色免费网战视频| 丁香五月天色婷婷| 色 五月 天 婷婷 丁香 九月| 美女天天艹人人爽| 色婷婷69| 婷婷中文综合网| 色狠狠五月天| 天天做天天爱天天玩| 97碰碰碰免费公开在线视频| 97极品在线| 伊人9999| 五月丁香综合| 我去色色网五雨天| 五月婷婷丁香六月在线| 五月天另类小说| 久热丁香| 丁香久久久| 91 九色大美女| 九九热这里只有精品7| 日日操夜夜爽| 一本色道久久综合狠狠躁一二三| 激情综合五月| 99自拍视频网站| 99欧美三级视频| 日韩色色视频www| 最近韩国日本免费高清观看| 97人妻碰碰碰久| 99热66| 激情婷婷五月在线合集| 激情五月丁香色婷婷| 五月丁香啪啪网| 精品热青草| 热久久99视频| 99热思思| 97人人射| 99热9999| 91狠狠色色丁香婷婷综合久久| 天天舔天天操| 美女视频图片久久91| 色婷婷丁香中文在线播放| 丁香色色网| 色综合久久8| 五月花综合视频| 99热10在线高清播放| 亚洲九九99精品视频在线播放| 五月天综合网| 婷婷五月情| 日日噜噜夜夜狠狠久久丁香六月| 成人网站高清无码| 这里只有精品视频99| 激情五月婷婷色综合| 五月婷婷丁香av| 香蕉综合网| henhencao国产在线| 久久综合影院| 91porn一起草| 五月婷婷二月丁香| 中文字幕在线人妻| 欧洲亚洲精品| 91九色欧美| 大香蕉99| 婷婷激情五月吧| 操人91| 日逼免费视频| 99热综合在线观看| 国产五月天欧美色| 99热这里有精品首页10| 超碰二区| 婷婷五月69| 婷婷伊人| 四色女婷婷| 欧美日韩色色| 人人看人人摸人人| 九九九九中文字幕| 九九热精品视频在线观看| 亚洲小电影在线观看黄999| 曰曰久久| 26uuu四色| 亚洲电影在线观看| 天天五月天综合网址| 五月天婷婷香蕉狠狠超碰综合| 99色干| 爱草视频在线观看| 色九月丁香婷婷蜜桃在线观看| 丰满人妻一区二区三区| 狠狠综合久久| 国产成人精品一区二区三区视频| 日日艹思思热| WWW,五月| 91九色丨国产丨爆乳| 精品视频这里只有精品| WWW嗯嗯啊啊啊啊| 深爱激情综合网| 亚洲天堂爱爱| 伊人五月综合网| 五月丁香伊人网| 成人午夜天| 五月婷AV| 久9热视频在线观看| 九九99精品视频在线观看| 五月婷婷婷自由综合| 久久精品综合色| 可以看的av| 欧美五月丁香| 大香蕉综合在线| 日本无码专区| 91超级碰在线视频| 婷婷综合激情五月综合| 国产午夜精品一区二区| 日韩精品AV一区二区三区| 四色99久久| site:wpjngj.com| 五月婷婷亚洲综合在线| 综合色色网| 99热这里精品| 五月激情综合婷婷| AV色色天堂中文| 狠狠色狠狠| 色色亚洲无码| 午夜色丁香| www99精品| 久久久九九九 99| 综合一本道| 狠狠看狠狠| 婷婷五月天影院| 玖玖婷婷五月天| 婷婷亚洲激情在线观看视频| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 亚洲婷婷丁香五月| 热久久这里只有精品| 五月丁香六月色| 五月天色在线| 26uuu美女三级视频| 欧美色97| 激情丁香五月| 一本色道久久综合狠狠躁小说| 99精品小视频| 丁香5月婷婷| 99热 免费| 99色色热热| 午夜丁香综合婷婷| 成人丁香五月婷| 五月婷婷综合激情小说| 色五月婷婷五月天| 五月天丁香网站| 欧洲激情精品婷婷| 五月天婷爱综合| 国产色色在线| 久久婷婷啪啪视频| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 夜夜撸天天日| 天天舔天天摸天天射| 20253AV| 中字幕视频在线永久在线观看免费| 色五月视频,小说| 日韩成人五月天| 精热在线综合网| 婷婷丁香成人| 五月婷婷天堂| 欧美伊人9| 婷婷色一二三区波多野结衣| 影音先锋91网站在线观看| 午夜丁香婷婷| 婷婷天天色| 九九久久99| 99九无网码| 夜夜操狠狠操| 色五月婷婷网| 婷婷五月在线视频| 六月色国内综合| 五月天激情日色在线| 就去涩涩丁香五月天| 视频这里只有精品16| 深爱五月天 开心网| 丁香婷婷激情五月| 日日婷婷不卡| 色五月婷婷五月久久| 久久这里都是精品视频| 午夜 外网 精品 在线| 男人综合网| 婷婷丁香高潮了| 99综合婷婷五月| 丁香婷婷六月激情| 五月天婷婷六月| 久久奄也去色色网站| 99视频精品8| 五月天久久成人| 六月丁香五月激情婷婷| www,五月天激情| m色激情网| 久久小片| 色婷婷成人网| www.99热这里只有精品| 五月天综合| 天天操夜夜操| 国内一级片| 欧美超碰亚洲| av最新在线| 久久九九怡红院| 五月综合777| 99久久玖玖| 79精品视频| 天天干,天天日| 婷婷五月天激情网| 大地资源色婷婷视频在线| 亚洲精品久久久无码| 67194线路二在线观看| Aα在线免费观看| 国产脫衣舞一区二区三区| 婷婷色网| 午夜精品777| 激情五月天网| 天天日天天干天天操| 亚洲婷婷欧美婷婷| 中文字幕 中文字幕明步| 少妇水多A片太爽了| 国产人人操| 九九九干精品| 久久九九国产| 无码一区二区日韩| 久久6这里只有精品| 五月开心深深爱激情综合| 久久色五月天| 少妇人妻人伦A片| 超碰在线观看三级片| 久久婷婷五月综合成人d啪| 91大神在线免费看视频全集男男一起操| 任你干嘛免费视频播放| 狠狠操之狠狠操| www,av好吊操| 九热视频| 碰碰人人人| 丁香五月婷婷操逼| 婷婷五月综合久久中文字幕| 精品无码人妻一区| 色色色99| 国产亚洲精品AAAAAAA片| av五月丁香婷婷网| 99在线观看亚洲| 五月花激情| 日韩中文字幕| 丁香婷婷91在线观看视频| 成人狠狠成人狠狠成人狠狠成人狠狠| 色色 9| 狠狠色成人影片| 在线观看亚洲AV| 五月天婷婷丁香花| www.国产色| 性爱五月婷婷| 五月天婷婷伊人| 五月天天爽| 久久香蕉影院| 久久超级碰碰| 天天肏天天爽夜夜爽| 色婷婷丁香五月| 九九色播五月丁香| 亚洲综合五月天综合| 99精品自拍视频| 97操男人的天堂| 性婷婷| 337p大胆噜噜噜噜噜91Av| 大伊香蕉玖玖爱| 六月色五月天天婷婷| 久久九九免费视频| 婷婷久久影院| 这里只有精品视频在线看| 99视频在线精品| 婷婷丁香大香蕉| 亚洲成人色五月婷婷综合| 97人凄人人操人人爽| 性爱人人网| 五月丁香狠狠| 日日操夜夜擼| www.色情五月天.com| 色色色.com| 人妻丰满精品一区二区A片| 久久婷五月婷| 五月伊人网| 97操在线资源| 色天天综合成人网| 久久视频在线视频| 日本a片网址| 久久天天| 色综合久久无码| 99热这里只有精品手机在线观看| 五月停停色色丁香| 天天爽天天| 思思99热在线| 五月丁香激情综合| 亚洲国产婷婷色五月| 亚洲人妻AV| 女操碰| 久久大香蕉同僚| 99啪| 国产在线黄色| 999激情视频| 色五月天丁香婷婷|