免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

軟件版本管理規(guī)范:版本號(hào)、分支、制品與發(fā)布臺(tái)賬

軟件版本管理規(guī)范:版本號(hào)、分支、制品與發(fā)布臺(tái)賬 剛接手一個(gè)中型項(xiàng)目的研發(fā)流程那會(huì)兒我做的第一件事不是翻代碼而是把近半年的發(fā)布記錄全導(dǎo)出來對(duì)了一遍。結(jié)果非常典型同一個(gè)功能在測試環(huán)境叫 v2.3.1到預(yù)發(fā)變成 v2.3線上又成了 release-20230417三個(gè)名字指向的是同一份代碼反過來更嚇人的是兩個(gè)完全不同的構(gòu)建產(chǎn)物都叫 v1.0.0線上跑的到底是哪一個(gè)誰也說不清。這就是軟件版本管理沒有統(tǒng)一規(guī)定的直接后果——不是沒人管而是每個(gè)人按自己的習(xí)慣管最后誰也拼不出完整的一張圖。軟件版本管理規(guī)定這件事聽起來像是寫文檔的活實(shí)際上它決定了你出事之后能不能在十分鐘內(nèi)定位問題、能不能安全回滾、能不能回答線上到底是什么。這篇內(nèi)容我打算按自己踩過的坑和后來落地的規(guī)則來講適合剛接手發(fā)布流程的研發(fā)、測試負(fù)責(zé)人也適合團(tuán)隊(duì)里那個(gè)被默認(rèn)管版本的人不管你現(xiàn)在用的是 Git 還是別的工具規(guī)則層面的東西是通用的。1. 版本號(hào)到底該怎么編從語義化版本到團(tuán)隊(duì)內(nèi)規(guī)1.1 三個(gè)數(shù)字各自承諾了什么很多人以為版本號(hào)就是給發(fā)布排個(gè)序漲上去就行其實(shí)版本號(hào)真正的作用是對(duì)外承諾兼容性。語義化版本那套 MAJOR.MINOR.PATCH 的約定之所以被廣泛采用是因?yàn)樗堰@次升級(jí)會(huì)不會(huì)弄壞我的代碼這個(gè)問題變成了可以提前判斷的事主版本號(hào)漲了意味著有不兼容的改動(dòng)調(diào)用方必須改代碼次版本號(hào)漲了意味著新增了功能但保持向后兼容修訂號(hào)漲了意味著只有修復(fù)接口沒動(dòng)。這個(gè)承諾一旦定下來就不能隨便破例。我見過最常見的破例方式是順手改一下。發(fā)布前發(fā)現(xiàn)一個(gè)小接口的參數(shù)名寫錯(cuò)了覺得反正沒人用直接改掉版本號(hào)只在修訂位上加一。結(jié)果下游某個(gè)服務(wù)正好用了這個(gè)參數(shù)上線當(dāng)晚就報(bào)錯(cuò)。所以團(tuán)隊(duì)內(nèi)規(guī)里必須寫清楚只要接口簽名、數(shù)據(jù)格式、配置項(xiàng)名稱發(fā)生了變化無論改動(dòng)多小都要往次版本號(hào)漲必要時(shí)甚至要往主版本號(hào)漲。判斷標(biāo)準(zhǔn)不看代碼行數(shù)看的是外部能不能感知到差異。還有一點(diǎn)容易被忽略版本號(hào)的數(shù)字段是有排序語義的不要塞入前導(dǎo)零也不要用字母去替代數(shù)字。像 v1.10 和 v1.9 這種字符串排序會(huì)得出錯(cuò)誤結(jié)論必須按數(shù)字段比較。如果團(tuán)隊(duì)里有人寫腳本去解析版本號(hào)這一點(diǎn)會(huì)直接導(dǎo)致灰度分批的邏輯出錯(cuò)。1.2 企業(yè)里通常要多加幾位純粹的語義化版本在內(nèi)部研發(fā)場景下經(jīng)常不夠用因?yàn)槲覀冃枰獏^(qū)分同一份代碼在不同環(huán)境下構(gòu)建出來的不同產(chǎn)物。所以大多數(shù)團(tuán)隊(duì)會(huì)在三段式后面追加構(gòu)建號(hào)或者日期流水號(hào)形成類似2.3.1.20240517.812或者2.3.1build.812這樣的形式。這里的關(guān)鍵是區(qū)分業(yè)務(wù)版本和構(gòu)建版本前三段是業(yè)務(wù)版本由人決定代表這一版包含什么后面的構(gòu)建信息由流水線自動(dòng)生成只用來唯一標(biāo)識(shí)一份產(chǎn)物。字段誰來決定含義是否重復(fù)出現(xiàn)主版本號(hào)研發(fā)負(fù)責(zé)人評(píng)審不兼容變更否次版本號(hào)研發(fā)負(fù)責(zé)人評(píng)審兼容性新增否修訂號(hào)開發(fā)自定兼容性修復(fù)否構(gòu)建流水號(hào)流水線自動(dòng)唯一標(biāo)識(shí)產(chǎn)物是每次構(gòu)建遞增預(yù)發(fā)布標(biāo)識(shí)發(fā)布同學(xué)標(biāo)記rc / beta 等階段同版本可多次預(yù)發(fā)布標(biāo)識(shí)也要有明確規(guī)定。rc 代表候選發(fā)布beta 代表公開測試alpha 代表內(nèi)部驗(yàn)證這些標(biāo)識(shí)只能出現(xiàn)在正式發(fā)布之前且同一個(gè) rc 編號(hào)只能對(duì)應(yīng)一份產(chǎn)物。如果 rc1 修復(fù)了問題重新構(gòu)建那就必須是 rc2不能覆蓋 rc1 的制品。這一點(diǎn)后面講制品管理的時(shí)候還會(huì)展開因?yàn)樗苯記Q定了回溯的可靠性。1.3 用日期做版本號(hào)這件事要謹(jǐn)慎不少團(tuán)隊(duì)喜歡用2024.05.17這種日期版本看著直觀實(shí)際用起來有兩類麻煩。第一是排序問題如果跨年月份和日期不足兩位就會(huì)亂序必須嚴(yán)格補(bǔ)零第二是并發(fā)問題同一天出兩個(gè)版本就沒法區(qū)分了得再掛一個(gè)流水號(hào)于是變成2024.05.17.2這時(shí)候它已經(jīng)不再是純?nèi)掌谡Z義而是日期序號(hào)那就干脆說明白別讓新同學(xué)誤以為它就是日期。我的建議是面向外部用戶的版本用語義化三段式面向內(nèi)部構(gòu)建的標(biāo)識(shí)用日期或構(gòu)建號(hào)。兩套并存但職責(zé)邊界必須在規(guī)定里寫死。最怕的是混著用一會(huì)兒 v2.3.1 一會(huì)兒 20240517臺(tái)賬里兩列數(shù)字沒法對(duì)賬。如果確實(shí)要給用戶展示一個(gè)更容易理解的版本比如手機(jī)應(yīng)用里的3.5 版那它和內(nèi)部版本號(hào)之間要有明確的映射關(guān)系表且這張表要跟代碼一起維護(hù)不能只存在某個(gè)人的腦子里。2. 分支模型與版本號(hào)的綁定關(guān)系2.1 主干開發(fā)和發(fā)布分支選哪個(gè)先想清楚分支模型和版本號(hào)是一體的光規(guī)定版本號(hào)卻不規(guī)定分支怎么切規(guī)定就是空轉(zhuǎn)。目前主流是兩條路線一種是主干開發(fā)、發(fā)布分支拉出后凍結(jié)另一種是長期維護(hù)多個(gè)版本分支。前者適合迭代快、只有一兩個(gè)在線版本的團(tuán)隊(duì)后者適合有客戶還在用老版本的場景比如企業(yè)軟件、交付類項(xiàng)目。主干開發(fā)模式下版本號(hào)的推進(jìn)點(diǎn)很清晰功能合并進(jìn)主干時(shí)次版本號(hào)已經(jīng)在規(guī)劃里鎖定了從主干切出release/2.4分支的那一刻2.4 這個(gè)版本號(hào)就凍結(jié)后續(xù)在這個(gè)分支上只允許修訂位遞增也就是 2.4.1、2.4.2 這樣往上走。凍結(jié)的含義是不再往這個(gè)分支合入新功能只能合修復(fù)。我見過發(fā)布分支被當(dāng)成第二個(gè)開發(fā)分支用的團(tuán)隊(duì)結(jié)果就是每次上線都要重新跑一遍全量回歸因?yàn)榉种系拇a跟測試過的不是同一份。多版本并行維護(hù)的情況下規(guī)則要再收緊一層每個(gè)維護(hù)分支對(duì)應(yīng)一個(gè)大版本線比如release/2.x、release/3.x兩條線上同一個(gè)修復(fù)要打兩次補(bǔ)丁版本號(hào)分別遞增且要在臺(tái)賬里注明同源修復(fù)。這里最容易出的問題是漏合修了 3.x 忘了 2.x客戶投訴之后才發(fā)現(xiàn)。規(guī)定里可以要求補(bǔ)丁類修復(fù)必須列出所有受影響的大版本線逐個(gè)確認(rèn)是否合入。2.2 熱修復(fù)的版本號(hào)怎么漲線上出問題從發(fā)布分支切一個(gè)hotfix/2.4.3分支修完合回發(fā)布分支同時(shí)必須合回主干否則下一次從主干切發(fā)布分支的時(shí)候這個(gè)修復(fù)會(huì)丟失問題會(huì)復(fù)發(fā)。這是我在實(shí)際項(xiàng)目里反復(fù)見到的坑因?yàn)闊嵝迯?fù)分支往往是在深夜臨時(shí)拉的人一累就只想著趕緊上線忘了往回合。版本號(hào)方面熱修復(fù)只動(dòng)修訂位從 2.4.2 變成 2.4.3。如果這次修復(fù)其實(shí)改了對(duì)外接口或者數(shù)據(jù)結(jié)構(gòu)那就不能只漲修訂位要按前面說的兼容性規(guī)則來處理必要時(shí)直接發(fā)一個(gè)次版本。判斷動(dòng)作只有一個(gè)改完之后調(diào)用方在不改代碼的情況下能不能正常工作。能就是修訂位不能就得往上漲。標(biāo)簽Tag的規(guī)則也要一起寫。每個(gè)正式發(fā)布的版本必須在對(duì)應(yīng)的提交上打一個(gè)不可變的 TagTag 名與版本號(hào)嚴(yán)格一致禁止移動(dòng)或覆蓋已存在的 Tag。我在早期項(xiàng)目里遇到過有人為了省事把 Tag 刪了重新打結(jié)果 CI 里緩存了舊的制品兩邊對(duì)不上排查了兩個(gè)小時(shí)才找到原因。Tag 一移動(dòng)所有基于它的溯源都失效了這個(gè)代價(jià)遠(yuǎn)比重新發(fā)一個(gè)版本號(hào)高。2.3 環(huán)境和版本的映射必須成表規(guī)定里必須有一張環(huán)境與版本的對(duì)應(yīng)表明確哪個(gè)環(huán)境允許出現(xiàn)什么形態(tài)的版本號(hào)。環(huán)境允許的版本形態(tài)是否允許重新構(gòu)建覆蓋版本號(hào)確定時(shí)機(jī)開發(fā)聯(lián)調(diào)快照版本如 2.5.0-SNAPSHOT允許不入臺(tái)賬功能測試rc 版本如 2.5.0-rc1不允許重建換編號(hào)提測時(shí)鎖定預(yù)發(fā)布rc 或正式版候選不允許上線前一日鎖定生產(chǎn)正式版如 2.5.0絕對(duì)不允許上線評(píng)審?fù)ㄟ^后這張表看著簡單執(zhí)行起來最難的是快照版本往外漏。開發(fā)階段圖方便用 SNAPSHOT提測時(shí)忘了換成正式編號(hào)測試環(huán)境跑著跑著代碼被覆蓋了測試結(jié)論直接作廢。規(guī)定里要明確寫一句快照版本只允許存在于開發(fā)聯(lián)調(diào)環(huán)境任何進(jìn)入測試環(huán)節(jié)的制品都必須有不可變的版本號(hào)。3. 提測、灰度、上線版本流轉(zhuǎn)的門檻3.1 什么樣的版本才允許提測版本管理規(guī)定里提測門檻是最容易寫虛的一條。我后來總結(jié)成幾個(gè)可檢查的硬條件版本號(hào)已確定且制品已歸檔到制品庫冒煙用例全部通過并留有記錄本次變更清單已經(jīng)填寫完整包含涉及的服務(wù)、配置、數(shù)據(jù)庫腳本發(fā)布說明的初稿已提交。這幾條只要有一條不滿足測試就不接。為什么要卡這么死因?yàn)榘姹净靵y的源頭大多在提測這一步。測試拿到的包和開發(fā)本地跑的不是同一個(gè)這種事一旦發(fā)生測試出一個(gè)問題開發(fā)說我這邊沒問題來回扯皮的時(shí)間比修問題還長。版本號(hào)加制品哈希值是唯一能終結(jié)這種扯皮的東西。提測單上除了版本號(hào)還要寫上制品的校驗(yàn)值測試下載后核對(duì)一下不一致就直接打回不需要討論。另外提測的版本號(hào)和最終發(fā)上線的版本號(hào)最好保持一致。中間如果需要修改就只能往上遞增新版本號(hào)重新提測不能就地修改。有些團(tuán)隊(duì)會(huì)想省事降級(jí)處理成這次改動(dòng)很小就不用重新走流程了但改動(dòng)小不小不由改動(dòng)者說了算得由影響面評(píng)估說了算。規(guī)定里可以留一個(gè)快速通道僅修改文案、配置且不涉及邏輯的允許走簡化評(píng)估但仍然要換版本號(hào)重新歸檔制品。3.2 灰度階段的版本怎么標(biāo)識(shí)灰度本質(zhì)上是同一版本在小范圍先跑所以灰度和全量應(yīng)該是同一個(gè)版本號(hào)而不是兩個(gè)。這一點(diǎn)常被搞混有人把灰度包和全量包當(dāng)成兩個(gè)版本結(jié)果臺(tái)賬里多出一條記錄對(duì)賬的時(shí)候找不到對(duì)應(yīng)關(guān)系。正確的做法是版本號(hào)保持一致用發(fā)布批次或者流量比例來區(qū)分階段臺(tái)賬里記錄的是2.5.0 在灰度批次 A、B 各發(fā)布一次?;叶绕陂g如果發(fā)現(xiàn)問題需要修復(fù)那就不能就地改灰度包而是從發(fā)布分支拉修復(fù)、漲修訂位、重新走提測和歸檔形成 2.5.1然后決定是繼續(xù)灰度還是全量。這個(gè)過程雖然麻煩但它保證了線上跑的每一份代碼都能在制品庫里找到對(duì)應(yīng)的不可變產(chǎn)物。我見過就地改包的做法改完之后線上版本號(hào)沒變出問題時(shí)按版本號(hào)去查制品查到的還是修改前的那份排查方向直接跑偏?;叶冗€會(huì)帶來一個(gè)隱蔽問題不同實(shí)例上跑的版本號(hào)不一致。發(fā)布過程中一部分機(jī)器先更新另一部分還沒更新這個(gè)時(shí)候如果去查線上版本答案是不唯一的。所以版本查詢接口要能返回實(shí)例粒度的版本分布而不是一個(gè)全局值。這個(gè)能力在排查灰度期問題時(shí)幾乎是剛需。3.3 回滾不是版本號(hào)減一回滾這件事我在規(guī)定里單獨(dú)寫了一節(jié)因?yàn)榻^大多數(shù)翻車都發(fā)生在這里?;貪L到上一個(gè)版本絕不等于把版本號(hào)從 2.5.0 退成 2.4.3 那么簡單它至少要考慮三件事數(shù)據(jù)結(jié)構(gòu)的兼容性、配置的回退、以及回滾動(dòng)作本身要不要記錄為一個(gè)版本。數(shù)據(jù)結(jié)構(gòu)這塊最要命。如果 2.5.0 上線時(shí)加了字段、改了表結(jié)構(gòu)回滾到 2.4.3 之后老代碼可能讀不懂新數(shù)據(jù)或者寫入了新代碼無法識(shí)別的內(nèi)容。所以規(guī)定里要有一條涉及數(shù)據(jù)庫結(jié)構(gòu)變更的版本必須同時(shí)提交回滾腳本和兼容性說明明確標(biāo)注該版本是否可回滾。不可回滾的版本要在發(fā)布評(píng)審時(shí)被單獨(dú)標(biāo)記出來上線決策也會(huì)因此不同。配置回退同樣容易被漏掉。代碼回退了配置中心里的參數(shù)還停留在新版本的狀態(tài)導(dǎo)致行為不一致。所以回滾清單里要包含配置項(xiàng)的回退動(dòng)作最好由配置中心支持按版本回退而不是人工改。至于回滾這個(gè)動(dòng)作本身我的做法是把回滾也當(dāng)作一次正式發(fā)布來記錄臺(tái)賬里新增一條記錄注明回滾至 2.4.3原因、操作人、時(shí)間而不是把原來那條 2.5.0 的記錄刪掉。歷史不能擦除只能追加這樣事后復(fù)盤才有據(jù)可查。4. 制品管理讓版本號(hào)真正對(duì)得上東西4.1 不可變制品是整條規(guī)定的地基如果說版本管理規(guī)定只有一條是必須執(zhí)行的我會(huì)選制品不可變。具體含義是一個(gè)版本號(hào)一旦歸檔對(duì)應(yīng)的制品就再也不能被覆蓋或刪除需要改動(dòng)就換新版本號(hào)重新構(gòu)建。這條規(guī)則看起來嚴(yán)苛但它是所有溯源能力的前提。如果制品可以被覆蓋那么版本號(hào)就失去了標(biāo)識(shí)意義等于一個(gè)隨時(shí)會(huì)變的別名。為了支撐這條規(guī)則制品庫里要禁止覆蓋推送重復(fù)推送同一個(gè)版本號(hào)時(shí)直接報(bào)錯(cuò)而不是靜默覆蓋。這個(gè)特性在多數(shù)制品倉庫里都能配置值得花時(shí)間打開。我見過因?yàn)闆]開這個(gè)開關(guān)流水線重跑一次就把已歸檔的包覆蓋了兩個(gè)月后排查線上問題時(shí)本地復(fù)現(xiàn)不出來因?yàn)橹破芬呀?jīng)變了。構(gòu)建信息要寫進(jìn)制品。至少在制品里包含一個(gè)描述文件記錄源碼提交哈希、構(gòu)建時(shí)間、構(gòu)建人、流水線編號(hào)、依賴清單的哈希值。這樣從版本號(hào)出發(fā)可以一路查到具體代碼而不是只能查到大概是那幾天的主干。這一步做起來不復(fù)雜但帶來的排查效率提升是數(shù)量級(jí)的出問題時(shí)先拿版本號(hào)查出提交哈希再用哈希去看變更兩分鐘就能圈定范圍。4.2 依賴鎖定不能靠自覺內(nèi)部服務(wù)之間的依賴如果用范圍版本比如[2.0,3.0)那構(gòu)建結(jié)果就不可復(fù)現(xiàn)。今天構(gòu)建和明天構(gòu)建可能拉到不同的依賴同一個(gè)版本號(hào)產(chǎn)出的東西不一樣這直接違背制品不可變的原則。所以規(guī)定里要寫明內(nèi)部依賴一律使用固定版本禁止在正式發(fā)布的制品中使用范圍版本或最新版本標(biāo)識(shí)。外部三方依賴同理鎖定文件必須提交到代碼庫不能放在忽略列表里。這個(gè)問題我在兩個(gè)項(xiàng)目里都遇到過表現(xiàn)是一樣的本地能跑CI 上跑不起來因?yàn)?CI 重新解析依賴時(shí)拉到了新版本。鎖定文件提交之后構(gòu)建結(jié)果才真正穩(wěn)定下來。還有一個(gè)細(xì)節(jié)依賴升級(jí)本身也要走版本號(hào)。比如某個(gè)公共庫從 1.2 升到 1.3使用方要做的是在自己的版本號(hào)上體現(xiàn)這次依賴變更而不是悄無聲息地跟著升。依賴變更屬于變更內(nèi)容必須寫進(jìn)發(fā)布說明否則出問題時(shí)沒人會(huì)想到是依賴引起的。4.3 制品保留策略要有明確規(guī)則制品庫不可能無限增長所以要規(guī)定保留策略。我的做法是按版本類型區(qū)分正式發(fā)布版本永久保留至少保留到該大版本線終止維護(hù)候選版本保留最近若干個(gè)超過數(shù)量的可以清理快照版本保留最近若干天。規(guī)則要寫進(jìn)制度而不是讓運(yùn)維憑感覺刪。清理動(dòng)作本身也要謹(jǐn)慎。清理前必須確認(rèn)該版本沒有被任何環(huán)境的臺(tái)賬引用尤其是那些還在灰度或者還有客戶在用的老版本。我經(jīng)歷過一次清理把某個(gè)老版本的制品刪了結(jié)果出了一次需要在這個(gè)老版本上打補(bǔ)丁的情況只能重新構(gòu)建而重新構(gòu)建出來的東西和當(dāng)年發(fā)布的并不完全一致依賴已經(jīng)更新最后只能如實(shí)向客戶說明差異。這個(gè)麻煩完全可以避免。5. 發(fā)布說明與版本臺(tái)賬出事后三分鐘定位5.1 發(fā)布說明寫什么、不寫什么發(fā)布說明不是營銷文案不需要把每個(gè)改動(dòng)都包裝得漂亮。它要回答的是運(yùn)維和排查人員關(guān)心的問題這次改了什么、影響哪些模塊、有沒有配置變更、有沒有數(shù)據(jù)庫變更、回滾怎么做。我建議用固定結(jié)構(gòu)寫不出來的地方填無而不是省略因?yàn)槭÷詴?huì)讓人無法判斷是沒有還是忘了寫。欄目內(nèi)容要求常見缺失變更清單按需求單號(hào)列出標(biāo)明類型只寫優(yōu)化若干問題影響范圍涉及的服務(wù)、接口、頁面漏寫下游依賴配置變更新增、修改、刪除的鍵及默認(rèn)值完全沒提數(shù)據(jù)變更腳本、是否可回滾只給腳本不說兼容性回滾方案步驟、預(yù)估耗時(shí)、決策人寫直接回滾優(yōu)化若干問題這種寫法我見一次打回一次。它的問題不在于不詳細(xì)而在于無法和代碼變更對(duì)應(yīng)出了問題想反查是哪次改動(dòng)引起的根本無從下手。變更清單里的每一項(xiàng)都要能對(duì)應(yīng)到具體的提交或者合并請(qǐng)求這是發(fā)布說明和版本臺(tái)賬能打通的關(guān)鍵。5.2 臺(tái)賬要記錄的是事實(shí)不是計(jì)劃版本臺(tái)賬和發(fā)布計(jì)劃是兩回事。計(jì)劃寫的是打算發(fā)什么臺(tái)賬寫的是實(shí)際發(fā)了什么。臺(tái)賬里每一條記錄至少包含版本號(hào)、制品哈希、發(fā)布環(huán)境、發(fā)布時(shí)間、操作人、對(duì)應(yīng)的發(fā)布說明編號(hào)、灰度批次或者流量比例、當(dāng)前狀態(tài)。狀態(tài)包括已發(fā)布、已回滾、已下線狀態(tài)是追加變更的不能直接改歷史記錄。為什么強(qiáng)調(diào)記錄事實(shí)因?yàn)槭潞髲?fù)盤時(shí)人們回憶的內(nèi)容往往和實(shí)際情況有偏差。我記得那次只發(fā)了后端結(jié)果臺(tái)賬一查前端也發(fā)了。有了臺(tái)賬爭論就變成了查表。我在項(xiàng)目里推行臺(tái)賬之后最直觀的變化是事故復(fù)盤會(huì)的時(shí)間縮短了一半因?yàn)椴辉傩枰〞r(shí)間確認(rèn)當(dāng)時(shí)發(fā)了什么直接看記錄。臺(tái)賬最好和發(fā)布系統(tǒng)聯(lián)動(dòng)能自動(dòng)寫入的就別讓人手填。手填的數(shù)據(jù)必然會(huì)漏、會(huì)錯(cuò)而且填的人覺得這是額外負(fù)擔(dān)。自動(dòng)采集加上人工補(bǔ)充關(guān)鍵字段比如回滾原因、影響范圍是可持續(xù)的做法。5.3 版本一致性要能自動(dòng)校驗(yàn)前面所有的規(guī)則最終都要落到三個(gè)地方對(duì)得上線上實(shí)際運(yùn)行的版本、制品庫里的制品、臺(tái)賬里的記錄。這三個(gè)地方任意兩個(gè)對(duì)不上就意味著有一環(huán)失控了。所以規(guī)定里要包含定期校驗(yàn)的要求最好做成自動(dòng)化任務(wù)。校驗(yàn)邏輯并不復(fù)雜從線上采集實(shí)例版本去制品庫查詢?cè)摪姹臼欠翊嬖谌ヅ_(tái)賬查詢是否有對(duì)應(yīng)記錄且狀態(tài)一致。不一致就告警。這條告警的價(jià)值在于它能在問題爆發(fā)之前發(fā)現(xiàn)流程漏洞。比如某次有人繞過流水線手工發(fā)包線上版本和臺(tái)賬就對(duì)不上校驗(yàn)任務(wù)當(dāng)晚就會(huì)報(bào)出來。我在一個(gè)項(xiàng)目里加上這個(gè)校驗(yàn)之后第一次運(yùn)行就發(fā)現(xiàn)了三個(gè)歷史遺留的不一致其中一個(gè)已經(jīng)存在了半年多誰也不知道那份代碼是怎么上去的。校驗(yàn)結(jié)果的處置也要有規(guī)定發(fā)現(xiàn)不一致必須在規(guī)定時(shí)間內(nèi)處理處理方式只有兩種要么補(bǔ)齊記錄要么把線上版本糾正到與記錄一致。不允許先放一放因?yàn)榉乓环潘蜁?huì)變成一個(gè)沒人敢碰的歷史遺留。6. 制度怎么推下去模板、流水線和例外登記6.1 從最小可行的模板開始制度推不動(dòng)十有八九是因?yàn)橐婚_始就寫得太全。我見過幾十頁的版本管理規(guī)定發(fā)下去沒人看因?yàn)槔锩嬉话氲膬?nèi)容和當(dāng)前團(tuán)隊(duì)的實(shí)際流程無關(guān)。更可行的做法是先做最小版本規(guī)定版本號(hào)格式、規(guī)定 Tag 不可變、規(guī)定制品不可覆蓋、規(guī)定發(fā)布必須有發(fā)布說明。就這四條覆蓋了最常見的混亂來源而且執(zhí)行成本低。模板比文字規(guī)定更能約束行為。把版本號(hào)格式做成提單模板的必填字段并帶格式校驗(yàn)把發(fā)布說明做成固定表單把回滾方案做成必填項(xiàng)這些東西比寫十頁應(yīng)當(dāng)如何如何有用得多。人在填表的時(shí)候被動(dòng)遵守規(guī)則比讀完文檔再主動(dòng)遵守的成功率高得多。起步階段允許有例外但要登記。規(guī)定里寫清楚例外的申請(qǐng)方式、審批人、以及事后要在多少天內(nèi)補(bǔ)齊。例外不是違規(guī)而是有意識(shí)的偏離登記了就能追蹤不登記就成了失控。6.2 把規(guī)則嵌進(jìn)流水線而不是寫在文檔里這是我踩過最大的一個(gè)認(rèn)知坑。早期我以為只要文檔寫得清楚大家就會(huì)照做。實(shí)際情況是人在趕進(jìn)度的時(shí)候文檔永遠(yuǎn)排在最后。后來我把能自動(dòng)化的規(guī)則全部嵌進(jìn)流水線分支名不符合規(guī)范流水線直接失敗版本號(hào)格式不對(duì)構(gòu)建階段就攔下來嘗試往制品庫推送已存在的版本直接報(bào)錯(cuò)單獨(dú)構(gòu)建正式版本而不關(guān)聯(lián)發(fā)布說明編號(hào)不允許歸檔。規(guī)則一旦變成流水線的失敗條件它就有了強(qiáng)制力。文檔負(fù)責(zé)解釋為什么流水線負(fù)責(zé)保證必須做兩者分工明確。這樣做還有一個(gè)好處新同學(xué)不需要通讀文檔就能上手因?yàn)樗峤坏拿恳徊蕉紩?huì)被系統(tǒng)校驗(yàn)出錯(cuò)時(shí)的提示就是最好的培訓(xùn)材料。當(dāng)然攔截規(guī)則要一次加一條加完觀察一段時(shí)間。一次性加太多正常發(fā)布全被攔住大家就會(huì)想辦法繞過反而破壞了制度的權(quán)威性。我一般是在某類問題連續(xù)出現(xiàn)兩次以上之后再把它變成自動(dòng)攔截這樣每次攔截都有現(xiàn)實(shí)依據(jù)團(tuán)隊(duì)也更容易接受。6.3 例外和復(fù)盤要形成閉環(huán)再完善的制度也會(huì)遇到例外比如緊急故障需要立刻修復(fù)。規(guī)定里要留一條快速通道但這個(gè)通道的代價(jià)是必須在限定時(shí)間內(nèi)補(bǔ)齊全部記錄包括發(fā)布說明、臺(tái)賬和回滾方案。緊急不是豁免記錄的理由緊急只是允許你先做后補(bǔ)。每隔一段時(shí)間要復(fù)盤一次版本相關(guān)的問題看看是規(guī)則缺失還是執(zhí)行不到位。如果是規(guī)則缺失就補(bǔ)規(guī)則如果是執(zhí)行不到位就看看能不能自動(dòng)化攔截。這個(gè)循環(huán)跑起來之后制度才會(huì)慢慢貼合團(tuán)隊(duì)的實(shí)際而不是一份寫完就沒人碰的文件。我個(gè)人的體會(huì)是版本管理規(guī)定最忌諱一次成型、長期不變它應(yīng)該像代碼一樣被維護(hù)和迭代每次出事都是它進(jìn)化的機(jī)會(huì)。最后分享一個(gè)我一直在用的小技巧把當(dāng)前各環(huán)境的版本號(hào)做成一頁隨時(shí)可查的面板放在團(tuán)隊(duì)最常打開的地方。這一頁不需要復(fù)雜的權(quán)限所有環(huán)境、所有實(shí)例的版本一目了然。很多關(guān)于版本的爭論本質(zhì)上是因?yàn)樾畔⒉煌该饕坏┐蠹铱吹亩际峭环輸?shù)據(jù)討論就會(huì)從你說是多少變成數(shù)據(jù)上是多少溝通成本一下子就降下來了。這件事我做了之后最明顯的變化是再也沒人問我線上現(xiàn)在是什么版本了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
无码A片一区二区免费| 五月激情啪啪啪| 天天综合插插| 丁香影院五月综合| 久草热8精品视频在线观看| 综合色色婷婷| 婷婷va| 成人九九视频| 综合九九久久| 婷婷综合网站| 天天操天天操| 亚洲无码AV片| 六月丁香激情网| 丁香五月网络网络| 亚洲综合视频八| 九九99久久| 日韩黄色网络| 欧美槡BBBB槡BBB少妇| 精品国产va久久久久久久| 黄色激情五月天| 丁香五月天在线| 日本女色人人| 97色欧美| 色色aⅤ網| 五月天堂六月丁香亚州中文字幕久久| 亚洲天堂99| 欧美大奶熟女噜噜噜噜| 亚洲国产另类av| 九九热啪啪| 五月婷婷丁香深深爱| 丁香五月婷婷啪啪视频| 色色色五月婷婷| 五月丁香 久久久| 国产91在线视频| 97五月久久丁香婷婷| 亚洲成人中文字幕| 五月天激情社区| 婷婷99狠| a在线观看| 久久久99精品| 99久久免费性爱视频`| 无码少妇高潮喷水A片免费| 人人草人| 久香草视频在线观看| 碰超在线九色| 午夜天堂一区人妻| 97碰免费视频在线| 伊人五月天在线| 天天干天天叉| 婷婷丁香五月欧美人| 色婷婷六月综合| 五月激情婷婷开心五月| 五月婷网| 五月天精品综合| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 激情综合五月婷婷| 日韩精品一品二区三区的使用体验| 色情久久久| 俺去也在线www色官网| 五月激激网w'w'w| 99在线精品免费视频| 婷婷丁香成人五月天| 国产视频色色色色色色色| 777精品久无码人妻蜜桃| 综合色色网| 思思热99er在线视频| 中文在线视频久9| 五月丁香色综合| 亚洲激情免费视频观看| 丁香五月激情六月综合| 欧美成人精品三区综合A片| 99热6色| 思思视频这里是精品| 亚洲成人中文字幕| Av在线不卡一区| 久久久五月天| www.五月.com| 久操热线| 婷婷色丁香五月| 色五月激情婷婷| 99热日韩这里只有精品| WWW.HENHENL.| 大香蕉Av在线| 99精品色色| 色丁香五月婷婷综合久久| 91丨九色丨东北熟女| 69色婷婷| 99亚洲精品| 亚洲AAAA网| 婷婷五月天播| www久久五月com| 91九色熟女| 色婷婷综合电影| 婷婷的五月天另类视频| 成人αV视频免费观看| 伊人五月天在线| 婷婷久久精品| 噜综合| 激情五月小说婷婷| 日本久久性| 激情涩播| 激情综合视频| txt五月激情四射网综合俺也来了| 欧美私人家庭影院| 蜜乳av一级av| 日日夜夜九九| 久草视频大香蕉99| 久久加勒比| 亚洲成人无码免费| 日韩精品一区二区亚洲AV观看| 国产欧美大香蕉一区| 玖玖色综合色| 日噜噜色| 久热久操久热久草国产91| 日日操夜夜操中国无码| 五月婷婷激情| 996热| 五月在线| 九九久久五月天| 91操在线视频| 99热免费精品| 伊人综合网站| 丁香婷婷久久五月天| 色婷婷8| 婷婷5月久久综合网站| 成人做爰A片免费看网站找不到了| 婷婷五月在线视频| 综合色影院| 婷婷久久色| 婷婷综合另类| 丁香五月日韩| 五月婷A V在线| 色婷婷综合亚洲| 伊人网碰碰| 亚洲第一第二网站| 丁香五月婷婷亚洲综合精品| 日本狠狠色| 激情综合五| 亚洲成av人影院| 麻豆AV一区二区三区| 中文字幕有多少字| 色色色色色五月| 亚州综合色| 91色涩| 日本91在线| 亚洲视99| SESE无码AV| 激情www| 好好日激情五月天| 开心五月激情网| 3pAV| 思思w99| 99re这里| 日本久久精品| 色色网91| 亚洲色精彩| 深爱丁香激情| 91人人爽狠狠狠| 伊人激情| 97碰碰在线观看视频| 二色AV| 天堂爱爱| 婷婷五月婷婷| 国产精品美女久久久久AV超清| av中文字幕免费观看| 婷婷五月丁香激情图片| 好好干Av| 色偷偷色婷婷| 天天色粽合合合合合合合| 天天操天天干天天射| 婷婷终合色图| 婷婷丁香六月影视| 99热最新精品| 五月美女婷婷风骚| 九九色图| 99热6精品| 中文字幕不卡+婷婷五月| 五月婷婷亚洲综合网| 伊人久久五月天| 九九热av| 丁香五月婷婷www..com| 婷婷色导航| 婷婷基地成人五月天| 国产特级毛片AAAAAAA高清| 99热99这里只有精品| 91性人人| 性欧美大战久久久久久久83| 91久久综合亚洲鲁鲁五月天| 婷婷五月激情片| 九九99热精品| 天天插天天插天天插天天插| 婷婷五月天香蕉| 九九十99视频| 大香伊人久色| 色婷婷电影网| 99视频久久| 久er免费视频| 日韩精品一区二区亚洲AV观看| 26uuu最新地址| 久香草视频在线观看| 99在线视频女女视频| 五月丁香六月激情欧美综合| 婷婷五月六月| 国产精品久久久久久五月天加勒比 | 激情丁香五月婷婷| 狠狠久久婷五月| 婷婷日| 欧美日韩中国| 婷婷影院A成人| 超碰成人在线观看| 蜘蛛女侠2003满天星免费观看| 五月婷色| 91ncm视频| 嫩BBB搡BBBB榛BBBB| 久婷五月| www,26uuu,c0m,色情| 六月丁香婷婷综合色播| 91seav| 99五丁香月| 亚洲无码99| AV性爱网| 亚洲精品激情| 婷婷色爱| 五月天久久综合婷婷丁香| 亚洲sesesese| 99亚洲精品视频在线观看| www狠狠爱com| 大香蕉太香蕉视频97| 色播播五月天| 婷婷色影院| 亚洲综合另类| 婷婷激情视频| 超碰99热精品| 婷婷九月在线| 久久五月天网| 伊人婷婷综合| 色婷婷操逼| 亚洲热久久| 99 这里只有精品| 久久久久妻| 99热线观看9| 日韩aⅴ视频| 无码一区精品一区视频| 欧美怡红院黄站| 色99视频| 激情五月婷| 激情五月小说婷婷| 亚洲综合另类| 国产偷人爽久久久久久老妇APP| 99热精品中文字幕| 五月天偷拍| 五月婷婷在线免费观看| 色偷偷五月天| 色婷婷中文| 亚洲成人AV高清字幕| 国产精品涩涩涩视频网站| 人人播| 婷婷综合网| 丁香五月成人社区| 人妻熟人中文字幕一区二区| 婷婷情色五月| 99九九视频精彩在线| 91精品无码久久久久久五月天| 五月丁香日逼| 色琪琪一综合久久激情五月视频| 天天肏屄夜夜爽| 激情六月五月婷婷综合网| 激情综合青草| 情婷婷五月天| 婷色五月天| 欧美色图天堂网| 日日综合网| 丁香六月婷| 五月婷婷综合在线| AV网址大全在| 婷婷色婷婷亚洲成人| 色热久资源| 色婷婷在线综合色播网| 激情五月天电影| 丁香狠狠色婷婷| 亚洲中文字幕网| 夜夜骑日日操| 婷婷五月天电影区小说区| 五月丁香中文字幕| 丁香五月六月综合激情| 色色亚洲99com| 亚洲av网址| 一起草Av| 岛国av电影网站| 亚洲国产精品VA在线看黑人| 婷婷99狠狠| 深夜婷婷 丁香| 人妻激情视频| 丁香五月在线视频黑人| 91色逼| 色婷婷丁香五月| 99re视频在线精品| 五月丁香六月婷婷综合免| 777影视理论片大全在线观看 | 无码少妇高潮喷水A片免费| 99在线看片| 亚洲国产网址| 伊人在线视频| 青青草青青草五月天| 色色色九九九五月婷婷| 开心六月婷| 色欲资源网| 久久停停超碰| 久久人五月| 天天拍夜夜撸| 国产精品久久..4399| 亚洲精品无码一区二区| 97碰啪啪| 天天透天天爱| 久久丁香综合香蕉| 激情婷婷丁香五月| 99热网站| 婷婷激情九月| 九九热精品在线| 99国产精品白浆在线观看免费| 99热这里只有精品3| 美女五月激情| 综合99久久天天综合| 天堂成人A片永久免费网站| 天堂草在线看www| 四月婷婷丁香| 激情婷婷五月天| 9999热在线观看| 新激情五月开心五月婷婷五月丁香五月| 久久综合影院| 久久九精品| 亚洲人妻五月丁香婷婷| 教师性爱毛片| 日逼免费视频 | 亚洲AV免费国产电影| 狠狠干在线视频| 精品婷婷| 91婷婷丁香| 五月丁香六月婷婷色日| 丁香六月激情毛片| 天天干夜晚夜操| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 人妻性爱av网站| 五月婷综合网| 五月丁香久久激情综合| www五月天激情com| 伊人激情网| 伊人六月丁香婷婷| 婷婷影院A成人| 色五月 激情婷婷 综合五月天| 色五月婷婷丁香五月| 91九色小视频| 中文字幕在线免费观看视频| 色综合婷婷| 久操福利| 91狠狠综合久久久久久| 综合久| 无码四色色色| 91无码一区人妻A片蜜| 亚洲婷婷久久综合| 天天爽天天干| 五月天综合在线观看| 精品国产va久久久久久久| 久久五月视频| 一区二区三区XXXXXX| 五月丁香久久呀| 日本操B视频| 五月天激情社区| 日韩熟女啪啪视频| 丁香五月天狠狠| 精品99在线观看| 激情综合国产| 天天激情综合| 五月天婷婷黄色| 亚洲精品久久久久久久久久飞鱼| 天天干天天操| 99riAV国产精品视频| 综合AV在线| 午夜免费试看| 激情都市另类| www.激情| 深情六月婷婷综合久久| 91人人网| 九九色综合| 丁香五月婷婷超碰在线| 日本久久天堂| 人人爱干人人爱草| av操一操| 99热国产婷婷| 国产精品久久久久久久久久久久 | 色噜噜狠狠色综合日日| 人色五月天婷婷| 六月婷婷天堂| 久久机热/这里只有精品| 激情五月丁香色婷婷| 日本色99网站| 色五月激情五月天| av五月天婷婷丁香| 久久精品爱爱| 91色碰| 婷婷伊人綜合中文字幕小说| 色五月色综合| 国产亚洲色婷婷久久99精品91| 天天草人人摸| 九九久久精品國產| 1024在线视频| 偷拍91九色| 色99色| 久久精品9| 成人在线网址| 五月丁香少妇A| 日本人妻伦在线中文字幕| 丁香六月婷婷激情| 日日干综合| 大香伊人婷婷| 国产午夜精品AV一区二区麻豆| 狠狠五月天| 开心深爱五月天| 久久九九一區| 欧美A级成人婬片免费看理论| 97五月久久丁香婷婷| 九九在线免费观看| 五月久久五月激情| 99热精品观看| 91人人妻人人操| 九九热精品在线| 超碰国产在线观看| www,99热| 五月亭亭直播| 67194中文字幕| 99久久久99久久91熟女| 国产成人AV| 99热亚州综合| 丁香六月啪啪| 五月婷婷啪啪啪啪| EEUSS鲁片一区二区三区| 久艹大香蕉| 99在线精品视频免费观看20| 激情综合网亚洲色图| av大香蕉| 狠狠干婷婷| www.sebowuyue| 蜜臀综合久草| 五月丁香婷婷综合网色欲| 丁香五月婷婷啪啪| 99精品久久| 97操操操| 丁香五月婷婷手机| 97操碰在线视频| 99久视频| 婷婷五月情| 国内婷婷丁香社区在线播放| 五月婷亚洲精品| 91婷婷丁香| 国产午夜精品一区二区三区四区| 日亚二欧美| 五月丁香激情怕怕| 丁香五月婷综合| 久久婷鲁| 九九色大香蕉| 精品国产人人爱人人| 亚洲热久久| 九九热视频精品| 97操在线| 天天玩天天摸| 久久玖玖综合| 大香伊人久色| 婷婷五月天最新综合你懂的| 丁香五月婷婷激情蜜桃| 在线只有精品| 久久精品五月天| 色天天久婷婷| 97色婷婷成人综合在线观看| 91在线人| 伊人六月丁香婷婷| 婷婷伊人五月天| 97操碰免费视频| 国产色丁香| 天天色视频| 欧美叉叉叉BBB网站| 亚欧州精品视频| 五月婷婷乱| 成人丁香五月天| 99re免费视频| 亚洲精品字幕在线观看| 婷婷综合玖玖五月| 五月婷婷开心综合| 色香蕉影院| 操草草草| 国产三级在线播放| 91色九| 怕怕視頻| 亚洲视频伍月婷婷| 超碰精品在线| 亚洲激情四射色| 成片免费观看大全| 色婷婷综合网站| AV 3P| 久机视频这只有精品| 91九色在线视频| 超碰在线人妻| 天天五月天综合网址| 青柠影视免费高清电视剧| 欧美内射AA| 色播五月综合网| 婷婷六久久| 九九草热在线观看| 久久精品99国产精品日本| 五月婷婷性爱| 婷婷精品在线| 日韩99视频| 99热6这里只有精品| 国内一级片| caopeng超碰| 中文字幕天天干| 五月丁香六月婷婷久久| 欧美亚洲婷婷五月| 国产激情综合| 婷婷五月成人有| 人人摸人人搞| 五月天婷综合网站| 99热99干| 婷婷五月花| 色五月婷婷综合在线| 人人人人人人人人人草| 久99热| 啪啪五月婷婷| 俺五月| 久久婷.com| 天天日日| 亚洲开心激情网| 99热大香蕉| 人人操人| 久久99成人性爱高清视频| 色婷婷操逼| 久久久久久久久人妻| 婷婷综合五月天| 天天综合网91| 99丁香五月婷| 激情五月份婷婷| 天天爽夜夜爽| 国产无遮挡又黄又爽免费网站| 天天摸天天肏| 成人在线综合| 亚洲av无码精品色午夜| 国产综合网在线| 亚洲三级无码| 九九热这里只有精品一| 亚洲性爱AV在线| 伊人大香五月天| 丁香玖玖| 人人摸人人干| 中文字幕 码精品视频网站| 国产色色视频| 玖玖资源网站最新站| 九九九九热99超碰| 超碰在线综合| 毛片网站谁有| 久99婷婷色综合| www.99视频| www.maotanji.com| 天天综合精品| 青青草原99热| 激情五月天综合网| 大香蕉啪啪网| 五月激情婷婷开心| 色情久久久| 婷婷五月天综合在线| WWW五月天| 亚洲天堂玖玖| 成人精品在线| 99热大片| 99热线观看9| av人人干| 久久这里有精品视频在线免费观看| 伊人六月无码视频| 久热这里只有精品在线观看| 亚洲色五月| .青娱乐天天操B| 26uuu亚洲精品国产| 欧美色色干| 五月天色综合| 五月婷婷无码| 久久九九怡红院| 伊人九热| 丁香婷婷性爱| 开心五月激情五月丁香五月婷婷| 开心五月婷婷婷美女| 丁香五月婷婷基地| 婷婷五月天视频亚洲| 99热精品在线| 婷婷五月成人社区| 婷婷香五月天| 婷婷五月天激情在线| 亚洲在线操| 丁香,开心成人,久久| 婷婷婷久久久| 色噜噜在线| 久久停停超碰| 婷婷丁香六月天激情四射网| 天天插天天射| 色五月激情综合| 97caop| 伊人五月天在线| 99热国内精品| 中文字幕丰满乱孑伦无码专区| www九九| 激情五月天www| 综合激情五月天| 极品五月天| 开心五月婷婷| 精品99在线| 婷婷丁香一月| 色色色五月天激情资源| 久久草大香蕉| 天天爱天天爽| 天天干肏夜夜| 五月婷婷激情综合| 国产黄色一级片| 疯狂做受XXXX高潮A片动画| 日韩成人av在线| 操B视频在线播放| 欧美大香蕉视频| 亚洲经典小视频| 婷婷香香五月| 欧美久久网| AV中文网| 思思热精品在线视频| 色综合综合色| 第四色网婷婷| 亚洲亚洲人成综合网络| 99热免| EEUSS鲁片一区二区三区| 激情丁香网| 五月丁香啪啪啪| 秋霞AV淫| 亚洲激情Av| 久久99热网| 99久久极情精品一区| 丁香五月婷婷综合精品素人| 99热这里只有在线| 色亭亭五月天网扯| 无码一区二区日韩| 色色丁香五月天| av操一操| 操碰99在线视频观看| 综合久久99| 天堂综合久久 | 亚洲综合在线网站| 香港九九六区八区99| 婷婷五月黄色激情在线| www.99.色| 亚洲亚洲人成综合网络| 狠狠插狠狠插| 色五月婷婷开心| 亚洲色色图片| 色色综合成人网| 91干| 日本久热| 久久新地址| 激情亭亭五月| 亚洲成Av人片乱码色第1集| 色综合99无码| 26uuu日韩| 天天操屄网| 五月婷婷我| 五月天婷婷五月| 好吊丝aV| 久操热| 爱射综合| 青青.com| 亚洲色婷婷色| 五月婷婷伦理| www.五月天性.com| 日本色婷婷综合| 五月熟妇婷婷久久| 婷婷深爱五月天在线| 99色区| 婷婷五月天AV激情| 五月天激情综合在线| 久久99热只有精品| 激情都市另类| 亚洲一二三网| se婷97| 婷婷综合日本| www.97干视频| 久久多色| 欧美噜噜免费观看| 性爱在线播放av| 婷婷在线操| 99在线看片| 99热99re6国产在线播放| 一级二级香港秋霞欧美欧美秋霞| 婷婷久久亚洲| 5五月综合网亚洲| 国产婷婷综合| 婷婷伊人网| 丁香五月天色婷婷| 日韩无码色色| 成人免费120分钟啪啪| AA片在线观看视频在线播放| 东北熟女高潮99综合99| 精品综合爱| 亚洲在线成人| 91精品丝袜久久久久久| 色色色色色级无码| www.日本91| site:pnnrt.com| 色五月婷婷亚洲| 久艹大香蕉| 五月天婷婷免费| 综合激情伊人影视在线| 婷婷和五月天| 五月婷婷婷婷婷| 五月丁香婷婷五月| 精品人妻一区二区三区四区不卡在| 婷婷99狠狠躁天天躁| 久久99大| 丁香久久五月婷综合| 人妻自慰在线| A网在线欧洲| 操逼三区| 亚洲色五月| 久久婷婷大香蕉| 天天操B| 色婷婷婷综合五月天| 超碰1999| 五月天伊人网| 9|在线观看视频| 九九色综合网| 婷婷日日天天| 99热亚洲精品| 亚洲欧洲中文日韩久久AV乱码| 婷婷新网址| 日本精品在线噜噜噜| 成人噜噜网| 日日射天天射| 九九99精品视频在线观看| 99在线精品免费视频| 久久性爱99国产| 日91高清无玛| 五月的婷婷六月丁香| 99亚洲精品视频| 五月综合色| 丁香五月婷婷高清| 久久丁香五月婷婷激情综合网| 久久久久久五月天| 五月天社区| bukadeavzaixian| sS丁香五月婷婷| 99热a片免| 无码少妇高潮喷水A片免费| 午夜福利8055| 五月丁香婷中文字幕 | 俺去也在线www色官网| 成人AV在线网站| 六六久久黄色| VA日本视频| 五月综合无码| 99色爱| 538任你爽| 99久久玖玖| 五月丁香综合啪啪| 伊人激情网| 亚洲AV无码电影| 如何安全看伊人婷婷| 日本在线99| 婷婷丁香综合| 国产精品涩涩涩视频网站| 丁香深五月婷婷| 丁香五月六月久久综合 | 人人草成人视频| 五月天激情四射网站| 亚洲激情四射色| 丁香六月AV| 丁香五月成人| 香蕉五月婷婷| 三级成人网站| 伊人久久婷婷| 另类亚洲2| 天天爽天天爽| 91女人18毛片水多国产| 777精品成人a v久久| 色人久久| 嫩草视频观看| 婷婷开心激情五月激情网| 大陆极品少妇内射AAAAAA| 在线成人网站| 久久免费操| 久婷视频| 黄色AAAAA| 国产午夜成人免费看片无遮挡| 九玖视频这里只有精品| 国产午夜精品一区二区| 羞羞嫩草视频| 丁香五月婷婷精品视频| 日日日日日| 五月色在线| 六月色色| 激情婷婷在线中文字幕| 丁香五月天视频| 婷婷五月综合色小姐小说| 欧美日本综合网| 可以看的AV| 丁香五月91| 五月婷婷狠狠干| www.五月丁香| 色婷婷五月天成人网| 色五月美女| 人人视频色| 婷婷在线中文字幕| 婷婷中文无码| 五月丁香激情综合六月涩涩爱| 开心激情网五月天| 就爱干 在线| www.五月婷| 色色五月天丁香| 婷婷丁香五月天欧美| 天天干天天av天天射| 婷婷成人AV| 久久综合伊人77777蜜臀| 天天色视频| 狠狠干狠狠干狠狠干狠狠干| 久久久久久久久久久44| 五月激情小说网| 99re在线这里只有精品视频首页| 久久久五月天网站| 婷婷伊人綜合中文字幕小说| 久久久五月四色| 色五月琪琪| 九九九九操逼| 激情综合网五月丁香| 久久精品系列| 9久久狠狠的| 丁香五月婷婷色| 色综合色五月| 成人国产欧美大片一区| www.色五月| 六月丁香婷婷色综合| 91精品啪| 国产精产国品一二三在观看| 伊人五月天| 色高清无码视频| 婷婷成人AV| 不卡在线中文字幕无| 丁香 久久| 天天色天天爱天天爽| 日本色99| 在线亚洲综合网| 欧美精品18| 九九青草热| 婷婷成人综合五月| WWW,五月天| 久久婷婷的综合色丁香五月| 久久综合99综合| 秋霞性爱AV| 亚洲精品婷婷| 五月四色色| 免费国产VA国产免费| 99热999| www.丁香六月婷婷久久天堂影院.con| 五月天综合视频| 色五月天成人在线| 色婷婷免费观看| 超碰五月婷婷五月天| 色色欧美色色色| 五月婷综合| 欧美激情综合色综合啪啪五月| 激情综合网 激情五月天| 国产1区2区3区在线观| 国产肏屄大片| 色婷婷性爱| 久久ri精品| 色色色色欧美| 色综合色| 91操碰| 五月丁香久久| 91丨九色丨白浆| 欧美色色色色色色色| 高清无码中文字幕aVDV| 丁香色啪综合| 最新午夜理论片| 久久久久久xxxxx| 91se在线视频| 五月婷婷AV| 午夜爱爱网站| 综合久久影院| 五月天激情久久| 亚州操操| 91精品无码久久久久久五月天| 都市激情亚洲| 久久精品99久久久久久久久| 久久婷婷大香蕉| 婷婷不卡基地| 99婷婷色| 9 1在线视频| 九九热99精品| 激情图片99| 操久久精| 色色色99| 婷婷色激情网| 成人欧美一区二区三区在线观看| 丁香五月激情天AV无码| 五月情四婷婷| 伊人婷婷激情| 久久婷婷五月天亚洲欧美| 成人五月天视频播放| 啪啪六月婷婷| 色色亚洲| www999日韩精品| 一起草av| 涩五月婷婷| 婷婷色五月91啪啪| 欧美A片在线视频免费观看| 丁香五月天影院| 9久热在线精品| 夜夜爱伊人| 中文网AV| 五月天久久成人| 夜夜操,天天撸| 天天摸天天舔天天天天爽| 国产免费一区二区三区三州老师F1F1.CC| 99啪啪网| 中文激情网| 色色欧美。| 99爱爱网| 国产永久一二一起草| 色婷丨日丨天丨综合久久| 五月激情天天干| 五月天丁香综合久久国产| 亚洲激情另类| 4399无码视频| 色婷婷a| 丁香六月婷月91婷月| 这里只有免费的精品| 久久精热| 亚洲中文乱字字幕在线永久| 五月婷视频| 久久久久激情网| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 六月婷婷天天操夜夜爽视频| 人人干AV| www婷婷| 激情综合五月婷婷| WWW.五月com| 亚州色婷婷| 五月婷婷精品无在线| 玖玖婷婷色五月| 99re热视频这里只精品| 成人短视频免费| 亚洲人人96@| 99爱在线精品视频免费观看| 午夜丁香| 97五月婷婷| 另类图片五月天婷婷| 日日操天天操| 婷婷五月天av| 26.uuu丁香五月婷婷| 狠色狠色狠色狠色狠色网| 欧美精品啪啪| 99操不停| 激情综合五月激情17| 丁香五月六月| 大战熟女丰满人妻AV| 开心五月综合激情网| 婷婷成人综合五月| www.婷婷五月天| 丁香五月天婷婷激情| 五月综合久久| 亚洲午夜一区二区| 五月色丁香婷婷中文字幕| 久激情网| 五月天久草| 婷婷激情区| 久久久久婷婷| 丁香五月婷婷天堂大香蕉| 婷婷色五月情| 婷婷五月婷婷| 久久艹99| 亭亭五月激情亚洲在线| 国产激情综合五月久久| 99热在线看片| 色天天综合成人网| 久久精品99国产精品日本| 色私五月婷婷| 九九热精品| 五月天婷婷色色首页| 99热偷拍| 色色色色色色色色网站| 国产精产国品一二三在观看| 久久久久久久综合狠狠综合| 亚欧州精品视频| 天天肏天天肏天天肏| 思思热久在线观看视频| 亚洲av骚货| 亚洲网视屏| 国产无人区大片| 成人片在线免费看| 欧洲免费视频色| 一级黄色片看看| 99热这里只有在线| 97超碰免费超级在线观看| 婷婷丁香五月久久| 五月丁香亭亭操逼| 伊人久久婷| 丁香蜜臀黄色婷婷五月天| 久久精品五月| 五月婷婷官网色| 欧美日韩国产一二区| 五月天狠狠草| 国产高清视频91九九九久久久| 1024操逼| 丁香五月 六月婷婷首页| 丁香五月电影| 777精品成人a v久久| 欧美日韩成卜| 色情激情五月| 日韩av在线播放综合网| 五月天夜夜爱夜夜操| 天天干天天爽| 99爱免费在线视频| 日日噜噜夜夜狠狠久久丁香五月| 99热99色| 天天操婷婷| 五月天婷婷在线观看精品男人| 九热视频| 亚洲视频丁香网va| 丁香婷婷五月色综合| 日本激情五月天‘| 五月婷婷丁香网| 丁香五月婷婷AV| 日本三级网址| 综合色色网| 丁香五月天色综合| 99综合视频| 五月色导航| 任我干视频在线观看| 久久五月婷婷电影| 亚洲丁香花色| 日撸夜撸日操| 狠狠色噜噜狠| 熟女激情五月天| 婷香五月| 色五月大| 九九色影院| 思思久久99热只有频精品66| 色五月之第四色| 色欧美一级| 狠狠插狠狠插| 91婷婷在线| www.婷婷| 五月深爱婷婷| 狠狠色狠狠爱| 色婷婷成人| 四虎婷婷五月天| 五月丁香婷婷婷激情爱爱| 亚洲免费看片| 狠狠狠激情网| 182TV亚洲| 丁香五月婷婷影院| 天天做综合网色综合| 九九色大香蕉| 中文字幕黄色片| 97干在线免费| 久色网| 九九免费在线视频| 狠狠爱激情网| 久久大国产香蕉| 91ncm视频| 狠狠色无码| ztEJj| 五月婷婷激情| 热99视频| 五月色婷婷中文字幕| 中日韩美欧成人一区二区精品在线| 天天爽天天摸天天爱| 深爱激情中文五月天av| 婷婷丁香黄色| 26uuu成人网| 婷婷六月天精品| 91色综合| 91怕怕网| 成人视频网| 9久久婷婷国产综合精品性色| 99精品这里只有免费视频| WWW·色色色·COM| 色一色综合| 少妇性按摩无码中文A片| 久久99激情| 中文字幕激情综合| 国产操B| 99热一区| 噜噜噜久久| 丁香美女主播视频在线观看| 性色人人爽| 日韩高清久久| 丁香影院五月综合| 五月天久久久| 婷婷五月综合网| 这里只有精品免费视频| 第四色婷婷色五月| 超碰AV在线| 激情四射婷婷| 性爱七区| www.丁香黄色五月天人与| 天天爽天天操| 五月丁香无码| 色必久悠悠影院| 伊人网欧美在线男人天堂五月丁香| 综合精品啪啪| 欧美97超碰| 最新高清无码专区| 99热国产这里只有精品| 九九综合色综合| 婷婷激情社区| 婷婷六月插屄激情| 五月天开心成人网| 五月天婷基地| 97在线视频人妻九色| 吊色AV男人的天堂| 第五婷婷伊人丁香| 精品综合网在线| 狠狠色综合五月人人| AA片在线观看视频在线播放| 成人网址在线观看| 五月丁香婷婷综合| www.五月丁香| 亚洲夜夜操| 国际国外精品欧洲南美洲专区无码不卡| 五月视频日本免费观看| 婷婷丁香色五月亚洲| 五月丁香激情四射| 狠狠99| 亚洲AV无码影院| 91综合色| 97性视频| www,com,五月色色| 欧美三日本三级少妇三99| 免费看无码视频A级| 久久码久久无清| 色婷婷综合网| 日本色爽| 极品人妻VideOssS人妻| 亚洲综合久| 五月丁香啪啪| 激情综合啪啪啪| 97人人操人人干| 亚洲自拍天堂| 五月天合网| 久久婷婷综合网| 99视频热99| 五月婷婷高清| 91黄址| αV电影| 亚洲欧洲另类| 六月婷婷色色色| 99热午夜精品| 午夜青草资源| 国产67194| 欧美婷婷九月| 月月AV| 久久色婷婷| 好叼操在线观看| 人色五月天婷婷| 五月天婷婷基地| 日韩另类| 国产精品色| 91久久九九| 永久AⅤ1| 日日躁夜夜躁狠狠久久AV| 色婷婷丁香| 五月天丁香网站| 一级黄色操B| 深爱婷婷丁香五月激情| 疯狂做受XXXX高潮A片| 激情综合五月婷| 97狠狠色| 九九久久玖玖爱| 99色综合网| 超碰国产在线| 色香蕉影院| 九九re精品视频在线观看| 久久色午夜在线导航| 99无吗| 人人操操97| 26uuu亚洲欧美| 久久久精品免费啪啪国| 五月丁香 啪啪啪| 国产99久久久国产精品免费看| 中文字幕综合网| 激情久久五月天| 久久大香免费| 色婷婷社区| 国成人网| 色五月丁香伊人五月| 又大又粗九一在线| 情涩婷婷五月天| 丁香五月天操B| 麻豆123区| 5月丁香综合图区| 深爱激情69热| AV在线免费观看不卡| 久久婷婷操| 大香蕉久久综合网| av五月天婷婷丁香| 无码AV大香线蕉伊人| 亚亚州久久高潮| 婷婷天堂视频| 99久久综合网| 在线观看的av| 无码操B| 天天舔天天摸天天射| 久久精品99| 婷丁香五月天| 五月丁香六月激情| 情趣视频66| 激情久久网 | 亚洲五月天伊人| 亚洲AV日韩在线观看| 999热成人在线综合网| 一本到不卡高清DVD| 97热这里只有精品| 欧美精产国品一二三区| 青草五月天| 色婷丁香| 国产特级毛片AAAAAAA高清| 久久久久久丁香五月| 丁香操逼| 色五月亚洲| 五月婷婷av| 日韩 中文 欧美| 五月激情日本在线| 香蕉人妻AV久久久久天天| 狠狠色97| 久久色五月天| 五月久久网| 成人在线视频网| 亚洲婷婷在线播放十月| 色色亚洲| 天天做天天爱天天要| 伊综合蕉| 婷婷六月色开 | 国产精品色婷婷99久久精品| 99er日韩| 五月丁香婷婷欧美色图视频五月丁香777电影 | 五月丁香无码| 五月婷高清视频| 天堂二区| 色五月91| 天天干天天操天天上| 九一牛视频探花| 日本美女上人| 能看的av片| 久婷婷五月综合欧美| 极品人妻VideOssS人妻| 五月天婷婷丁香视频| 色色五月婷婷久久| 天堂无码人妻精品AV一区| 夜夜夜叫天天天做| av操一操| 中文成人在线| 五月婷婷激情中文字幕| 五月综合丁香婷婷| 丁香网站| 日亚二欧美| 色五月婷婷开心|