免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

塔式、機(jī)架式、刀片服務(wù)器怎么選?運(yùn)維老手講透機(jī)房選型核心邏輯

塔式、機(jī)架式、刀片服務(wù)器怎么選?運(yùn)維老手講透機(jī)房選型核心邏輯 機(jī)房選型這件事表面上是采購(gòu)和技術(shù)方案的問(wèn)題但真正上手之后你會(huì)發(fā)現(xiàn)最后都會(huì)被三個(gè)名詞卡住機(jī)架式服務(wù)器、塔式服務(wù)器、刀片服務(wù)器。尤其是第一次給公司配服務(wù)器、或者剛接手運(yùn)維的兄弟看到這三個(gè)詞很容易懵——明明都叫服務(wù)器憑什么長(zhǎng)得完全不一樣價(jià)格差出好幾倍適用的場(chǎng)景也完全不同。這篇東西我不聊廠商PPT里的漂亮話只從一個(gè)裝過(guò)機(jī)器、扛過(guò)機(jī)柜、踩過(guò)不少坑的運(yùn)維老油條的角度把三類服務(wù)器的區(qū)別、適用場(chǎng)景、選型邏輯和實(shí)際操作中的避坑點(diǎn)一次講透。這篇內(nèi)容適合誰(shuí)看剛?cè)胄械倪\(yùn)維、小公司的兼職網(wǎng)管、準(zhǔn)備給實(shí)驗(yàn)室或辦公室搭服務(wù)器的技術(shù)負(fù)責(zé)人以及所有在機(jī)架、塔式、刀片之間猶豫不決的人??赐曛竽阒辽倌茉诓少?gòu)單上做出一個(gè)不后悔的選擇并且知道機(jī)器到貨之后該怎么規(guī)劃、怎么安裝、怎么避免那些看著小但能折騰死人的坑。1. 先說(shuō)清楚三類服務(wù)器的本質(zhì)區(qū)別在哪里很多人以為這三類服務(wù)器只是“長(zhǎng)相不同”其實(shí)它們的差異本質(zhì)上是設(shè)計(jì)目標(biāo)不同。換句話說(shuō)廠商在設(shè)計(jì)之初就沒想把它們用在同一個(gè)地方。搞清楚這一點(diǎn)后面的選型就順理成章了。1.1 塔式服務(wù)器最早也最親民的形態(tài)塔式服務(wù)器Tower Server長(zhǎng)得跟一個(gè)豎立的臺(tái)式機(jī)主機(jī)箱差不多只是更大、更重、內(nèi)部空間更充裕。這是服務(wù)器最早期的形態(tài)也是很多小公司接觸到的第一臺(tái)“真服務(wù)器”。你可以把它理解成一個(gè)加強(qiáng)版臺(tái)式機(jī)——CPU更多、內(nèi)存插槽更多、硬盤位更多、支持ECC內(nèi)存和RAID陣列卡但整體邏輯還是“一臺(tái)獨(dú)立計(jì)算機(jī)”。它的核心優(yōu)勢(shì)就是簡(jiǎn)單。買回來(lái)拆箱接上電源和網(wǎng)線開機(jī)裝系統(tǒng)完事。不需要機(jī)柜不需要理線甚至連機(jī)房都不用專門準(zhǔn)備放辦公區(qū)角落里就能跑。早期很多公司的ERP系統(tǒng)、進(jìn)銷存、財(cái)務(wù)軟件就是靠一臺(tái)塔式服務(wù)器撐了好幾年。塔式的短板也恰好在“簡(jiǎn)單”的對(duì)立面——空間利用率太低。一臺(tái)塔式服務(wù)器占地面積大概相當(dāng)于一個(gè)落地音響但只提供一顆或兩顆CPU的計(jì)算能力。如果業(yè)務(wù)規(guī)模上來(lái)需要加第二臺(tái)、第三臺(tái)辦公區(qū)很快就會(huì)被這些鐵疙瘩占滿供電和散熱也會(huì)成問(wèn)題。所以塔式更準(zhǔn)確的定位是單機(jī)應(yīng)用場(chǎng)景的入門選擇而不是數(shù)據(jù)中心里的大規(guī)模部署方案。1.2 機(jī)架式服務(wù)器數(shù)據(jù)中心的絕對(duì)主力機(jī)架式服務(wù)器Rack Server是現(xiàn)在數(shù)據(jù)中心里最主流的形態(tài)。它被設(shè)計(jì)成扁平的矩形盒子寬度統(tǒng)一為19英寸——這是國(guó)際標(biāo)準(zhǔn)的機(jī)柜寬度——高度按“U”來(lái)計(jì)算1U約等于44.45毫米。常見的有1U、2U、4U對(duì)應(yīng)的高度分別是約4.45厘米、8.9厘米和17.8厘米。機(jī)架式的設(shè)計(jì)邏輯非常明確在單位空間內(nèi)塞下盡量多的計(jì)算資源并且把所有設(shè)備統(tǒng)一安裝到標(biāo)準(zhǔn)機(jī)柜里集中管理。一臺(tái)標(biāo)準(zhǔn)42U的機(jī)柜理論上可以裝進(jìn)42臺(tái)1U服務(wù)器或者21臺(tái)2U服務(wù)器。這種密度是塔式完全做不到的。正因?yàn)榻y(tǒng)一了尺寸標(biāo)準(zhǔn)機(jī)架式服務(wù)器在機(jī)房里的部署就變得非常有條理機(jī)柜里一層一層碼好電源線從后邊接上PDU電源分配單元網(wǎng)線走理線架前面板留出指示燈和運(yùn)維接口。加上導(dǎo)軌抽拉設(shè)計(jì)運(yùn)維人員不用把整臺(tái)機(jī)器抱出來(lái)拉出導(dǎo)軌就能換內(nèi)存、插硬盤。不過(guò)機(jī)架式也有它的脾氣。首先是厚度限制帶來(lái)擴(kuò)展性妥協(xié)——1U的機(jī)器內(nèi)部空間非常緊湊PCIe擴(kuò)展槽位少、散熱空間小、風(fēng)扇轉(zhuǎn)速高導(dǎo)致噪音大。其次是必須依賴標(biāo)準(zhǔn)機(jī)柜沒有機(jī)柜的話單獨(dú)一臺(tái)機(jī)架式服務(wù)器放在桌面上又扁又長(zhǎng)接線還不方便基本屬于自找麻煩。1.3 刀片式服務(wù)器密度至上的“集成方案”刀片式服務(wù)器Blade Server是三類里最特殊、也最容易被人誤會(huì)的形態(tài)。它不是一個(gè)獨(dú)立的鐵盒子而是一個(gè)系統(tǒng)一個(gè)大型的刀片機(jī)箱也叫底盤/Chassis再加上若干片插在機(jī)箱里的“刀片”計(jì)算模塊。每片刀片就是一臺(tái)完整的服務(wù)器但它不帶電源、不帶散熱風(fēng)扇、不帶網(wǎng)絡(luò)接口這些全部由機(jī)箱統(tǒng)一提供。用過(guò)機(jī)架式的朋友可以把刀片理解成這樣的關(guān)系機(jī)架式是把整臺(tái)服務(wù)器做成一個(gè)“完整的盒子”放進(jìn)機(jī)柜刀片式則相當(dāng)于把服務(wù)器的電源、散熱、網(wǎng)絡(luò)、管理這些公共部分抽出來(lái)集中做成一個(gè)機(jī)箱計(jì)算單元?jiǎng)t瘦身成一片片模塊插上去就能用。刀片的核心優(yōu)勢(shì)就是密度極高、管理極統(tǒng)一。一個(gè)4U或6U的刀片機(jī)箱往往能插入8到16片刀片意味著一個(gè)機(jī)柜就能塞進(jìn)上百個(gè)計(jì)算節(jié)點(diǎn)。配合機(jī)箱自帶的管理模塊所有刀片的開關(guān)機(jī)、固件升級(jí)、狀態(tài)監(jiān)控都能在一個(gè)管理界面里完成。這種特性讓它成為大規(guī)模虛擬化、云計(jì)算集群的理想選擇。刀片的代價(jià)也很直接前期投入大、綁定性強(qiáng)。刀片機(jī)箱本身單價(jià)不低而且必須配上相應(yīng)數(shù)量的刀片模塊才能攤薄成本用得少反而比機(jī)架式更虧。操作系統(tǒng)的驅(qū)動(dòng)兼容性、固件升級(jí)流程也必須跟著廠商的生態(tài)走比機(jī)架式更封閉。更要命的是機(jī)箱是整個(gè)系統(tǒng)的單點(diǎn)——電源模塊、散熱模塊一旦出問(wèn)題整個(gè)機(jī)箱里的所有刀片都會(huì)受影響所以機(jī)房規(guī)范和備件策略都得更嚴(yán)格。2. 三類服務(wù)器逐項(xiàng)硬核對(duì)比不只看外觀要看實(shí)際賬前面說(shuō)的都是形態(tài)和設(shè)計(jì)邏輯但真正決定選型的是這些差異落到空間、功耗、維護(hù)、成本等維度的具體影響。我按實(shí)際運(yùn)維中比較關(guān)心的幾個(gè)維度逐一拉出來(lái)對(duì)比數(shù)字和單位都按真實(shí)機(jī)房里的情況來(lái)說(shuō)。2.1 空間占用與密度對(duì)比算算機(jī)柜里到底能塞多少算力空間這件事放在小公司可能覺得無(wú)所謂放到機(jī)房就是真金白銀。按常見的42U標(biāo)準(zhǔn)機(jī)柜來(lái)計(jì)算塔式服務(wù)器因?yàn)楦叨炔唤y(tǒng)一通常沒法在機(jī)柜里整齊疊放多數(shù)情況是放在機(jī)柜旁邊的地面上一臺(tái)塔式大約占0.5平方米的地板面積機(jī)架式1U服務(wù)器一臺(tái)占1U高度42U機(jī)柜理論上可以放42臺(tái)刀片式取常見配置——比如一臺(tái)10U的刀片箱放進(jìn)16片刀片——那么一個(gè)42U機(jī)柜可以放4個(gè)刀片箱提供64個(gè)計(jì)算節(jié)點(diǎn)。光看數(shù)字還不夠得看這些計(jì)算節(jié)點(diǎn)的密度差距。同樣是10U的空間機(jī)架式大約能放9臺(tái)1U機(jī)器但刀片箱能插進(jìn)16片刀片相當(dāng)于同等機(jī)柜空間里多出了近80%的計(jì)算節(jié)點(diǎn)。這還是按1U來(lái)算如果機(jī)架式用2U機(jī)器差距會(huì)更懸殊。不過(guò)密度高不是白來(lái)的。刀片箱對(duì)供電和散熱的要求要比普通機(jī)架式高好幾個(gè)等級(jí)所以“塞得進(jìn)”和“跑得穩(wěn)”是兩碼事。機(jī)柜的電力容量、空調(diào)的制冷能力跟不上密度再高的刀片也只能降頻運(yùn)行這一塊后面會(huì)專門說(shuō)。2.2 功耗、散熱與供電差異機(jī)房里的“氣”和“電”都得管服務(wù)器是吃電大戶也是產(chǎn)熱大戶。三類機(jī)器在這方面的表現(xiàn)差異非常明顯。塔式服務(wù)器體積大內(nèi)部空間寬敞散熱通??壳爸眠M(jìn)風(fēng)、后置出風(fēng)的大尺寸低轉(zhuǎn)速風(fēng)扇噪音相對(duì)低散熱余量也足。功耗上塔式的范圍很寬從低配單路到高配雙路都有但通常跑不滿很高的功率密度一臺(tái)滿載大概在300W到800W之間。因?yàn)樗揭话悛?dú)立供電電源線直接插墻插或普通PDU就行。機(jī)架式受限于厚度1U的機(jī)器風(fēng)向幾乎是“直線貫穿”前面板進(jìn)風(fēng)后面板出風(fēng)中間經(jīng)過(guò)CPU散熱器和內(nèi)存條。為了讓有限空間里的熱量快速排出機(jī)架式風(fēng)扇通常轉(zhuǎn)速高、噪音大滿載時(shí)的呼呼聲在機(jī)房里非常明顯。功率部分1U雙路服務(wù)器滿載一般在500W到1000W2U機(jī)型可以到1000W以上。注意機(jī)架式因?yàn)槎嗯_(tái)同時(shí)裝在一個(gè)機(jī)柜里機(jī)柜散熱通道是前后貫通的機(jī)柜前后門都要保證通風(fēng)面積空調(diào)送風(fēng)方向也要安排好。刀片式是最極端的。一個(gè)滿配刀片箱的功耗可以輕松超過(guò)3000W甚至5000W相當(dāng)于好幾個(gè)電熱水器同時(shí)在工作。機(jī)箱內(nèi)部風(fēng)扇組幾乎是一開機(jī)就在高轉(zhuǎn)配上空調(diào)的強(qiáng)制冷才能壓住刀片堆積的熱量。刀片機(jī)箱的電源模塊通常是冗余并行供電——比如六個(gè)2600W模塊——需要多路PDU接入對(duì)機(jī)柜供電容量有硬性要求。供電給不到位刀片會(huì)直接拒載。這三類機(jī)器放在一起散熱和供電的投入是逐級(jí)遞增的。塔式是“插上就能用”機(jī)架式是“機(jī)柜和管理要配套”刀片式則是“機(jī)房條件必須達(dá)標(biāo)”。選刀片卻配了一個(gè)普通辦公環(huán)境開機(jī)五分鐘就過(guò)熱報(bào)警這是新手最容易犯的錯(cuò)誤。2.3 擴(kuò)展性與可維護(hù)性加硬件、修故障的時(shí)候差距就出來(lái)了服務(wù)器用兩三年之后基本都會(huì)面臨加內(nèi)存、加硬盤、換網(wǎng)卡之類的需求。這時(shí)候三類機(jī)器的擴(kuò)展性差異就很現(xiàn)實(shí)。塔式服務(wù)器擴(kuò)展性最強(qiáng)。它的機(jī)箱空間充裕PCIe插槽數(shù)量多——中塔機(jī)型通常有6到8個(gè)擴(kuò)展槽位硬盤位也從4盤位到12盤位不等甚至可以再掛陣列柜。加卡、加盤都不需要太多技巧打開側(cè)板就是干。維護(hù)性的優(yōu)勢(shì)也很直接機(jī)器就在你旁邊斷電開箱哪兒壞了換哪兒新手也能操作。機(jī)架式服務(wù)器的擴(kuò)展性就看U高。1U機(jī)型通常只有一到兩個(gè)PCIe擴(kuò)展槽2U機(jī)型有3到5個(gè)和塔式比少了不少但勝在形態(tài)標(biāo)準(zhǔn)和統(tǒng)一。維護(hù)方面機(jī)架式配好導(dǎo)軌之后拉出來(lái)就能打開上蓋操作不用把整臺(tái)機(jī)器從機(jī)柜里抬出來(lái)。要注意的是1U機(jī)器內(nèi)部接線空間非常小插內(nèi)存條、換CPU散熱器時(shí)手大的兄弟會(huì)有點(diǎn)受罪。刀片服務(wù)器的擴(kuò)展邏輯和前面兩類完全不一樣。單片刀片內(nèi)部的PCIe擴(kuò)展基本不用指望——那點(diǎn)空間連半高卡都插不了幾塊刀片通常只留數(shù)量有限的板載網(wǎng)口和磁盤位。擴(kuò)展是整箱級(jí)的性能不夠就再插一片刀片進(jìn)去網(wǎng)絡(luò)不夠就加機(jī)箱里的交換模塊。這種擴(kuò)展方式的優(yōu)勢(shì)是彈性好、管理統(tǒng)一但代價(jià)是單節(jié)點(diǎn)內(nèi)部幾乎沒有折騰空間想在某一片刀片上插一塊專用GPU加速卡很多時(shí)候根本插不上。2.4 成本結(jié)構(gòu)對(duì)比別只看采購(gòu)價(jià)電費(fèi)才是隱藏的大頭采購(gòu)時(shí)的標(biāo)價(jià)最容易迷惑人。我見過(guò)不少公司一看塔式服務(wù)器便宜立馬下單結(jié)果業(yè)務(wù)上量之后發(fā)現(xiàn)性能和擴(kuò)展跟不上又得再來(lái)一輪機(jī)架式采購(gòu)也見過(guò)團(tuán)隊(duì)被刀片的高密度吸引很快上了刀片箱結(jié)果后續(xù)電費(fèi)和維護(hù)成本高得讓財(cái)務(wù)眉頭直皺。實(shí)際上成本要分成四塊看采購(gòu)成本、運(yùn)行成本電費(fèi)制冷、維護(hù)成本、空間成本。塔式服務(wù)器的采購(gòu)單價(jià)在三類里通常最低低配單路機(jī)型幾千元就能拿下。但它占用空間大、單臺(tái)計(jì)算密度低所以空間成本是最高的。你可以算一筆賬數(shù)據(jù)中心機(jī)柜的租用費(fèi)是按U甚至按面積算的一臺(tái)塔式占用的地面面積如果換算成機(jī)架位隱形開銷并不低。維護(hù)成本方面塔式相對(duì)最簡(jiǎn)單硬件故障直接開箱換件就行。機(jī)架式是性價(jià)比最均衡的。1U和2U的采購(gòu)價(jià)格從幾千到幾萬(wàn)跨度很大但整個(gè)生態(tài)非常成熟二手市場(chǎng)活躍、備件好找、兼容方案多??臻g利用率比塔式高出幾個(gè)量級(jí)單機(jī)功耗可預(yù)測(cè)性強(qiáng)電力規(guī)劃和成本測(cè)算很容易做。維護(hù)成本要看環(huán)境——機(jī)柜布局合理的機(jī)房換一臺(tái)機(jī)器基本是拉出、換件、推回、上電十幾分鐘搞定機(jī)柜理線一團(tuán)糟的機(jī)房光是抽出服務(wù)器就要先拆一堆網(wǎng)線時(shí)間成本全耗在這上面。刀片式的采購(gòu)成本在三類里最容易讓人打退堂鼓一個(gè)刀片箱加十幾片刀片報(bào)價(jià)幾十萬(wàn)甚至上百萬(wàn)很正常。但它有一筆隱蔽的“省”管理成本低。不用一臺(tái)臺(tái)單獨(dú)接管理口和電源線所有刀片共用一套管理模塊批量部署、云化調(diào)度都更順手。運(yùn)行成本上刀片雖然總功耗高但分?jǐn)偟絾蔚镀笠驗(yàn)殡娫崔D(zhuǎn)換效率集中化、制冷通道集中化單位負(fù)載的電費(fèi)往往低于一堆散裝機(jī)架式。真正要警惕的是機(jī)箱本身的空載功耗——哪怕只插了2片刀片機(jī)箱的電源、風(fēng)扇、管理模塊全都在轉(zhuǎn)這部分電費(fèi)即使不用也跑不掉。3. 怎么選一套能直接上手的選型思路說(shuō)了這么多對(duì)比落到實(shí)際問(wèn)題就是一句話我到底該買哪一類我給一個(gè)相對(duì)實(shí)用的決策思路不需要你成為硬件專家只要順著四個(gè)問(wèn)題往下走基本就能圈定方向。3.1 先看業(yè)務(wù)規(guī)模和形態(tài)這是第一步也是決定性的一步。如果你只有一套業(yè)務(wù)系統(tǒng)要跑用戶量不大比如一家?guī)资说墓九芤惶譋RP或者一個(gè)門店跑收銀進(jìn)銷存沒有專職運(yùn)維——選塔式。一臺(tái)中高配塔式服務(wù)器足夠撐住這類負(fù)載三到五年。機(jī)房環(huán)境也不用刻意準(zhǔn)備防塵、通風(fēng)、斷電保護(hù)做到位就夠。如果你有多個(gè)業(yè)務(wù)系統(tǒng)、多個(gè)應(yīng)用要跑或者已經(jīng)在規(guī)劃做虛擬化比如用VMware、Proxmox VE、Hyper-V之類把多套系統(tǒng)整合到幾臺(tái)物理機(jī)上——選機(jī)架式。兩臺(tái)2U雙路機(jī)架式服務(wù)器做成虛擬化集群性能和穩(wěn)定性都對(duì)得起價(jià)格。如果你要做大規(guī)模的云計(jì)算平臺(tái)、大數(shù)據(jù)集群或者你已經(jīng)明確知道未來(lái)一年內(nèi)計(jì)算節(jié)點(diǎn)會(huì)超過(guò)幾十臺(tái)并且有一個(gè)像樣的機(jī)房來(lái)支撐——刀片式才是劃算的。低于這個(gè)體量刀片的優(yōu)勢(shì)發(fā)揮不出來(lái)反而背上機(jī)箱空載成本和綁定成本不值得。3.2 再看機(jī)房物理?xiàng)l件電源、空調(diào)、機(jī)柜尺寸業(yè)務(wù)想用刀片但你得先問(wèn)問(wèn)機(jī)房答不答應(yīng)。這里給一張自查表采購(gòu)之前照著核一遍電力容量機(jī)房總供電多少安機(jī)柜分配多少千瓦刀片箱動(dòng)輒3000W以上一個(gè)普通辦公室的16A插座根本帶不動(dòng)。機(jī)架式也要算好一個(gè)42U機(jī)柜塞滿1U雙路設(shè)備總功率可能突破15kW普通機(jī)房設(shè)計(jì)容量未必夠。制冷能力空調(diào)制冷量夠不夠機(jī)房有沒有下送上回或上送下回的規(guī)范氣流組織如果只是開放式辦公區(qū)建議直接放棄刀片。機(jī)柜深度標(biāo)準(zhǔn)機(jī)架式服務(wù)器深度一般600毫米到900毫米刀片機(jī)箱深度更大。買機(jī)柜之前先量機(jī)柜內(nèi)部實(shí)際可用深度尤其是靠墻角、被管道擋住的機(jī)柜很容易出現(xiàn)深度不夠關(guān)不上門的情況。機(jī)房高度和承重這聽起來(lái)夸張但裝滿設(shè)備的機(jī)柜重達(dá)幾百公斤很正常老舊樓板的承重能力要提前確認(rèn)。3.3 算一筆總成本賬TCO采購(gòu)價(jià)只是起步我建議把五年的總持有成本拉出來(lái)比一比。簡(jiǎn)化算法是五年總成本 采購(gòu)價(jià) 五年耗電費(fèi) 五年維護(hù)備件費(fèi) 空間占用費(fèi)。舉個(gè)例子一個(gè)小機(jī)房要部署16個(gè)計(jì)算節(jié)點(diǎn)。方案A16臺(tái)1U機(jī)架式方案B1個(gè)10U刀片箱加16片刀片。假設(shè)單臺(tái)1U機(jī)架式采購(gòu)1.5萬(wàn)元16臺(tái)就是24萬(wàn)刀片箱加16刀片可能報(bào)價(jià)30萬(wàn)到35萬(wàn)。第一眼刀片貴不少但看后邊機(jī)架式16臺(tái)要占用32U到40U空間需要額外的網(wǎng)絡(luò)交換設(shè)備和線纜管理電費(fèi)按每臺(tái)500W跑五年16臺(tái)五年電費(fèi)將近35萬(wàn)元刀片箱整箱功耗算4000W五年電費(fèi)約17萬(wàn)元。再加上空間成本機(jī)架式在機(jī)房里的租金分?jǐn)傔h(yuǎn)高于一個(gè)10U刀片箱。五年算下來(lái)反而是刀片更省。但注意這個(gè)結(jié)論有一個(gè)前提你的負(fù)載真有那么大。如果只需要4個(gè)節(jié)點(diǎn)塔式或機(jī)架式明顯更靈活。刀片的省省在規(guī)模效應(yīng)規(guī)模沒起來(lái)就談不上省。3.4 部署形態(tài)與運(yùn)維習(xí)慣也要考慮最后一條是很多技術(shù)選型容易忽略的你的運(yùn)維團(tuán)隊(duì)習(xí)慣怎么維護(hù)設(shè)備。如果你就一個(gè)人兼著管網(wǎng)絡(luò)、管桌面、管服務(wù)器那你最需要的是“少操心”的設(shè)備。塔式最省心機(jī)架式也可以只要管理口配置好遠(yuǎn)程管理能力足夠。刀片式雖然管理界面統(tǒng)一但機(jī)箱、刀片、交換模塊、固件升級(jí)這些概念學(xué)習(xí)曲線比機(jī)架式陡不少一個(gè)人如果沒接觸過(guò)前期會(huì)很吃力。如果你背后有完整的運(yùn)維團(tuán)隊(duì)甚至有專門的機(jī)房管理規(guī)范那刀片的集中管理優(yōu)勢(shì)就會(huì)被放大幾十臺(tái)刀片固件批量升級(jí)、狀態(tài)批量巡檢、故障節(jié)點(diǎn)快速隔離一套操作比一臺(tái)臺(tái)單獨(dú)SSH進(jìn)服務(wù)器高效得多。這種效率差是刀片最值錢的地方。4. 實(shí)戰(zhàn)中的典型問(wèn)題與避坑經(jīng)驗(yàn)這些坑我是真踩過(guò)型號(hào)和參數(shù)看再多都不如實(shí)際部署中踩出來(lái)的教訓(xùn)來(lái)得深刻。我把這些年積累的幾個(gè)典型問(wèn)題按場(chǎng)景整理出來(lái)每條都是真金白銀換的經(jīng)驗(yàn)。4.1 塔式服務(wù)器放辦公區(qū)的噪聲與散熱陷阱塔式服務(wù)器比臺(tái)式機(jī)安靜但那是相對(duì)機(jī)架式來(lái)說(shuō)的。滿負(fù)載跑起來(lái)塔式的高轉(zhuǎn)速風(fēng)扇依然有明顯噪聲放在開放式辦公區(qū)員工肯定有意見。我見過(guò)一個(gè)公司把塔式服務(wù)器直接塞在工位旁邊的矮柜里夏天CPU溫度一路飆到90多度頻繁降頻業(yè)務(wù)卡成幻燈片。正確的做法是給塔式服務(wù)器預(yù)留獨(dú)立空間至少要保證前后通風(fēng)順暢不要貼墻、不要塞進(jìn)密閉柜子。有條件的話給它單獨(dú)拉一路防雷電源插座避免和空調(diào)、微波爐共用線路。如果辦公室本身就沒有機(jī)房條件那別硬上高配塔式選低功耗的低配機(jī)型會(huì)穩(wěn)妥很多。4.2 機(jī)架式服務(wù)器的“深度陷阱”和理線問(wèn)題機(jī)架式服務(wù)器的寬度是統(tǒng)一標(biāo)準(zhǔn)但深度差異很大。有些低端1U機(jī)深度只有500多毫米有些高性能4U機(jī)深度超過(guò)900毫米。買機(jī)器前不量機(jī)柜實(shí)際深度到貨才發(fā)現(xiàn)推進(jìn)去頂?shù)胶竺婢€槽柜門都關(guān)不上這種事每天都在發(fā)生。理線是另一個(gè)新手重災(zāi)區(qū)。服務(wù)器裝上去電源線、網(wǎng)線、光纖、管理線一通亂接后門鼓成一團(tuán)之后任何一臺(tái)機(jī)器要維護(hù)都得先拆半天線。我的建議是機(jī)柜里必須配理線架網(wǎng)線用成品跳線而不是自己壓線光纖走專用光纖槽。線纜標(biāo)簽從第一天就必須做每根線兩端貼上標(biāo)簽寫明對(duì)端設(shè)備不然后面排查故障的時(shí)候表情只能是崩潰。4.3 管理口配置帶外管理是救命稻草不管選機(jī)架式還是刀片式必須把帶外管理口BMC/IPMI/iDRAC/iLO配置好。這是服務(wù)器上的一個(gè)獨(dú)立管理網(wǎng)口不占業(yè)務(wù)網(wǎng)卡即使系統(tǒng)死機(jī)、網(wǎng)絡(luò)中斷運(yùn)維也能通過(guò)它遠(yuǎn)程查看硬件狀態(tài)、開關(guān)機(jī)、看控制臺(tái)。實(shí)際使用場(chǎng)景很殘酷業(yè)務(wù)凌晨三點(diǎn)掛掉機(jī)房又遠(yuǎn)你沒法立刻趕過(guò)去。這時(shí)候如果帶外管理口配好了你能直接遠(yuǎn)程重啟、看POST界面、甚至掛載ISO重裝系統(tǒng)幾十秒就能定位問(wèn)題。如果沒配好這一晚就別想睡了。新到貨的服務(wù)器第一件事就是進(jìn)管理口設(shè)置界面配好IP、賬號(hào)、密碼測(cè)試遠(yuǎn)程訪問(wèn)正常再上架。這個(gè)動(dòng)作花不了十分鐘但后面能救命無(wú)數(shù)次。4.4 刀片式的單點(diǎn)依賴與固件綁定刀片式最風(fēng)光的時(shí)候是虛擬化大規(guī)模部署但它的風(fēng)險(xiǎn)也在集成度上。一個(gè)刀片箱里的電源模塊、散熱模塊、管理模塊都是共享的任何一環(huán)故障影響面都是整個(gè)機(jī)箱而不是某一片刀片。所以選刀片之前就要把備件策略想清楚冗余模塊當(dāng)然是標(biāo)配但備件庫(kù)里是不是隨時(shí)有替換件廠商的維保響應(yīng)時(shí)效是多少這些要提前談好。固件綁定問(wèn)題更麻煩。刀片箱的固件升級(jí)、交換模塊的配置、刀片之間的兼容矩陣都比機(jī)架式復(fù)雜。我見過(guò)一臺(tái)刀片箱因?yàn)楣碳炝税姹竟芾砟K直接失聯(lián)最后只能走廠商遠(yuǎn)程介入才恢復(fù)。所以刀片環(huán)境的幾條鐵律要記牢禁止在業(yè)務(wù)高峰期升級(jí)固件升級(jí)前必須完整備份配置升級(jí)時(shí)必須按照廠商的兼容矩陣逐級(jí)升不允許跳版本。4.5 “看似劃算”的二手刀片陷阱拆機(jī)市場(chǎng)里刀片機(jī)箱和刀片模塊的二手價(jià)格非常誘人很多人以為淘一套回家能撿大便宜。實(shí)際觀察下來(lái)二手刀片是三類服務(wù)器里最容易踩坑的。因?yàn)榈镀瑱C(jī)箱和模塊高度綁定你買的二手刀片如果和機(jī)箱不是同一個(gè)生態(tài)體系——比如不同代、不同兼容清單——很可能插上去點(diǎn)不亮。再加上刀片模塊內(nèi)部結(jié)構(gòu)緊湊二手貨的風(fēng)扇、電源等部件老化問(wèn)題會(huì)比普通塔式機(jī)架式更隱蔽。真出了問(wèn)題配件還不好找。我的態(tài)度是入門練手可以淘一淘二手機(jī)架式但生產(chǎn)環(huán)境里尤其是刀片這種集成度高的東西別碰二手。省下的采購(gòu)成本很可能在故障處理成本和業(yè)務(wù)停擺成本里加倍還回去。4.6 虛擬化與操作系統(tǒng)的兼容性確認(rèn)前面熱詞里也沒少出現(xiàn)“服務(wù)器虛擬化技術(shù)”相關(guān)的內(nèi)容選型時(shí)一定要提早確認(rèn)硬件和虛擬化平臺(tái)的兼容性。機(jī)架式和塔式還好驅(qū)動(dòng)和兼容性資料都比較開放刀片式就要特別留意有些刀片節(jié)點(diǎn)的網(wǎng)卡、存儲(chǔ)控制器型號(hào)偏冷門虛擬化平臺(tái)或新版本操作系統(tǒng)未必自帶驅(qū)動(dòng)。我的習(xí)慣是采購(gòu)前先到虛擬化平臺(tái)和操作系統(tǒng)的官方兼容性列表里查一遍硬件型號(hào)確認(rèn)能被支持再下單。別信“應(yīng)該沒問(wèn)題”先查表查不到就問(wèn)廠商要支持聲明。為了省這一步我見過(guò)有人機(jī)器到了之后裝不上驅(qū)動(dòng)在兼容性泥潭里折騰了整整一周。最后再分享一點(diǎn)個(gè)人的實(shí)操體會(huì)做運(yùn)維久了我越來(lái)越覺得選服務(wù)器不是選“最好的”而是選“最適合當(dāng)前階段的”。塔式、機(jī)架式、刀片式?jīng)]有哪一類是絕對(duì)王者不同階段的選擇完全可以不同。今天業(yè)務(wù)小一臺(tái)塔式就能穩(wěn)住明年業(yè)務(wù)上量機(jī)房條件跟上了再平滑過(guò)渡到機(jī)架式或刀片式這很正常。我自己的習(xí)慣是無(wú)論選哪類先保證管理口配好、線纜標(biāo)簽做好、關(guān)鍵備件有底。硬件這東西本身出大事的概率不高出事的往往是人手忙腳亂的時(shí)候做出的不規(guī)范操作。把準(zhǔn)備工作做在前頭后面就算半夜被叫起來(lái)處理故障心里也有底。希望這篇對(duì)比能幫你在下次采購(gòu)前少走點(diǎn)彎路真金白銀地省下來(lái)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亭亭色天香| www.99在线| www.五月天社区| 亚洲激情六月| 欧美电影在线观看| 欧美成人热| 午夜日日| 超碰精品国产首页| 免费视频WWW在线观看网站| 五六月丁香激情视频| 五月天婷婷香蕉狠狠超碰综合| 99色色| 夜夜骑天天操| 久久66成人网站| 丁香婷婷网| 亚洲黄色操逼| 激情性爱五月天网页| 大天天伊人| 婷婷涩涩网| 玖玖婷婷色五月| 91色综合久久| 亞洲自怕| 大鸡巴伊人网| 成人无码中文| 久久婷婷激情四射五月天| 国产暴力强伦轩1区二区小说| 丁香九月综合| 97碰免费视频在线| 狠狠干婷婷| 射区导航| 久久精品色| 婷婷欧美激情| 色色丁香五月天| 激情碰碰碰| 欧美大片| 色综合婷婷99| 欧美激情伊人| 97色在线观看视频| 九九精品99| 99久精品| 成人 在线 日韩| 吊色AV男人的天堂| 欧美在线干| 亚洲AV中文在线| 丁香婷婷超碰 | 人妻AV在线| 色偷偷五月天| 激情美女五月天激情在线| 婷婷九月激情| 色婷婷婷综合五月天| 超碰人人在线| 五月婷免费视频久久久| www色五月天| 五月天婷婷成人资源站| 思思re99视频在线观看| 色婷婷888| 婷婷综合亚洲| www.色婷婷.com| 婷婷色导航| 大香蕉久久| 99re热视频这里只精品| 色色99| 九九激情网| 丁香五月婷婷啪啪| 色网站9| www.激情五月天.com| 中文字幕婷婷在线| se99高清无码| 玖玖热视频| 五月婷婷开心五月| 欧美色五月| 色婷婷成人做爰A片免费看网站| 青青草视频免费观看| 国产亚洲精品久久久久久郑州| 欧美69久成人做爰视频| 五月丁香激| 色欲婷婷五月天| 综合久久婷婷五月丁香| 久久欧洲综合网| 九九热精品| 91色婷婷综合久久中文字幕二区| 色无婷婷| 天天做天天爱天天爽夜夜揉| 色色色色色色色色综合网| 天天爽夜爽| 日韩操人| 激情色情五月天| 五月婷婷视频| 国外亚洲成AV人片在线观看| 亚洲秘 无码一区二区三区妃光/1| 97色色色| 欧美中文五月天| 最新av在线观看| 99热伊人| 中文字幕不卡+婷婷五月| 婷婷五月天 偷拍| 激情婷婷五月天日本系列| 五月丁香婷婷深深爱| 99re8在这里只有精品| 在线视频婷婷| 久色视频首页| 91嫩草国产线观看亚洲一区二区| 秋霞成人毛片一级A片| 99热精品在线观看| 五月丁香好婷婷A片网| 99这里只有免费的小视频在线观看| 五月成人天| 久久这里都是精品| AV在线中文| 开心五月激情婷婷| 婷婷综合仓库中文| 伊人婷婷大香蕉| 日韩激情婷婷五月天| 噜噜色婷婷| 五月天婷婷社区| 99婷婷综合| 五月丁香综合激情| 香蕉操亚洲| 一本色道久久88综合日韩精品| 99色.com| 天天爽天天摸人妻综合网| 丁香大香蕉| 日本的α片xxxwww| 综合网啪| 99热99久久| 五月婷婷说| 另类天堂| 第二色AⅤ| 婷婷精品在线| 97色在线视频| 狠狠色成人影片| 欧美激情久| 严洲天天插| 久热免费视频| 亚洲精品操一操、噜一噜、摸一摸、爽 | 噜噜噜狠狠色综合| 成人在线观看一区| 夜丁香五月婷婷| 婷婷五月激情图片| 六月丁香啪啪| 开心激情网在线| 中文字幕性爱视频| 色婷婷丁香| .精品久久久麻豆国产精品| 日本97在线视频| 国产色色色色| 色99视| 巴基斯坦粉嫩无码视频| 99riAV成人在线视频| 国产阿姨日皮艹逼内射视频| 大学生高潮无套内谢视频| 欧美久久婷婷| 激情五月天婷婷丁香| 九热视频| 人妻综合网| 99久热在线精品| 手机在线日韩视频中文字幕| 五月丁香啪啪伦理电影| av在线观看网址| 天天色综合综合| 国产毛片欧美毛片久久久| 国产综合婷婷| 91精品91久久久中77777久久玖玖九九| 丁香激情四射| Www.sesese丁香| 一区视频网站| 欧洲综合视频| 色情性爱视频网址| 色欲影香| 天天射综合网站| 激情婷婷久久| 久热99| 久久婷婷五月综合色播| 丁香五月性爱爱五月| 五月婷婷五月天在线 | 人人做人人看人人摸| 精品99爱免费视频在线观看| 青青999| 欧美色婷婷| 色欲影香| 亚洲天堂婷婷丁香| 91人操人人人操人| 五月天激情中文字幕| 色色色色色色色五月| 66成人网| 丁香五月激情综合在线观看| 97艹| 国产亚洲精品久久久久久郑州| 99在线看片| 超碰免费观看| 99久久综合网| www.日本91| 秋霞黄色一级久久| 大香蕉中文| 九九AV| 五月丁香啪啪啪啪| 丁香五月日韩| 97操在线| 99热在线播放| 色欲av伊人久久大香线蕉影院| 性色人人爽| 九色视频九色九色91jiuseshipin| 丁香五月天色婷婷| 五月婷婷激情69| 五月婷婷成人| 色婷婷精| 无码AV免费精品一区二区三区| 99精品小视频| 亚洲国产成人裸舞| 婷婷五月天视| 91狠狠色丁香婷婷综合久久| 久久综合网桃花| 伊人五月天| 久久美女五月天| 亚洲精99| 五月天另类小说亚洲| 啪啪五月婷婷| 激情五月成年| 国内外色色色色色成人视频| 丁香五月天视频| 亚洲激情婷婷| 国产精品香蕉| 亚洲中文乱字字幕线在永久| 亚洲激情无码久久| 99er这里只有精品视频| 99视频精品全部免费看| 激情99热| 91九色国产在线| 亚洲精品另类| 色 噜噜 九月 婷婷| 成人做爰A片免费看网站找不到了| 六月丁香婷婷综合在线| 五月天激情婷婷久久| 五月色 亚洲| 色五月婷婷久久| 日韩有码一区| 操久久精| 六月婷婷啪啪| 五月丁香无码| 任你草| 亚洲色图81p| 国内久久婷婷| 国产亚洲色婷婷久久99精品9j| 99婷婷精品推荐在线视频| 国产99热| 六月丁香啪啪啪| 色情丁香五月婷婷精品| 成人片在线播放| 国产精品美女| 狠狠爱综合网| 国产日比| 东京热五月婷婷| 中文字幕 中文字幕明步| 欧美激情综合色综合啪啪五月| 丁香婷婷色五月| 婷婷在线视频| 丁香五月天视频| 欧美色婷婷| 五月丁香综合| 日韩成人不卡| 激情久久网| 99欧美三级视频| 五月丁了香蕉综合| 99网址在线看| 美女天天久久| 久久婷婷在线| 日日操夜夜撸| 99热官网精品在线| 在线视频区| 亚洲精品一二三| 丁香综合日产精品久久| 五月天基地| 丁香五月婷婷五月| 婷婷丁香六月五月天| 99视频这里只有免费精品| 色婷婷丁香网| 五月激情偷拍| 中文字幕成人| 色色五月天 亚洲| 99热九九九九| 好好干Av| 超碰1999| 99成人| 中文字幕精品无码一区二区| 狠狠色丁香婷婷| 丁香五月区| 婷婷五月丁香六月伊人网| 色五月婷婷五月久久| 色情一区二区播放| 99热国产精品| 丁香五月婷婷av影院| 婷婷五月综合网激情| 日本久久人| 五月花综合| 五月丁香久久激情网| 国产婷婷色综合AV蜜臀AV| 激情99| 亚洲色五月| 熟女色色一区二区| 99热超碰| 激情欧美五月丁香| 男女啪啪做爰高潮无遮挡| 97色碰碰公开视频| 久久婷婷丁香五月一二三| 天天舔天天摸视频| 色9999日韩国产| 665566 无码| 丁香久久综合| 五月丁香无码| 大学生高潮无套内谢视频| 亚洲无码猫咪| 就爱操www com| 五月丁香婷婷爱| 五月天婷婷成人网| 99久视频| 91免费看片| 久久全意婷婷| 777久久综合视频| 天天摸天天做天天爱天天爽| 六月成人网| 色五月婷婷91| 女高怪谈在线观看| 激情五月丁香五月色| 久久综合五月天| 欧美色欲色欲天天天www| 久热九九| 91九色国产熟女| 天天天日天天天干| 色欲一区二区三区精品A片| 97色图片中文字幕视频在线观看| 久狠日av| 九九艹女| 夜夜撸天天日| 婷婷婷婷婷婷婷婷婷婷丁香| 五月天婷婷激情干干| 婷婷五月综激情| 99操网站| 夜丁香五月婷婷| 久久精品99国产精品日本| 女婷久久| 九九色综合| 热久久色| 日本99在线| 天天综合网色欲香| 亚洲狠狠干| 亚洲精品白浆高清久久久久久| 激情视频网址| 五月激情影视| 99'无码| 色五月天激情| 激情五月天在线观看婷婷| 久久婷狠狠色| 亚洲成人网无码| 五月天激情影院| 狠狠色色综合| 99色综合| 99久久国产成人精品| 日本五月婷| 精品思思久久| 国产精品第一国产精品| 操逼福利视频| 色级婷婷| 9l视频自拍9l九色9l成人| 亚洲人人操| 丁香五月天堂网| 99热久97| 91综合在线| 日韩啪啪视频| 色婷婷成人做爰A片免费看网站| 立川无码av| 婷婷五月激情中文字幕| 天天日夜夜草进麻麻的子宫| 大香久久综合网| 五月天婷婷婷| 日本三级中国三级99| 成人在线网址| 日韩一66精品| 色婷婷丁香AV综合| 欧美激情综合色综合啪啪五月| 激情综合国产| 99性爱视频| 99热首页在线30| 99热最新国内| 激情久久肏屄视频| 色五月亚洲五月天| 久热久re| 色婷婷亚洲精品天天综| 亚州日本欧州韩美高青高潮一| 国产成人AV| 亚洲aV写真天天综合网久久| 日韩AV在线免费观看| 久久99精品九九久久久婷婷| 99热久久最新地址| www.五月婷| 97干97色| 综合性视频99| 国产97色在线| 香蕉AV777XXX色综合一区| 色色色.COM| 99re热在线观看| 超碰碰碰碰| 婷婷丁香视频| 色99色| 国产高潮A片羞羞视频涩涩| 79色色免费| 第四色网婷婷| 婷婷涩涩五月天| 99re66热这里只有精品| 欧美三级视频下载| 91碰碰| 欧美xx激情视频在线观看| 最新色色五月天| 男人大jjc女人免费视频| XX色综合| 亚洲成人电影aaaa| 亚洲综合在线视频| 91操在线| 亚洲视频一区| 成人 在线 日韩| 久久五月婷天天干| 久久视这里只有精品| 射婷婷中文字幕| 丁香五月婷婷亚洲综合精品| 9这里只有精品| 欧美三级欧美一级| 久久一级片| 九九在线视频| www色色色com| 日本va欧美va国产激情| 婷婷五月六月激情| 国产AV不卡福利| 亚洲国产精品VA在线看黑人| 色婷婷丁香五月| 五月丁香六月婷婷在线| 亚洲 在线 性爱| www久久艹| 亚州成人综合在线| 色五月 婷婷, 大香蕉| 大香蕉婷婷五月天| 丁香五月在线自慰| 日本天天色| www,五月天激情| 日韩欧美五月丁综合| 婷丁香五月天| 综合激情肏逼网| 综合久久婷婷99| 伊人激情| 五月天婷婷基地| 91操熟女| 婷婷金品综合视频| 香蕉综合在线| 久久婷婷五月天| 婷婷综合一二三| 青草少妇激情| 99亚洲精品| 99日韩网站| 久久66精品| 亚洲精品乱码久久久久久综合| 婷婷丁香熟妇综合网| 99热99美国在线观看| 色婷婷精| 一婬一伦一区二区三区| 玖色色综合| 亚洲成人中文字幕| www.com亚洲网站在线免费| 色九九中文字幕| 高清资源站日A美A欧亚…| 色情五月丁香| 嫩草AV久久伊人妇女超级A| 天天操天天曰| 99精品无码| 日本色婷婷| 99热在线观看| 香蕉久久av一区二区三区| 丁香六月综合激情| 丰满少妇乱A片无码| 青青草大香| 2050人人操免费工开爱| 综合久久综合五月天婷婷| 欧美日本国产| 97色图片中文字幕视频在线观看| 五月激情视频| 99热在这里只有免费精品| 五月婷婷播| 狠狠色丁香99| 亚洲99热| 色婷婷小说| 色无码| 国产精品A成V人在线播放| 国产精品久久久久久久久久免费| 久久丁香综合精品综合| 久久99精品久久久久久噜噜| 超碰人人干| 色五月久久成人婷婷| 日日鲁鲁夜夜爽爽| 玖玖热视频| 天天久久狠狠色综合| 玖玖婷婷五月天| www.色婷婷| 国产乱人偷精品人妻A片| 日本在线观看99| 丁香五月电影院在线观看| 久久99操| http://www.sd-xiangsu.com/| 99精品大片| 激情五月丁香五月| 婷婷六月香| 狠狠色丁香婷婷久久综合| 只有精品视频在线观看| 六月久久狠狠| 色播播五月天| 99超碰人人| 久久婷婷五月综合97色一本| 综合一本道| 91黄操| 午夜九九电影| 天天干天天拍| 人人艹艹艹| 99WWW免费视频| 人人爱干人人爱草| 啪色综合| 日韩三十六页| 亚洲色婷婷色| 色婷精品91| 影音先锋 萱萱| 97碰碰视频| 色婷婷色情| 久久9久| 婷婷五月天首页激情| 99re99热| 大香蕉久久久久| 狼人伊人天堂| 狠狠操.com| 99在线精品免费视频| www久| 在线观看亚洲视频影院| 伊人深爱综合| 久久婷婷综合五月| 无码G高清天| 六月婷婷久久| 97爱综合| 国产色五月婷婷| 久久人人妻| 情色五月天网站| 这里只有精品免费视频在线观看| 亚洲综合另类| 高清无码.com| AV电影在线播放| 色婷av| 日日肏夜夜干| 狠狠干.com| 这里只有精品日韩精品| 大香网伊人久久综合| 激情五月天婷婷丁香| 三级成人网站| 丁香五月花| 欧美色色色色色色色色色色影视| 91性高潮久久久久久久久| 免费人人操| 婷婷六月丁| 伊人九九68| 色欲资源网| 久久视频在线视频| 五月天小说激情| 成人看片网站| 人妻操逼| 日本人人超碰| 免费播放99性爱视频| 最近中文字幕2019视频1| 五月天婷婷激情网| 综合色图区| 五月丁香六月激情综合网| 成人av免费观看| 一区二区免费看| 久久狠狠干| 操操操97| 久9视频| 拳交大逼| 国产精品视频| 久久激情五月天| 日日舔夜夜操| 性爱激情小说AV五月丁香花| 99久久www| 91日韩美女被插视频| 超碰在线免费9| av网址在线| 婷婷香五月天| 婷婷激情蜜桃玖玖丁香| 深爱五月亚洲| 区欧美日韩成人| 婷婷色情六月| 五月婷婷深深爱| 五月天激情小说| 国产原创视频91九色| 丁香婷婷月| 国产在线黄色| 久久久久久欧美精品se一二三四| 久久婷婷亚洲五月天| 婷婷久久五月| 婷婷丁香高潮了| 欧美天堂婷婷日韩| 99热综合色图| 人妻五月天激情开心网| 无遮挡国产高潮视频免费观看 | 丁香五月婷婷高清| 97久久久久| wwxx日本| 91色在线 | 日韩| 超碰91在线| 天天综合图片| 99久久久久久www| 色色热| 激情婷婷网| www一起操| 婷婷五月综合激情| 亚洲色婷婷99一9|| 丁香五月大香蕉AV| 久久久久久久11111111111| 啪啪小说五月天| 一起草av| 亚洲自拍天堂| 久久久com| 99热国产免费| 五月天婷婷乱| 操碰99| 婷婷伊人综合| 开心五月深爱五月| 爽天天天天天天天| 人人干Av| 丁香五月天信号| 99视频在线看| 亚洲愉拍99热成人精品| 久久一热| 亚洲成人五月天| 婷婷5月开心6月| 六月婷欧美| 婷婷9月天| 色999五月色| 五月激情婷婷国产精品久久久久久| 99这里有精品久久97| 在线99精品| 欧美黑人巨大性生话| 97人人做| 婷婷丁香18| 狠狠干在线视频| 九九色影视| 情一色一乱一伦一91A| 国产真人做爰视频免费| 东京热免费视频| 第六色在线| 97九色| 99视频在线观看网址| 日本操B视频在线观看| 思思久久99| 91精品久久久久久久| 丁香五月婷婷手机| 青青草日本亚洲| 久婷婷五月激情| 激情床戏| 色婷天天| 九热精品| 14色综合婷婷| 色色五月婷婷久久| 婷婷五月大香蕉| 日本大逼91| 亚洲色图啪啪| 99re在线免费视频| 99热综合在线观看| 97色五月丁香婷婷| 色九区| 99色精品| 五月天综合在线| 97精品欧美91久久久久久久| 黄网在线观看免费| 久久9精品| 中文字幕AV网址| 91九色精品女同系列| 五月婷婷激情| 九九AV在线| 人人爱国产| 欧洲色| 狠狠五月天| 午夜大香蕉| 男男野外做爰全过程69| 精品国产一区二区三区四区阿崩| 狠狠婷婷色| 色99xx| 墨西哥毛片内射精| 久久久jd| 免费国产VA国产免费| 五月丁香啪啪啪免费看| 美女主播野战视步页| 天天xxxxxx天天日| 夜夜干天天干| 欧美综合五月丁香六月婷| 婷婷亚洲综合| 婷婷五月天成人| 色色欧美色色| 丁香五月激情综合婷综| 久9热在线视频| eeuus五月婷| 日本在线噜噜| 99热这里是精品| 99久久久99久久91熟女| 中文字幕日产A片在线看| 亚洲成人在线在线| 伊人玖玖网| 色之综合网| 人人舔天天| 99爱在线视频| 丁香六月天| 婷婷五月天VI| www.色五月.com| 五月丁香拍拍激情综合| 五月伊人婷婷| 激情开心五月天| 一级片无码| 碰97久久| 六月婷婷影院| 色色综合网站| 色啦啦视频| 97干视频| 亚洲婷婷激情五月天| 天天插天天插| 99视频| 五月丁香亭亭操逼| 色视五月天婷婷| 色99色| 亚洲蜜桃精久久久久久久久久久久 | 天天爱天天操| 99久久国产宗和精品1上映| 久久久潮喷-久久久九九-成人AV| 久去色色| 99狠狠色| www天堂99| 开心五月激情| 99干日本| 丁香五月天影院| 丁香婷婷六月婷婷六月婷婷六月婷婷 | 日本人人干| 人人综合五月人人婷婷| 第五色婷婷| 婷婷五月天首页激情| 五月天婷婷色播综合在线| 天天爽天天| 色呦精品| 久久丁香| WWW久久久| 99热99| 亚洲 在线 性爱| 丁香婷婷影院| 九九热99视频在线| 思思热在线视频99| 五月天色婷婷综合| 99re视频在线播放| 天天插综合网| www.色色色com| 婷婷大美在线| 开心五月婷婷激情| 色色色色色色色色五月先| 五月天播播中文字幕| 91狼友视频网页更新| 婷婷激情五月天综合| av网址在线| 91婷婷丁香五月| 天天综合影院| 婷婷五月天涩涩| 五月婷婷丁香狠狠撸久久| 五月天丁香网| 91九色|疯狂|高潮|对白|| 色爱综合网| www狠狠com| 色婷婷综合网站| 伊人爱爱日本| 特级片神马电影| 亚洲精品又粗又大又爽A片 | 国产一级婬片毛片| 婷婷狠狠综合网入口| 婷婷六月丁香1| 亚洲色无码A片一区二区麻豆| 99高级会所久久| 丁香五月天激情综合| www.日本久久videos| 伊人啪啪网| 亚洲综合九九| 天天干天天干天天干| 色5在线| 亚洲综合五月天| 九九热视频精品2| 亚洲色频| RenRenSe在线视频网站| 色色色综合| 色情免费视频播放| 俺去婷婷 丁香| 五月六月伦理| 色久女| 99热精品免费| 色色色色色级无码| 婷婷丁香五月天激情四射| 六月丁香社区| 91精品综合久久婷婷九色| 久久久久亚洲AV无码网影音先锋| 激情久久久久| 99re6在线视频精品免费| 狠狠操天天操综合| 九月丁香婷婷网| 欧美性爱五月天| 狠狠人妻色综合| 婷婷91| 五月婷婷免费在线观看| 亚洲精品白浆高清久久久久久| 狠狠五月丁香色婷| 99久久人人| 人妻综合网| 色五月婷婷少妇人妻| 北条麻妃伊人| 国产激情AV| 五月天伊人av| 人操91在线| 久热大香蕉| 婷婷五月天色| 久久丁香综合香蕉| 思思热久久艹| 99热这里只有精品2024| www.久久婷婷| 99热只有| 99热在线只有精品| 婷婷六月丁香激情| 一区无码| 色婷婷五月综合| 婷婷五月丁香久久| 久久久性爱网| 嫩草免费视频| 激情欧美五月丁香| 狠狠干思思热| 极品色丁香| Av在线不卡一区| 日韩成人电影在线播放| 欧美日韩大黄| 五月天操逼网| 亚洲AV无码电影| 亚洲不卡| 亚洲视频伍月婷婷| Xx色综合| 中文字幕黄色电影网址| 国外亚洲成AV人片在线观看| 夜夜爱伊人| 婷婷五月天综合中文| 超碰在线精品| 色婷婷女优有码五月亭| 99视频在线观看地址| 丁香五月a| 广东99色在线| 婷婷五月电影院| 久热伊人在91| 性av| 久久五月丁香| 人妻22p| 开心五月色婷| 五月婷婷高清| 久99久在线| 密视AV综合在线| 99视频在线精品| 五月天综合视频| 天天爱天天做综合| www.综合久久| 丁香色色五月| 亚洲乱码日产精品BD| 俺去也五月| 久久人人九| 天天摸天天舔| 99热这里只有精品2024| 五月丁香六月激情综合啪啪| 黄色三级日本| www.久久久久久| 青青艹b| av在线婷婷| 丰满少妇猛烈A片免费看观看| 免费看成人747474九号视频在线观看| 九九久久综合网站| 久色姿源| 影音先锋女人av鲁色资源网小说免费| 欧美精品999| 免费97碰碰| 2022人人操人人看| 婷婷久久色| 久久电影五月天丁香电影| 99热在线观看| 99国产精品白浆在线观看免费| 99热只有| 五月天婷婷久久视频| 第四色五月天| 激情亚洲网| 婷婷永久在线| 这里只有精品1| 久久多色| 五月婷精品| 婷婷久久久| 超碰免费人人| 可以免费观看的AV| 激情都市丁香婷婷| 久久婷丁香五月| 激情綜合W W W,激情五月天| 99国产小视频| 久久久天天啊| 伊人玖玖精品| 26UUU欧美| 玖玖婷婷五月天| 女人高潮内射99精品| 国外亚洲成AV人片在线观看| 欧美色男人网站| 伊人九九68| 夜色.cnm| 最新av在线观看| 亚洲综合字幕色色| 久久五月六月| 久久久五月婷婷| 久久人妻伦理| 成人网在线视频| 丁香五月手机在线| 91热久久| 久操操| 99碰碰。| 久久网日本| 久久精品爱爱| 亚洲久热无码| 婷婷综合五月天| 丁香五月六月综合激情| 99在线精品免费视频| 婷婷五月天影院| 激情五月最新网址| 激情久久久久久久久| 开心六月婷| 丁香五月天精品| 天天操天天曰| 狠狠狠狠狠狠| 我淫我色婷婷五月天激情四射| 99热99思午夜精品| 天天摸天天舔在线视频| 久久婷婷五月天激情| 五月丁香婷婷婷激情爱爱| 久久综合99| H亚洲| 久操婷婷| 激情综合网激情五月丁香| 丁香五月天激情综合| 五月婷婷香| 五月婷婷色在线| 久久婷婷五月综合色奶水99啪| ri电影在线| 免费观看大片视频 丁香婷婷 六月欧美| 激情九月综合| 精品日本视频444| 99日韩| 丁香社区婷婷五月| 六月婷婷激情图片| 日韩成人综合网| www.久久爱.c n| 亚洲色小说在线综合| 99爱视频| 激情五月婷婷色综合| 婷婷五月天成人在线视频| 337午夜福利| 五月天.com| 五月丁香婷婷色播无码| 五月丁香拍拍激情综合| 久99在线视频| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 人人操av| 91网站黄| 五月婷婷免费在线观看视频| 久久99久久99精品免视看婷婷| 六月婷婷视频| 婷婷激情五月| 九九自拍网| 亚洲丁香花五月丁香花| 色很很96| 欧美综合五月丁香六月婷| 色综合99色| 久操婷婷| 超碰不卡在线| 97久久综合网| 婷婷色5月天在线。| 啊v视频在线观看| 97碰精品| 色婷婷在线视频综合| 99色在线视频| 4399在线日本A片| 婷婷久久综合久色| 久久九九激情五月天| WWW·天天操·视频?| 久久五月激情| 4438国产免费看| 久久机热这里只有精品| 国产真实乱了老女人视频| 99热大全在线观看| 色玖玖综合网| 激情伊人网| 亚洲欧美一区二区三区四区爱爱动图| 少妇伦子伦精品无吗| 亚洲精品乱码久久久久99| 精品久久久久久久人妻| 麻豆AV一区二区三区| 开心婷婷五月激情网小说| 1024国产| 久久婷婷色色| 亚洲中文乱字字幕线在永久| 国产欧美日韩综合精品一区二区| 丁香六月婷婷综合色| 草草视频91| 五月色婷婷影院| 日韩色五月| 大香蕉七区| 人人摸人人澡人人| 激情婷婷网| 欧美五月丁香| 五月丁香婷婷婷激情爱爱| 婷婷色五月情| 97操在线| 狠狠干思思热| 久热精彩视频98| 九九热免费| 99在线视频女女视频| 亚洲激情婷婷| 激情熟女网| 99爱视频在线观看| 丁香婷婷综合激情五月色| AAA亚洲AV| 99在线免费视频播放| 婷婷五月美女直播| www.色色com| 五月丁香六月激情欧美综合| 亚洲成人丁香花| 欧美日本另类| 欧美日本国产欧美日本韩国99| 久草大| 狠狠久久婷五月综合色| 亚洲成av人影院| 99热99热不卡| xx久久| 九九av| 日韩99色| 久久九网| 五月天久久婷婷| 激情五月天视频| 国产真人做爰视频免费| 激情婷婷内射| 国模九区| 操操国产| 91人人操人人| 婷婷综合网站| 日日夜夜婷婷| 日韩三级视频一区二区| av色婷婷| 五月婷婷co.m| 在线综合91| 久久激情五月| 另类激情五月| 色五月婷婷影视| 激情九月婷婷| 国产美女最新VA在线免费观看| 久久综合五月情| 五月婷婷丁香啪啪| 丁香婷婷久久| 日韩日比视频在线| 99re视频在线播放| 亚洲激情高潮| 伊人五月天97| 亚洲国产精品VA在线看黑人| 热99在线| 人妻内射麻豆视频| 97碰碰在线观看视频| 99这里只有精品视频| 婷婷五月丁香六月天亚洲综合| 99热综合网| 成人五月丁香花| 99热91| 五月色婷婷综合| 99久久66| 久久婷婷人人| 久久ri精品| 91精品婷婷国产综合久久| 丁香五月婷婷综合网| 丁香五月婷婷啪啪啪| 久久婷婷九月国产精品| 4399成人黄A片| 五月天网站亭亭| 琪琪色热色色| 七月婷婷色香综合网| 色色色色av色色色色| 综合玖玖性爱免费视频| 人人操9| 五月婷六月| 99爱视频在线| 婷婷五月久久| 激情啪啪五月天| 日韩一级| 色五月综合| 色婷网| 久久婷婷内射| 日韩在线五月天婷婷| 欧美久久五月婷婷| 色哟哟精品| 色色婷婷婷丁香五月天| 欧美十二区| 亚洲欧美在线观看| 婷婷五月成人| AV性爱网| 久久色这里只有精品| 色99亚洲| www,五月天com| 九九99九九99偷拍视频免费看| 伊人激情综合| 婷婷天堂综合| 九九热最新视频| 五月婷婷自拍视频| 天天色天天爱天天舔| 亚洲艹网| 五月开心婷婷网| 久久9久久| 久久婷婷六月综合综合| 人人操婷婷| av在线播放网站| 538在线精品| 精品久热| 91爱操| 五夜丁香| 一级精品999WWW| 伊人久久大香线蕉av一区| 久久黄色片| 深爱激情六月| 欧美色五月天| 五月天婷婷色播| 五月丁香婷婷激情在线| 五月天性色| 另类天堂| 色播五月丁香| 伍月婷婷免费视频| 99这里有精品免费| 五月婷婷综合热| 99在线免费视| 国产欧美婷婷五月| 婷婷五月情| 五月色婷婷在线观看| bbwcuckold精品熟妇| 色天天久婷婷| 激情网第四色| 天天爽日日爽夜夜爽| 久久丁香五月| 无码动漫av| www色色com| 国产婷婷五月色情综合| 久久色亭亭五月天| 涩婷婷五月天在线精品视频| 日本婷久久| 天天色视频| 久久婷婷五月天| 人妻熟人中文字幕一区二区| 色五月丁香五| 熟美女麻豆| 色情婷| 丁香色六月| 精品综合久久久久久五月天| 丁香丁婷五月激情| 亚洲一区二区无码蜜乳av| 六月婷婷开心| 五月婷色| www.久久| 久久色大香蕉| www.日本91| site:hcxsz888.com| 狠狠色丁婷婷日日,伊人激情综合网| 日本成人小说婷婷六月| 婷婷激情视频欧美视频自拍视频欧美剧| 这里只有精品无码| 亚洲热热视频| 九九精品大香蕉| 99精品久久久| 99热这是里只有精品| www.亚洲激情| 国産精品| 黄网在线免费| 无码橾| 丁香婷婷五月天色播| 日日日日日| 五月婷啪啪| 一本大道熟女人妻中文字幕在线 | 超碰人人在线| 日本特黄aaaaa| 99热精品9| 久久资源网五月婷| 婷婷五月在线影院| 日亚二欧美| 日本在线免费中文com.| 丁香五月色| www.99热在线观看| 俺去也五月| 99综合一区| 久久婷婷色五月| 操九色| 欧美五月停| 久久性刺激| 天天天天天天天操| 久婷婷婷| 五月天婷婷丁香成人网| 久久婷婷热| 欧美丁香婷婷五月天| 九九热这里只有精品6| 日本不卡中文字幕| 狠狠噪| 二色AV| 99久在线精品99re8| 国产偷人爽久久久久久老妇APP| 美女91一起草| 亚洲色婷婷婷婷人人爽| 欧洲亚洲免费视频9| 激情国产五月| 丁香五月日啪| 亚洲婷婷91丁香| 欧美在线| 影音先锋按摩| 超碰人人91| 丁香五月激情图片婷婷| 夜夜骑日日操| 色欲天天综合网| 超碰色女| 97色婷婷五月天| 日韩免费视频| 激情色中文| 亚洲色五月| 国产综合A片| 六月丁香婷婷亚洲中文玖玖| 99热亚洲| 玖玖激情五月天| 五月天婷婷无码| 婷婷99视频全集高清| 怡红院院在线导航网 | 色婷婷色久综| 99热免费| 99色综合网| 久久久婷| 五月天激情四射网站| 婷婷免费视频| www.玖玖九| 久热这里| 色五月婷婷基地| 狠狠 久久| 婷婷五月色丁香在线看| 国产精自产拍久久久久久蜜 | 婷婷丁香十月| 婷婷五月色综合香五月| 精品99爱免费视频在线观看| 丁香五月影院| 干婷婷五月天| 无码少妇高潮喷水A片免费| 五月丁香 久久久| 激情五月婷婷网| 精品综合网在线| 天天xxxxxx天天日| 久久综合图片| 开心激情网五月| 伊人久久丁香狠狠婷婷综合香蕉 | 五月婷婷开心丁香| 久久久久久9热不雅视频| 五月婷婷丁香网| 五月久久网|