免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

高并發(fā)秒殺系統(tǒng)架構(gòu)實(shí)戰(zhàn):Redis預(yù)扣減與防超賣設(shè)計(jì)

高并發(fā)秒殺系統(tǒng)架構(gòu)實(shí)戰(zhàn):Redis預(yù)扣減與防超賣設(shè)計(jì) 簡介一套基于Spring Boot 2.x的秒殺系統(tǒng)教學(xué)項(xiàng)目面向想要了解高并發(fā)搶購場景的Java開發(fā)者重點(diǎn)演示令牌桶限流、緩存預(yù)熱、分布式架構(gòu)、消息隊(duì)列、驗(yàn)證碼防刷等關(guān)鍵技術(shù)點(diǎn)的落地方式。壓縮包共包含66個(gè)文件以23個(gè)Java源碼文件為核心另有SQL腳本用于初始化庫表與測試數(shù)據(jù)前端頁面HTML/CSS/JS輔助展示交互效果還有Maven配置、啟動(dòng)腳本及README說明整體大小僅2.34MB結(jié)構(gòu)清晰便于導(dǎo)入開發(fā)環(huán)境后逐模塊閱讀。已有162人學(xué)習(xí)過該資源適合作為并發(fā)編程的實(shí)戰(zhàn)入門參考。通過該工程可以學(xué)習(xí)到一個(gè)完整秒殺系統(tǒng)的數(shù)據(jù)模型與目錄組織方式觀察商品庫存如何通過緩存和數(shù)據(jù)庫優(yōu)化應(yīng)對(duì)壓力同時(shí)借助附帶的頁面截圖和運(yùn)行演示能夠更直觀地理解請求排隊(duì)、異步處理以及驗(yàn)證碼校驗(yàn)在項(xiàng)目中的真實(shí)用法涵蓋從架構(gòu)設(shè)計(jì)到代碼實(shí)現(xiàn)的完整思路無論是個(gè)人練手還是課程設(shè)計(jì)都能在此基礎(chǔ)上快速擴(kuò)展。1. 秒殺系統(tǒng)為什么難別把高并發(fā)當(dāng)作“多線程加速”“高并發(fā)秒殺系統(tǒng)”這個(gè)詞在 Java 后端幾乎成了判斷一個(gè)人有沒有真正處理過流量沖擊的試金石。功能上無非是限時(shí)賣固定數(shù)量的商品可當(dāng)幾萬人同時(shí)點(diǎn)“立即搶購”幾萬個(gè)請求瞬間打進(jìn)服務(wù)時(shí)常規(guī)的增刪改查思路就全崩了最先告警的不是數(shù)據(jù)庫而是 Tomcat 線程池、數(shù)據(jù)庫連接池、Redis 連接池最后數(shù)據(jù)庫被一大堆等待中的 SQL 拖垮庫存超賣、重復(fù)下單、頁面 5xx 一起冒出來。這篇文章想解決的不是“把秒殺跑通”而是“把秒殺跑穩(wěn)”。你會(huì)看到 Redis 預(yù)扣減庫存怎么擋住超賣、唯一索引怎么兜底重復(fù)下單、異步落庫怎么讓接口快速響應(yīng)以及壓測時(shí) Nginx 和 Tomcat 上有哪些最容易被新手忽略的默認(rèn)參數(shù)。整套鏈路用 Spring Boot Redis MySQL 就能復(fù)現(xiàn)適合準(zhǔn)備 Java 面試的開發(fā)者也適合想在活動(dòng)前把庫存系統(tǒng)補(bǔ)齊的后端。所謂“簡單實(shí)現(xiàn)”指的是不引入復(fù)雜中間件也能扛住相當(dāng)大的流量不是把庫存扣成負(fù)數(shù)的那種糙快猛。2. 系統(tǒng)設(shè)計(jì)先行先把超賣、重復(fù)下單和請求放大三個(gè)問題拆開2.1 三個(gè)并發(fā)難題超賣、重復(fù)下單、請求放大分別是怎么發(fā)生的秒殺系統(tǒng)第一次裸跑最常見的現(xiàn)象是庫存只有 100 件數(shù)據(jù)庫里卻生成了 300 多條訂單。對(duì)賬時(shí)發(fā)現(xiàn)不僅超賣還有大量重復(fù)訂單。這背后其實(shí)是三個(gè)獨(dú)立的問題混在一起排查會(huì)非常痛苦。超賣的直接原因是“檢查庫存”和“扣減庫存”不是原子操作。典型錯(cuò)誤寫法是先SELECT stock判斷大于 0再執(zhí)行UPDATE。高并發(fā)下 100 個(gè)請求可能同時(shí)讀到“還有 1 件庫存”的快照于是都拿到了下單權(quán)限庫存最終變成負(fù)數(shù)。這里不是靠增加重試或加鎖就能解決的——如果鎖粒度不對(duì)要么排隊(duì)排到超時(shí)要么鎖競爭把數(shù)據(jù)庫拖垮。重復(fù)下單是接口冪等做得不夠。用戶手速快、雙擊按鈕、前端因請求超時(shí)自動(dòng)重試、瀏覽器后退再提交同一秒能發(fā)出多次下單請求。如果訂單表沒有唯一約束、服務(wù)層沒做去重同一用戶就會(huì)在同一商品下生成多張訂單。你看著是用戶自己的操作問題實(shí)際是接口沒防御。請求放大則是量級(jí)問題。秒殺當(dāng)天的流量可能是日常的幾十倍假如所有請求都默認(rèn)打到 MySQL即使總數(shù)據(jù)量不大幾千條 SQL 同時(shí)排隊(duì)也會(huì)把連接池瞬間吃光。更麻煩的是 MySQL 連接一旦耗盡普通查詢跟著一起超時(shí)系統(tǒng)就不是“變慢”而是“雪崩”。這三個(gè)問題不能各自為戰(zhàn)必須在分層設(shè)計(jì)里一起解決讓無效流量在越靠前的位置被攔掉才是高并發(fā)系統(tǒng)的核心思路。2.2 分層架構(gòu)接入層、服務(wù)層、存儲(chǔ)層各自該守什么我一般把秒殺系統(tǒng)拆成三層來看。接入層用 Nginx 做靜態(tài)資源分離、連接復(fù)用和粗粒度限流服務(wù)層用 Spring Boot 做活動(dòng)校驗(yàn)、用戶去重和 Redis 預(yù)扣減存儲(chǔ)層里 Redis 保存熱點(diǎn)庫存MySQL 保存最終訂單和可信庫存。三層各自守住一條底線才不會(huì)互相拖累。分層核心職責(zé)關(guān)鍵依賴接入層Nginx靜態(tài)資源、按 IP 限流、連接復(fù)用limit_req_zone、worker_connections服務(wù)層Spring Boot活動(dòng)開關(guān)校驗(yàn)、冪等去重、Redis 預(yù)扣減Lettuce/Jedis 連接池、業(yè)務(wù)線程池存儲(chǔ)層Redis MySQLRedis 保存預(yù)扣余量MySQL 保存訂單和最終庫存唯一索引、條件更新、事務(wù)這里有個(gè)很常見的誤會(huì)以為 Nginx 層限了流服務(wù)層就可以隨便查數(shù)據(jù)庫。實(shí)際上 Nginx 限流只能擋住一部分按 IP 限流擋不住分布式的羊毛黨也擋不住正常用戶在不同設(shè)備上的并發(fā)請求。服務(wù)層的業(yè)務(wù)校驗(yàn)必須獨(dú)立存在Nginx 那一層只負(fù)責(zé)“少放點(diǎn)流量進(jìn)來”不負(fù)責(zé)“業(yè)務(wù)正確”。存儲(chǔ)層的分工也要講清楚。Redis 里的庫存是“預(yù)扣余量”它的作用是快速拒絕大多數(shù)搶不到的請求提高接口吞吐MySQL 里的庫存才是“最終可信庫存”。為什么不能只信 Redis因?yàn)?Redis 可能宕機(jī)、可能被清空、可能在主從切換時(shí)丟數(shù)據(jù)。所以真正扣減數(shù)據(jù)庫庫存的那一步不能省只是把它挪到流量洪峰之后去執(zhí)行。2.3 方案選型數(shù)據(jù)庫鎖、Redis 預(yù)扣減、MQ 削峰各自適合什么場面圍繞“怎么防止超賣”業(yè)內(nèi)最常被提起的有四類方案。我給它們排個(gè)序從最重到最輕。悲觀鎖SELECT ... FOR UPDATE是最直接也最笨的辦法查詢時(shí)就把行鎖住同一時(shí)間只有一個(gè)線程能改庫存。缺點(diǎn)是數(shù)據(jù)庫連接會(huì)被長時(shí)間占用高并發(fā)下連接池很快就滿了適合 QPS 只有幾百的運(yùn)營后臺(tái)不適合對(duì)用戶開放的秒殺接口。樂觀鎖版本號(hào)或條件更新比悲觀鎖輕一些用UPDATE ... WHERE stock 0把庫存條件拼進(jìn) SQL靠數(shù)據(jù)庫行鎖保證不會(huì)扣成負(fù)數(shù)。它能扛住幾千 QPS但高并發(fā)下大量請求在數(shù)據(jù)庫層等待行鎖響應(yīng)時(shí)間會(huì)明顯拉長。適合業(yè)務(wù)比較重、Redis 不好介入的 ERP 庫存扣減場景——這類“庫存并發(fā)扣減”的思路和秒殺其實(shí)完全同源。Redis 預(yù)扣減是目前秒殺系統(tǒng)里最常見的做法。用 Redis 的單線程模型做原子扣減把絕大多數(shù)搶不到的請求擋在 MySQL 之前搶到的人再異步落庫。這套方案在單機(jī) Redis 下就能扛住數(shù)萬 QPS是性價(jià)比最高的起手式。MQ 削峰則是在 Redis 預(yù)扣減之后再疊一層把訂單創(chuàng)建請求放到消息隊(duì)列里由消費(fèi)者按固定速率落庫防止突發(fā)寫庫壓力。方案優(yōu)點(diǎn)缺點(diǎn)適用場景數(shù)據(jù)庫悲觀鎖實(shí)現(xiàn)簡單、絕對(duì)一致連接占用高、吞吐低后臺(tái)管理、低并發(fā)數(shù)據(jù)庫樂觀鎖無鎖競爭、實(shí)現(xiàn)簡單高并發(fā)下重試多、延遲升高ERP 庫存、中低并發(fā)Redis 預(yù)扣減抗高并發(fā)、響應(yīng)快Redis 宕機(jī)需補(bǔ)償機(jī)制秒殺、搶購、熱點(diǎn)商品MQ 削峰平滑落庫壓力引入中間件、消息可靠性成本大庫存、復(fù)雜訂單流程我自己的選擇很明確第一版永遠(yuǎn)先上“Redis 預(yù)扣減 數(shù)據(jù)庫兜底”等驗(yàn)證了真實(shí)流量、發(fā)現(xiàn)了瓶頸再?zèng)Q定要不要引入 MQ。別一上來就上 Kafka 和分布式事務(wù)那只會(huì)讓你同時(shí)面對(duì)“并發(fā)問題”和“分布式問題”兩個(gè)黑匣子。3. 動(dòng)手落地用 Spring Boot Redis MySQL 把最小秒殺鏈路跑通3.1 依賴、連接池配置與兩張核心表先搭項(xiàng)目。用 Spring Boot 2.7 以上版本JDK 1.8 或 17 都能編譯依賴只需要spring-boot-starter-web、spring-boot-starter-data-redis、spring-boot-starter-jdbc和 MySQL 驅(qū)動(dòng)。不需要引入 MyBatis 之外的重型框架JdbcTemplate足夠演示。dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-data-redis/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-jdbc/artifactId /dependency dependency groupIdcom.mysql/groupId artifactIdmysql-connector-j/artifactId scoperuntime/scope /dependencyapplication.yml里有兩組參數(shù)值得注意。數(shù)據(jù)源連接池我用 HikariCPSpring Boot 默認(rèn)maximum-pool-size壓測時(shí)從 20 調(diào)到 50但別超過 MySQL 的max_connections否則連接池還沒滿數(shù)據(jù)庫先拒連接了。Redis 的超時(shí)時(shí)間我習(xí)慣設(shè)成 200ms寧可快速失敗也不要讓 Tomcat 線程卡在 Redis 上等幾秒。spring: datasource: url: jdbc:mysql://127.0.0.1:3306/seckill?useUnicodetruecharacterEncodingutf8mb4 username: root password: your_password hikari: maximum-pool-size: 50 minimum-idle: 5 connection-timeout: 1000 redis: host: 127.0.0.1 port: 6379 timeout: 200ms數(shù)據(jù)庫表只需要兩張。seckill_product保存秒殺商品和庫存seckill_order保存訂單。seckill_order必須建UNIQUE KEY uk_user_sku(user_id, sku_id)這是最后一道防重復(fù)下單的兜底閘門表設(shè)計(jì)階段沒有它后面全靠代碼去重遲早會(huì)漏。CREATE TABLE seckill_product ( id bigint NOT NULL AUTO_INCREMENT, product_name varchar(128) NOT NULL COMMENT 商品名稱, seckill_stock int NOT NULL DEFAULT 0 COMMENT 秒殺總庫存, seckill_price decimal(10,2) NOT NULL COMMENT 秒殺價(jià)格, start_time datetime NOT NULL COMMENT 活動(dòng)開始時(shí)間, end_time datetime NOT NULL COMMENT 活動(dòng)結(jié)束時(shí)間, version int NOT NULL DEFAULT 0 COMMENT 樂觀鎖版本號(hào)條件更新時(shí)使用, PRIMARY KEY (id) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4 COMMENT秒殺商品表; CREATE TABLE seckill_order ( id bigint NOT NULL AUTO_INCREMENT, user_id bigint NOT NULL COMMENT 用戶ID, sku_id bigint NOT NULL COMMENT 秒殺商品ID, order_no varchar(64) NOT NULL COMMENT 訂單號(hào), status tinyint NOT NULL DEFAULT 0 COMMENT 0處理中 1成功 2失敗, create_time datetime NOT NULL COMMENT 創(chuàng)建時(shí)間, PRIMARY KEY (id), UNIQUE KEY uk_user_sku (user_id, sku_id) COMMENT 同一用戶同一商品只能有一條訂單 ) ENGINEInnoDB DEFAULT CHARSETutf8mb4 COMMENT秒殺訂單表;建表邏輯說明seckill_order的唯一索引不是為了省空間而是為了在數(shù)據(jù)庫層攔截“同一個(gè)用戶對(duì)同一商品重復(fù)下單”。version字段服務(wù)于后面的條件更新也就是用WHERE seckill_stock 0替代應(yīng)用層先查后改避免超賣。3.2 秒殺接口核心Redis Lua 原子扣減、冪等校驗(yàn)、庫存預(yù)熱秒殺接口的代碼不復(fù)雜難在每一步的先后順序。我的習(xí)慣順序是活動(dòng)校驗(yàn) → 重復(fù)下單校驗(yàn) → Redis 原子扣庫存 → 寫已參與集合 → 異步落庫。順序錯(cuò)了就會(huì)出問題比如先扣庫存再查用戶是否已搶過就會(huì)讓重復(fù)請求也扣掉庫存。先準(zhǔn)備扣庫存的 Lua 腳本。用 Lua 而不是decrement()的原因很簡單decrement()只能保證“扣減”這個(gè)動(dòng)作是原子的不能保證“庫存大于 0 才扣減”——當(dāng)庫存只剩最后 1 件時(shí)并發(fā)請求會(huì)把庫存扣成負(fù)數(shù)。Lua 腳本把“檢查庫存”和“扣減庫存”包進(jìn)同一個(gè) Redis 操作里執(zhí)行這才是真正的原子。/** * 扣減庫存的 Lua 腳本 * 返回 -2 表示 key 不存在說明活動(dòng)未預(yù)熱 * 返回 -1 表示庫存為 0已售罄 * 返回 1 表示扣減成功。 */ private static final String STOCK_SCRIPT if redis.call(exists, KEYS[1]) 0 then return -2 end; local stock tonumber(redis.call(get, KEYS[1])); if stock 0 then return -1 end; redis.call(decr, KEYS[1]); return 1;;參數(shù)說明KEYS[1]傳入的是庫存 key格式建議統(tǒng)一為seckill:stock:{skuId}。腳本內(nèi)redis.call(exists)是為了區(qū)分“沒有預(yù)熱”和“賣完了”兩種狀態(tài)不要把這兩種情況都返回“已售罄”否則排查問題時(shí)會(huì)浪費(fèi)大量時(shí)間。接下來是秒殺主方法。核心結(jié)構(gòu)如下Service public class SeckillService { private static final String STOCK_PREFIX seckill:stock:; private static final String ORDER_PREFIX seckill:order:; Autowired private StringRedisTemplate redisTemplate; Autowired private OrderService orderService; Autowired private ThreadPoolTaskExecutor orderExecutor; public Result seckill(Long userId, Long skuId) { // 1. 活動(dòng)開關(guān)校驗(yàn)秒殺開始前和結(jié)束后直接拒絕 if (!activityCache.isInProgress(skuId)) { return Result.fail(活動(dòng)未開始或已結(jié)束); } // 2. 冪等校驗(yàn)同一用戶同一商品只能參與一次 String orderKey ORDER_PREFIX skuId; Boolean participated redisTemplate.opsForSet().isMember(orderKey, userId.toString()); if (Boolean.TRUE.equals(participated)) { return Result.fail(您已參加過該商品的秒殺); } // 3. Redis Lua 原子扣減庫存 String stockKey STOCK_PREFIX skuId; Long result redisTemplate.execute( new DefaultRedisScript(STOCK_SCRIPT, Long.class), Collections.singletonList(stockKey) ); if (result ! null result -2L) { return Result.fail(活動(dòng)尚未開放請稍后重試); } if (result ! null result -1L) { return Result.fail(商品已搶完); } // 4. 記錄參與用戶保證后續(xù)請求不會(huì)再進(jìn)來 redisTemplate.opsForSet().add(orderKey, userId.toString()); // 5. 異步落庫立即返回成功提示 orderExecutor.execute(() - { try { orderService.createOrder(userId, skuId); } catch (Exception e) { rollbackStock(userId, skuId); log.error(訂單創(chuàng)建失敗已回補(bǔ)庫存, e); } }); return Result.success(秒殺成功訂單處理中); } }邏輯說明第 3 步的execute通過DefaultRedisScript把 Lua 腳本發(fā)給 Redis整個(gè)“檢查扣減”在服務(wù)端完成。第 5 步用線程池異步執(zhí)行接口響應(yīng)時(shí)間不會(huì)包含數(shù)據(jù)庫寫入耗時(shí)這也是高并發(fā)秒殺系統(tǒng)的標(biāo)準(zhǔn)做法——用戶看到的“秒殺成功”不代表訂單已經(jīng)生成只代表庫存已經(jīng)預(yù)扣成功。接著是庫存預(yù)熱。這個(gè)步驟極其容易被新手忽略如果活動(dòng)開始后 Redis 里還沒有庫存數(shù)據(jù)第一個(gè)請求執(zhí)行exists就會(huì)返回 0所有用戶都會(huì)收到“活動(dòng)尚未開放”。預(yù)熱應(yīng)該在活動(dòng)開始前 5 分鐘由定時(shí)任務(wù)或運(yùn)營后臺(tái)觸發(fā)public void preloadStock(Long skuId) { Integer stock productMapper.selectStockById(skuId); redisTemplate.opsForValue().set(STOCK_PREFIX skuId, String.valueOf(stock)); }參數(shù)說明預(yù)熱時(shí)用簡單set即可不需要 Lua。活動(dòng)進(jìn)行中如果 Redis 里的 key 過期被刪后續(xù)請求會(huì)全部走到“未預(yù)熱”分支所以還要給庫存 key 設(shè)置一個(gè)覆蓋完整活動(dòng)時(shí)長的 TTL避免無意的過期擊穿。3.3 異步落庫與線程池參數(shù)createOrder 怎么寫庫存怎么回補(bǔ)異步落庫這一步要處理兩個(gè)問題數(shù)據(jù)庫庫存不能扣成負(fù)數(shù)以及 MySQL 扣減失敗后 Redis 庫存要回補(bǔ)。createOrder方法里的關(guān)鍵不是先查庫存再插入訂單而是用條件更新一步完成“檢查庫存 扣減”Transactional public void createOrder(Long userId, Long skuId) { String orderNo generateOrderNo(); // 號(hào)段或雪花算法 // 條件更新庫存大于 0 才扣減返回受影響行數(shù) int rows jdbcTemplate.update( UPDATE seckill_product SET seckill_stock seckill_stock - 1, version version 1 WHERE id ? AND seckill_stock 0, skuId ); if (rows 0) { throw new RuntimeException(數(shù)據(jù)庫庫存扣減失敗); } // 插入訂單唯一索引兜底重復(fù)問題 jdbcTemplate.update( INSERT INTO seckill_order (user_id, sku_id, order_no, status, create_time) VALUES (?, ?, ?, 1, NOW()), userId, skuId, orderNo ); }邏輯說明UPDATE ... WHERE seckill_stock 0看起來只有一句 SQL實(shí)際由 InnoDB 行鎖保證不可能把庫存扣成負(fù)數(shù)。多個(gè)請求同時(shí)執(zhí)行這句 SQL 時(shí)只有第一個(gè)請求能拿到行鎖并成功扣減后面的請求會(huì)因?yàn)閟eckill_stock 0條件不成立而返回 0 行。這比“先 SELECT 再 UPDATE”安全得多也比悲觀鎖省數(shù)據(jù)庫連接。異步執(zhí)行需要線程池。線程池大小直接影響吞吐核心線程數(shù)太小會(huì)讓任務(wù)排隊(duì)太久用戶雖然收到了“秒殺成功”但遲遲等不到訂單。Configuration public class OrderThreadPoolConfig { Bean(orderExecutor) public ThreadPoolTaskExecutor orderExecutor() { ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor(); executor.setCorePoolSize(8); executor.setMaxPoolSize(32); executor.setQueueCapacity(500); executor.setThreadNamePrefix(order-async-); executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy()); executor.initialize(); return executor; } }參數(shù)說明核心線程數(shù) 8、最大 32、隊(duì)列 500是一臺(tái) 4C8G 服務(wù)器上的保守配置。隊(duì)列長度決定服務(wù)能“吞下”多少個(gè)來不及處理的落庫任務(wù)超過 500 后新任務(wù)會(huì)被拒絕被拒絕的任務(wù)已經(jīng)在 Redis 扣過庫存所以在主方法里 catch 到RejectedExecutionException時(shí)要立刻回補(bǔ)庫存并提示用戶“系統(tǒng)繁忙請稍后重試”。回補(bǔ)庫存的方法也需要寫清楚public void rollbackStock(Long userId, Long skuId) { // 回補(bǔ) Redis 庫存 redisTemplate.opsForValue().increment(STOCK_PREFIX skuId); // 移除用戶參與標(biāo)記允許重新參與 redisTemplate.opsForSet().remove(ORDER_PREFIX skuId, userId.toString()); }很多文章只講回補(bǔ) Redis 庫存不提移除用戶標(biāo)記結(jié)果用戶明明第一次秒殺失敗重試時(shí)卻被冪等校驗(yàn)擋住造成“庫存沒賣完但用戶全部被拒”的詭異現(xiàn)象。回補(bǔ)庫存和移除用戶標(biāo)記必須成對(duì)出現(xiàn)。4. 用 JMeter 壓測驗(yàn)證TPS、TP99 和性能拐點(diǎn)怎么讀4.1 JMeter 線程組設(shè)置3000 并發(fā)模擬的最小壓測計(jì)劃寫完了代碼別急著上線先壓測。JMeter 是最容易上手的壓測工具打開后創(chuàng)建一個(gè)測試計(jì)劃依次添加“線程組”“HTTP 請求”“聚合報(bào)告”。線程組配置直接決定壓測結(jié)果是否可信。我推薦第一次壓測按這個(gè)表設(shè)置JMeter 字段推薦值設(shè)計(jì)理由線程數(shù)3000模擬秒殺活動(dòng)的瞬時(shí)用戶量Ramp-up 周期秒6060 秒內(nèi)逐步發(fā)完 3000 個(gè)請求避免一起涌出循環(huán)次數(shù)1秒殺場景每人只搶一次不設(shè)循環(huán)HTTP 請求超時(shí)3000 ms與后端接口超時(shí)保持一致新手最容易踩的坑是把 Ramp-up 設(shè)成 0。0 意味著所有線程在同一瞬間發(fā)起請求這確實(shí)能壓出極限值但和真實(shí)用戶行為完全不符——真實(shí)用戶是分批涌入的。先用 Ramp-up 60 秒摸清系統(tǒng)的穩(wěn)定能力再用 0 秒摸清極限兩個(gè)指標(biāo)分開看。4.2 讀懂聚合報(bào)告平均響應(yīng)時(shí)間會(huì)騙人TP99 才是關(guān)鍵壓測結(jié)束后打開聚合報(bào)告重點(diǎn)看四個(gè)指標(biāo)。吞吐量Throughput單位是requests/sec表示系統(tǒng)每秒能處理多少請求。比如吞吐量 1200/sec代表一秒鐘處理了 1200 個(gè)秒殺請求。錯(cuò)誤率Error %正常應(yīng)該在 0.5% 以下。如果錯(cuò)誤率超過 1%先去看服務(wù)端日志別急著調(diào)參數(shù)。錯(cuò)誤可能是超時(shí)、連接拒絕、線程池拒絕也可能是接口邏輯拋異常原因完全不同。90% 和 99% 響應(yīng)時(shí)間Percentile這是最容易被忽略的指標(biāo)。平均響應(yīng)時(shí)間 50ms 很漂亮但如果 99% 是 900ms說明有 1% 的用戶在系統(tǒng)邊緣等得很痛苦。秒殺場景里99% 響應(yīng)時(shí)間大于 1 秒就不能接受。最后是性能拐點(diǎn)。我會(huì)從 500 并發(fā)開始?jí)阂来渭拥?1000、2000、3000、5000。每次記錄吞吐量和錯(cuò)誤率。當(dāng)響應(yīng)時(shí)間驟增、吞吐量開始下降的那一檔并發(fā)數(shù)就是性能拐點(diǎn)。比如 2000 并發(fā)時(shí)吞吐量 1800/sec3000 并發(fā)時(shí)吞吐量掉到 1500/sec 且錯(cuò)誤率跳到 5%說明系統(tǒng)在 3000 并發(fā)時(shí)已經(jīng)過載這個(gè)數(shù)字就是容量上限。4.3 瓶頸定位與調(diào)優(yōu)Tomcat 線程池、Nginx worker、數(shù)據(jù)源連接池壓測發(fā)現(xiàn)瓶頸后按“接入層 → 服務(wù)層 → 存儲(chǔ)層 → JVM”的順序逐個(gè)排查。先看 Tomcat 線程池因?yàn)樗谧钋懊孀钊菀妆涣髁看驖M。Spring Boot 內(nèi)置 Tomcat 默認(rèn)maxThreads200acceptCount100。換句話說同時(shí)只能有 200 個(gè)請求正在被處理另有 100 個(gè)請求在隊(duì)列里等待其余直接拒絕。這個(gè)默認(rèn)值對(duì)秒殺場景太保守了我一般會(huì)調(diào)大Connector port8080 protocolorg.apache.coyote.http11.Http11NioProtocol maxThreads800 acceptCount2000 connectionTimeout20000 keepAliveTimeout15000/參數(shù)說明maxThreads控制工作線程數(shù)調(diào)到 800 后能同時(shí)處理的請求變多acceptCount是等待隊(duì)列長度調(diào)到 2000 意味著最多允許 2000 個(gè)請求排隊(duì)。要注意別把 maxThreads 調(diào)到 2000 以上線程數(shù)過多會(huì)導(dǎo)致 CPU 頻繁切換上下文吞吐反而下降。Nginx 側(cè)關(guān)注兩個(gè)參數(shù)worker_processes auto讓進(jìn)程數(shù)和 CPU 核心數(shù)對(duì)齊worker_connections決定每個(gè)進(jìn)程能保持多少連接。秒殺場景連接數(shù)通常會(huì)很高20480 是一個(gè)合理的起點(diǎn)。worker_processes auto; worker_connections 20480; keepalive_timeout 65;邏輯說明調(diào)大worker_connections不會(huì)立刻提升吞吐它的作用是讓 Nginx 不成為連接瓶頸真正限制并發(fā)的是后端 Tomcat 線程池。所以調(diào)優(yōu)順序一定是“后端先調(diào)Nginx 再跟著擴(kuò)”。數(shù)據(jù)源連接池也需要同步調(diào)整。HikariCP 默認(rèn)maximum-pool-size10壓測時(shí)很容易打滿。注意一個(gè)約束條件連接池大小不能超過 MySQL 的max_connections默認(rèn) 151如果連接池 50、Tomcat maxThreads 800同時(shí)只有 50 個(gè)數(shù)據(jù)庫連接可用其余線程都在等待連接。這解釋了為什么 java 面試八股里總強(qiáng)調(diào)“連接池不是越大越好要和上游線程池聯(lián)動(dòng)看”。JVM 參數(shù)進(jìn)壓測前就設(shè)好。4C8G 機(jī)器給 Spring Boot 預(yù)留 4G 堆-Xms4g -Xmx4g避免壓測過程中頻繁 Full GC 影響響應(yīng)時(shí)間。如果壓測時(shí)看到 GC 日志密集優(yōu)先解決堆內(nèi)存分配而不是繼續(xù)調(diào)線程池。5. 避坑排查秒殺系統(tǒng)最容易翻車的五個(gè)場景逐一對(duì)癥解決5.1 超賣問題活動(dòng)發(fā)了 100 件訂單出了 500 件現(xiàn)象活動(dòng)結(jié)束后seckill_product的seckill_stock變成負(fù)數(shù)seckill_order里的訂單數(shù)量遠(yuǎn)超活動(dòng)庫存。原因代碼里用的是“先 SELECT 庫存判斷大于 0再 UPDATE”。并發(fā)下多個(gè)請求同時(shí)讀到剩余庫存 1 件全部通過判斷全部執(zhí)行 UPDATE庫存被扣成負(fù)數(shù)。解決把應(yīng)用層的“先查后改”改成 SQL 條件更新UPDATE ... SET seckill_stock seckill_stock - 1 WHERE id ? AND seckill_stock 0。如果代碼已經(jīng)上線臨時(shí)止血可以給庫存表加一個(gè)CHECK (seckill_stock 0)約束MySQL 8.0 支持 CHECK 約束能阻止后續(xù)產(chǎn)生負(fù)庫存但歷史臟數(shù)據(jù)需要單獨(dú)對(duì)賬修復(fù)。5.2 Redis 售罄但數(shù)據(jù)庫還有貨庫存對(duì)不上的經(jīng)典僵局現(xiàn)象用戶看到“已搶完”但運(yùn)營后臺(tái)里商品庫存還剩幾十件。查 Redis 發(fā)現(xiàn)庫存 key 為 0查 MySQL 發(fā)現(xiàn)庫存還有 30。原因Redis 預(yù)扣減成功后異步落庫失敗。比如數(shù)據(jù)庫線程池滿了、訂單插入超時(shí)、事務(wù)回滾導(dǎo)致 Redis 扣了庫存但 MySQL 沒扣。這時(shí)如果沒有回補(bǔ)邏輯Redis 和 MySQL 的庫存就會(huì)永久不一致。解決一是異步任務(wù)里要 catch 所有異常失敗后調(diào)用rollbackStock回補(bǔ) Redis 庫存并移除用戶標(biāo)記二是增加一個(gè)定時(shí)對(duì)賬任務(wù)每 5 分鐘掃描 Redis 中庫存接近 0 的商品和 MySQL 的實(shí)際剩余庫存做比對(duì)發(fā)現(xiàn)差值就觸發(fā)校正。這個(gè)對(duì)賬任務(wù)不復(fù)雜但能救你于水火尤其是活動(dòng)進(jìn)行中沒人敢動(dòng) Redis 數(shù)據(jù)的尷尬時(shí)刻。5.3 同一用戶重復(fù)下單冪等校驗(yàn)漏了數(shù)據(jù)庫唯一索引現(xiàn)象活動(dòng)結(jié)束后發(fā)現(xiàn)同一個(gè)user_id對(duì)同一個(gè)sku_id有三四條訂單記錄用戶明明只搶到一次。原因代碼里用 Redis Set 做冪等校驗(yàn)但 Redis 記錄在異步落庫時(shí)被清掉或過期或者用戶繞過正常接口直接調(diào)用下單接口。Redis 不是數(shù)據(jù)庫它的數(shù)據(jù)可能丟失必須靠數(shù)據(jù)庫層兜底。解決兩層防御并行。第一層是 Redis Set 的isMember校驗(yàn)攔截正常用戶的重試請求第二層是seckill_order表上的UNIQUE KEY uk_user_sku(user_id, sku_id)。當(dāng)重復(fù)插入觸發(fā)唯一鍵沖突時(shí)捕獲DuplicateKeyException按“用戶已參與”處理而不是直接拋出 500。記住Redis 去重是性能優(yōu)化MySQL 唯一索引才是最終防線。5.4 壓測時(shí)大量 500Tomcat 線程池被打穿現(xiàn)象壓測并發(fā)數(shù)超過 2000 后聚合報(bào)告錯(cuò)誤率飆升到 10% 以上服務(wù)端日志大量出現(xiàn)“RejectedExecutionException”或“Connection timed out”。原因Spring Boot 內(nèi)置 Tomcat 默認(rèn)maxThreads2002000 并發(fā)下大部分請求在acceptCount100的等待隊(duì)列里排隊(duì)隊(duì)列滿了直接拒絕連接部分請求就算進(jìn)入處理流程也會(huì)因?yàn)閿?shù)據(jù)庫連接池不足而等待超時(shí)。解決按前面第 4.3 節(jié)的參數(shù)調(diào)整 Tomcat 線程池和 HikariCP 連接池同時(shí)在秒殺接口最外層加限流讓超過系統(tǒng)處理能力的請求直接返回“系統(tǒng)繁忙”。要用好AbortPolicy并捕獲RejectedExecutionException這是線程池自帶的流量保護(hù)機(jī)制別因?yàn)榕率《阉P(guān)掉。5.5 秒殺結(jié)束還有流量進(jìn)來活動(dòng)開關(guān)沒擋住現(xiàn)象活動(dòng)結(jié)束 1 小時(shí)后接口還在產(chǎn)生訂單商品鏈接還能下單。原因代碼里做了活動(dòng)時(shí)間校驗(yàn)但校驗(yàn)用的是服務(wù)器本地時(shí)間加數(shù)據(jù)庫活動(dòng)表活動(dòng)結(jié)束時(shí)可能有少量請求恰好卡在邊界上更常見的是運(yùn)營直接改數(shù)據(jù)庫活動(dòng)時(shí)間緩存里的活動(dòng)狀態(tài)沒有同步更新。解決把活動(dòng)狀態(tài)緩存到 Redis活動(dòng)開始前設(shè)置一個(gè)“待開始”狀態(tài)開始后由定時(shí)任務(wù)或手動(dòng)發(fā)布改成“進(jìn)行中”結(jié)束后改成“已結(jié)束”。接口層面做雙層判斷先查 Redis 狀態(tài)快速攔截大多數(shù)無效請求再查數(shù)據(jù)庫時(shí)間精確兜底?;顒?dòng)結(jié)束后應(yīng)立刻在 Nginx 層把 URL 的流量轉(zhuǎn)發(fā)到靜態(tài)頁或活動(dòng)結(jié)束頁而不是讓請求到達(dá)后端。接住這些流量的成本很低漏掉它們就會(huì)變成驚群效應(yīng)讓數(shù)據(jù)庫在活動(dòng)結(jié)束后的峰值里繼續(xù)被沖擊。6. 進(jìn)階優(yōu)化分布式鎖、熱點(diǎn) key 分片與上線前檢查清單6.1 把冪等和扣減合進(jìn)一個(gè) Lua減一次網(wǎng)絡(luò)往返到這一步你的單體秒殺已經(jīng)能跑了。如果想優(yōu)化性能第一個(gè)動(dòng)作不是換中間件而是把“判斷是否已參與”和“扣減庫存”這兩個(gè) Redis 操作合并成一個(gè) Lua 腳本。當(dāng)前實(shí)現(xiàn)的兩次 Redis 調(diào)用各消耗一次網(wǎng)絡(luò)往返合并后可以省掉一半的延遲。-- KEYS[1] 庫存 key -- KEYS[2] 用戶已購 set key -- ARGV[1] 用戶ID if redis.call(sismember, KEYS[2], ARGV[1]) 1 then return -3 end if redis.call(exists, KEYS[1]) 0 then return -2 end local stock tonumber(redis.call(get, KEYS[1])) if stock 0 then return -1 end redis.call(decr, KEYS[1]) redis.call(sadd, KEYS[2], ARGV[1]) return 1邏輯說明腳本里用sismember判斷用戶是否已搶過已搶過直接返回 -3。注意這里的數(shù)據(jù)一致性問題——如果用戶在請求 A 里搶成功又在同一毫秒發(fā)出請求 B兩個(gè)請求都進(jìn)到 Lua 腳本里執(zhí)行。Redis 單線程會(huì)保證這兩個(gè)腳本串行執(zhí)行所以不會(huì)出現(xiàn)“兩個(gè)腳本同時(shí)通過庫存檢查”的情況。這也是為什么秒殺系統(tǒng)天然適合 Redis單線程執(zhí)行模型省掉了應(yīng)用層分布式鎖。6.2 熱點(diǎn)商品 key 分片別再讓一個(gè) Redis key 扛全部流量當(dāng)一個(gè)商品特別火爆所有請求都打在同一個(gè) Redis key 上單實(shí)例 Redis 的 CPU 會(huì)先到瓶頸。常見做法是對(duì)庫存 key 做分片把 100 件庫存拆成 10 個(gè)小 key每個(gè) key 存 10 件請求進(jìn)來時(shí)根據(jù)用戶 ID 取模路由到不同的小 key。int shard (int) (userId % 10); String stockKey seckill:stock: skuId : shard;參數(shù)說明分片數(shù)是經(jīng)驗(yàn)值單機(jī) Redis 4 到 8 個(gè)分片足夠分片后的副作用是部分分片賣完、部分分片還有剩余需要在服務(wù)端匯總剩余庫存再做“是否還有貨”的判斷。庫存回補(bǔ)時(shí)也要遍歷所有分片。這個(gè)優(yōu)化適合秒殺量極大、已確認(rèn) Redis 是瓶頸時(shí)再上前期不必做。6.3 上線前檢查清單照著過一遍再開閘最后是一份自檢清單是我每次上線秒殺活動(dòng)前必做的一套動(dòng)作第一預(yù)熱腳本是否已執(zhí)行Redis 里所有商品的庫存 key 都存在且數(shù)值正確第二超賣核對(duì) SQL 是否準(zhǔn)備好活動(dòng)結(jié)束后跑一遍seckill_product和seckill_order的對(duì)賬確認(rèn)沒有訂單數(shù)大于庫存數(shù)第三異步線程池的監(jiān)控是否接入隊(duì)列積壓何時(shí)超過閾值要能收到告警第四檢查回補(bǔ)庫存的日志有沒有輸出一旦出現(xiàn)“訂單創(chuàng)建失敗已回補(bǔ)庫存”要立刻排查原因第五把壓測報(bào)告和真實(shí)預(yù)估流量對(duì)比確認(rèn)性能拐點(diǎn)高于預(yù)估峰值 30% 以上再開閘。做秒殺這類系統(tǒng)我自己的習(xí)慣是永遠(yuǎn)讓第一版保持單體和簡單先把 Redis 預(yù)扣減、冪等校驗(yàn)、異步落庫這條鏈路的每一環(huán)跑通確認(rèn)超賣和重復(fù)下單都不再出現(xiàn)再考慮分布式鎖、庫存分片和消息隊(duì)列。分布式的東西只有在單點(diǎn)確實(shí)扛不住時(shí)才值得引入——你手上的秒殺系統(tǒng)也一樣先把手里的單體調(diào)出穩(wěn)定的 2000 QPS比直接搭一套半懂不懂的微服務(wù)更有價(jià)值。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本久久超碰| 五月天,激情四射,婷婷频道| 欧美黄色一级| 任你艹| 天天色天天干天天插| 91综合视频在线| 99精品视频免费观看| 九九热这里只有国产精品| 久热久操久热久草国产91| 九九伊人网| 26UUU在线观看| www,com,五月色色| 婷婷色狠狠| 久久精彩免费视频| 九色综合网| 色情婷婷。| 色久婷婷网| 麻豆科斗777| 日日噜狠狠| 国产.亚洲.欧洲视频在线| 大伊香蕉玖玖爱| 天天噜| 九草性爱| 热99热9| 色欲久久久久久综合网综合网| 天天拍天天操| WWW,五月| 激情五月天在线视频| 天天看片日日夜夜| 日本99视频| 五月婷婷在线视频观看| 激情丁香五月婷婷啪啪| 丁香五月首页| 97人妻碰碰碰久久| 思思热在线| 天天色综合综合| 九九大香蕉黄色影院| 亚洲av骚货| 婷婷五月天激情综合网| 噜噜噜狠狠色综合| 欧美日本高清视频99| 啪啪啪大香蕉| 亚洲综合五月天婷婷| 久久色区| 色开心五月丁香| 欧美日韩成人在线| 日韩五月丁香| 狠狠干总合| 五月天激情综合网| 五月开心播播网| 99热在线观看免费精品| 狠色狠色综合久久| 五月花综合网| 91se在线视频| 97婷婷狠狠久久综合9色| 激情综合五月| 五月天啪啪啪| 午夜激情五月| www.婷婷五月天啪啪| 欧美日韩精品一区二区三区钱| 99自拍视频在线| 婷婷情色激情| 一根材五月婷成人| 五月丁香婷婷爱激情综合网| 色婷婷情片| 99无码视频| 欧美五月婷婷| 噜噜久| 日韩色色色色色| 久久99大| 五月婷婷乱| 99精品视频免费在线播放| www.久9| 熟妇内谢69XXXXXA片| 久久五月婷婷丁香| 99色免费观看全部| 五月网在线| 色欲Av五月天| 如何安全看伊人婷婷| 99在线视频女女视频| 97人人草| 99热精品在线观看| 亚洲天天| 一起草av| 丁香六月在线| 五月天激情丁香| 日日干天天| 激情综合网,婷婷五月天| 狼人久草| 在线播放中文字幕| 亚洲九区| 久久er视频6| 色色色区| 色婷婷五月天成人网| 嫩草视频。| 欧美大片| 亚洲三A| 99久久这里只有精品| 色播五月天激情| 五月婷婷激清网| 日韩激情婷婷五月天| 丁香五月大香蕉| 国产三级片91| 另类亚洲2| 婷婷五月综合色中文字幕| 亚洲丁香花五月丁香花| 97碰碰草| 欧美 日韩 成人| 99精品丰满| 久久久天堂国产精品女人| 五月丁香六月色| AV在线大香蕉| 久久婷色| 五月天激情四射| 婷婷综合色色| 色综合激情| 婷婷色网| 婷婷丁香社区| 婷婷五月天激情诱惑| 99这里是精品| 伊人色综合网| 碰97久久| 五月丁香激情综合| 国产精品久久久久9999小说| 天天色凹凸| 激情六月婷婷啪啪| 1234操逼网| 午夜福利8055| 五月激情啪啪啪| 久久婷婷色色| 久热2025无码| 五月丁香婷婷三级| 婷婷色导航| 婷婷五月天亚洲五码| 久久九九色| 激情五月天综合网| 婷婷久久久| 色五月激情五月天| 99视频| 香蕉网婷婷| 婷婷天堂伊人| 久久超级碰碰| 午夜丁香六月婷| 另类激情五月| 激情五月天视频| 婷婷五月天激情电影| 色五月色五天色情网| 丁香色五月天| j五月香在线| 97超美国视频在线观看| 色色色综合色| 99亚洲欧洲| 亚洲综合婷婷六月丁香五月| 五月婷婷深深爱| 久久婷婷五月天懂色| 狠狠爱综合网| 久久婷婷五月综合网| 免费日本aⅴ中文字幕| 久婷婷五月综合欧美| 外国碰视频网站97| 无码婷婷五月天| 女人天堂 AV| 九月色婷婷综合| 激情综合五| 熟女色色一区二区| 亚洲av免费在线| av婷婷丁香 六月| 五月天激情在线视频| 婷婷五月天电影在线| 99热8| 久久九九网| 荡乳尤物3HP1V5| 9999热免费视频视频| 六月色播| 激情色视频| 黄色五月婷婷| 色五月丁香91| www久| 婷婷五月综合在线视频| 一起草Av| 午夜在线成人网站免费观看| 日本精品在线噜噜噜| 色亚洲婷婷| 亚洲va欧美va天堂v国产综合| 丁香六月婷婷| 欧美在线视频9| 婷婷色网站| 欧美综合激情五月| 色婷婷五月在线| 久综合4| 91视频精品99| 另类五月激情| 亚洲亚洲人成综合网络| www久久久| 久久久久99精品成人片| www.99热这里只有精品| 操逼国产91| 色噜噜狠狠色综合日日免费| 97丁香婷婷| 99视频在线9| 午夜免费试看| 99九九视频| 中文字幕无码人妻少妇免费视频 | 天天插天天干| 99碰网站| 激情五月婷婷视频一区二区三区| 大香蕉在线99热| 亚洲AV免费在线| 国产成人99久久亚洲综合精品| 综合久| 欧美性爱一区| 亚洲五月花| 亚洲乱码日产精品BD| 亚洲视频二区| 五月精品| 丁香五月www| 五月婷婷香蕉| 色婷婷电影网| 五月五婷婷网| 超碰在线国产| 熟女激情网| 99免费| 久操欧美在线观看97| www久久久| 伊人网啪啪| 9色小视频在线观看| 天天色综合色色色色色。| 婷婷无码五月天| 婷婷色色综合| 六月婷婷影院| 91妻人人爽人人看片| 五月总合激情网| 婷婷五月天视频免费在线观看| 97一区二区| 天天插综合在线| 看黄的网站18禁| 欧美日韩成人一区二区| 九九热在线99| 4438激情网| 五月婷婷亚洲综合在线 | 在线免费观看激情视频| 天天操狠狠操| 婷婷五月欧美AA片免费| 国产午夜一区二区三区| 亚洲第一影院高清无码网站| 六月婷婷开心| 狠狠色五月| 九九热精品| 9久热在线视频| 色色丁香激情五月| 久久丁香社| 激情五月婷婷丁香| 爆乳熟女一区二区三区爆乳| 国产精品成人AV在线| 99热销国产这里有精品| 97干在线播放| 狠狠爱综合网| www.夜夜操| 91久久久久久| 国产精品涩涩涩视频网站| 伊人五月天男人的天堂在线| 八戒青柠影视剧在线观看| 久去色色| 国产精品第一国产精品| 丁香六月激情综合啪啪| 婷婷人妻激情| 激情色色| 少妇久久诱惑视频| 丁香五月天堂亚洲社区| 久久 天天| 婷婷色片| 狠狠干在线| 日日操夜夜爽白洁| 色婷婷激情Av久久久| 五月丁香欧美在线| 国产免费av在线| 在线观看婷婷5月| 99久久精品国产色欲| 狠狠色97| www.99热视频在线观看| 九九XX视频| 久久er99| 午夜丁香| 99久久综合狠狠综合久久| 久久激情五月网| 久操人| 久99久在线观看| 丁香婷婷五月天激情四射| 色噜噜狠狠一区二区三区| 亚洲 25P| 99热精品网| 五月婷婷色色色| 开心六月婷| 国产亚洲精品久久久久久久久动漫 | 五月丁香啪啪啪啪| 国产精品涩涩涩视频网站| 9久热在线精品| 婷丁香五月天| 五月婷婷丁香五月亚洲色| 极骚大香蕉伊人| 婷婷五月天视频亚洲| 91操片| 久久人妻视频| 激情综合色播| 久久最新色色色| 婷婷综合中文字幕| 婷婷99中文字幕| 99re在线观看视频| 停停五月色宗合| 久99| 成人丁香婷婷| 婷婷激情五月吧| 国产99久| 综合久久99| 午夜婷婷五月天在线| www.日本91| 激情小说婷婷| 99热这里只有精品首页| 久久五月丁香婷婷| 婷婷五月天激情文学小说| 久久99激情| 婷婷五月综合在线视频| anquye五月| 996黄色片| 亚洲六月色| 天天综合天天玩夜夜玩天天玩夜夜玩| 亚洲性爱电影| 九色综合五月天婷五月| www久| 《蜘蛛女》梁铮1995| 99re这里只有精品99| 亚洲日本三级片| 玖玖婷婷视频| 婷婷无码视频| 1010日日无码| 亚州操人在线视频| 亚洲成人AV电影网| 99在线精品视频免费| 久久这里有精品99| 四色永久成人网站| 春色激情| 色色五月婷婷| 色色五月激情| 五月丁香 久久久| 色噜噜五月天| 亚洲日韩乱码一区二区三区四区 | 丁香婷停五月激情综合深爱| 亚洲AV日韩无码| 狠狠干综合| 99热人人操人人操| 26uuu四色| www.五月天激情| 亚洲成人网站在线观看| 久久青草国| 欧美日韩成人在线| 丁香五月香蕉| 综合欧美五月婷婷| 欧美天天草人人草| 丁香五月伊人| av免费在线看不卡无毒| 99欧美| 99这里只有精品|v| 日本不卡高字幕在线2019| 综合激情在线观看| 思思热久久婷婷五月天| 久热中文字幕| 91传媒无码人妻精| 久热A片| 激情五月天婷婷| 亚洲欧洲另类| 激情九月婷婷| 九九热av| 91精品国产91久久久久青草| 99在线热| 九九香蕉网| 久久久无码精品成人A片小说| 五月综合色播播丁香婷婷| 婷婷六月丁香激情综合| 色爱99| 色色是色N一| 91热久久| 另类小说五月天| 五月天综合久久丁香91| 玖玖五月| 丁香蜜臀黄色婷婷五月天| 超碰色人妾| 午夜激情四射影院| 丁香婷婷五月天成人| 激情5月婷婷| 老美AA片| www.99热这里只有精品| 99热这里只有精品3| 岛国AV网站| 97色色色| 色婷婷成人| 久久加勤综合| 人人操人人爱丁香五月| 亚洲AV成人在线观看| 天堂爱爱| 偷偷与邻居做爰完整视频| 天搞天天天天天| 亚洲天堂爱爱| 99综合久久| 色噜噜狠狠色综合成人99| www,久久久人人| 激情五月天激情综合网| 久9热插入| 婷婷五月天论坛| 国产又黄又爽又色的免费| 五月丁香六月婷婷啪啪综合| 99热伊人| 天天摸日日舔狠狠添婷婷婷| 碰99在线| 五月天婷婷在线AN| 99天堂网最新| 人妖色AV色综合| 99热这里有精品首页10| 综合激情伊人影视在线| 色播五月婷婷五月| www.lingjunshare.com| 婷色影院| 9超碰在线| 成人av在线网址| 思思99久久| 五月丁香六月香香蕉| 欧韩性爱| 99日韩网站| 五月婷婷六月天| 久久精品婷婷| 无人区码一码二码三码医生系列| 99riAV成人在线视频| 色欧美日| 噜噜噜噜婷婷五月天| 天天爽天天弄| 丁香五月天激情免费在线观看AV777| 另类小说色婷婷| 在线日韩视频| 大香蕉综合视频在线| 91在线观看www| 久久婷.com| 五月天·www·com| www.五月.com| 五月婷婷激情网| 九九成人电影婷婷| AV在线资源| 噼里啪啦在线观看免费完整版视频| 天天插操| www久久99| 夜夜天天天天天干天天爽| 婷婷五月丁香伊人| 99热97| 久久黄色片| 狠狠爱婷婷丁香| 激情五月激情综合俺也去婷婷小说| 五月综合激情综合久| 狠狠色成人影片| 99在线精品视频| 无语停婷丁香网| 九九AV在线| 另类小说五月天综合网| 久久婷婷综| 天天射天天插天天干| 久久久久98| 在线五月色播| 伊人www22综合色| 亚洲国产精品VA在线看黑人| 欧美色色色色色色色色色色| 99色在线观看| www.久久99| 婷婷五月综合基地| 综合婷婷六月| 激情婷婷五月| 操逼电影免费看| 丁香五月婷婷基地| 五月天激情国产综合婷婷| 超碰99在线观看| 久久久久婷 | 99热传媒| 天天肏屄夜夜爽| 亚洲色五月婷婷| 少妇性BBB搡BBB爽爽爽电影| 色五月天激情| www.婷婷五月| 久久5 9视频免费观看| 天天射综合网站| 99热这里只有精品国产首页| 免费观看全黄做爰的视频| 丁香五月婷婷综合精品素人| 九月丁香五月婷婷| 无码日本精品XXXXXXXXX| 久久婷婷丁香| 九九九九这里只有精品| 99热热热99精品丁香| 伊人久久婷婷| 久热99热| 很很色丁香久久停停| 就爱日五月天| 久久全意婷婷| 丁香六月婷婷缴情欧美| 99热久草| 啪啪东京热| 亚洲色色色色| 精品影院| 六月婷婷无码| 久久9视频| 色婷婷最新域名 | 激情九月婷婷| 亚洲精品亚洲人成人网| 综合伊人久久| 成人色图情色成人网 www.5b5b5bcom 五月天 | 色色婷婷五月天| 五月天婷婷色| 五月丁香六月婷婷的女人| 五月婷婷干| 婷婷五月花| 99热99在线| 99色色| 99偷拍视频在线日本| 99热精品6| 丁香五月婷婷基地| www.国产亚洲69ty.久久久久久久久久久久| 丁香五月婷婷AV| 玖玖99精品视频| 天天综合中文| 五月丁香婷婷激情爱爱| 色婷婷久久视屏| 99久久性爱| 天天色五月婷婷91久久久久久久| 日韩色色视频www| 九八Av| tingtingzonghewang| 国产精品18久久久| 亚洲avjiujiur91| 国产毛片精品一区二区色欲黄A片| 久99久在线| 97精品自拍| 色色色婷婷五月| 天堂在线9| 色五月婷婷激情五月| 九九久久综合网站| 天堂草在线观看| 亚洲中文字幕av| 第二色AⅤ| 激情99| 色五月aV| 97涩婷婷婷婷基地| 亚洲色婷婷五月天| 婷婷五月天激情综合| 色婷婷综合久久久久| 97干视频| 久久婷婷五月综合| 婷婷五月天性| 超碰97色| 99久在线观看| 色狠狠激情五月| 亚洲欧洲中文日韩久久AV乱码| 日韩六十路91性交电影| 嫩草视频| 丁香六月激情| 99 频99热国里只有精品| 成人视频网| 六月丁香激情综合| 丁香色五月AV在线| 色99网| 天天搞夜夜六| 视频一区二区在线| 色情久久久| 热的五码久久精品| 久久九九99视频| 五月天狠狠| 在线观看中文字幕亚洲| 五月天激情网站| 99久久精品视频女神1| 人碰91| 亚洲午夜av| 久色成人| 五月丁香婷婷激情四射迷人| 无码任你操| 人人天堂操| 丁香五月婷婷高清| 色欲色香综合网| 五月丁六月香av| 微拍92| 九九九热精品| 天天爽天天爽夜夜爽| 色五月自偷自拍婷婷婷婷| 99精品热| 五月天久久综合婷婷丁香| www.婷婷.com| 国产肥白大熟妇BBBB视频| 日日爽日日| 九九热a| 99久久欧美| 粉嫩av蜜桃av蜜臀av| 深爱激情四射| www.sebowuyue| 五月激情基地| 国产婷婷色五月| 久久五月天激情| www.日韩国产| 天天干天天操天天爱| www99在线观看视频| 99综合网| 国产无人区大片| 五月婷婷这里都是精品| 亚洲色激情| 亚洲精品V天堂中文字幕| 青青草五月天| 日逼免费视频 | 日本人人xxx| 六月婷婷无码| 日韩av在线免费观看| 97精品人人A片免费看| 操日视频| 丁香久久久| 色情五月丁香婷婷网| 亚洲第二AV| 能看的av| 亚洲AV人人操| 久久久免费精彩视频| 亚洲五月六丁香激情| 丁香婷婷色九月| 久久久久久99日本| 激情色播| 超碰91在线| 五月亭亭直播| 国产片色| 欧洲亚洲免费视频区| 97色色婷婷五月天| 99干在线| 五月丁香久久综合91| 五月天婷婷色综合| 精品99在线观看| site:ornaments52.com| bbwcuckold精品熟妇| 91丁香五月| 99精品久| 色婷青青| 国产美女无遮挡裸体毛片A片 | 九九热在线视频| 在热视频精品| 五月丁香色狠狠干大屄| 精品国产人人爱人人| 色婷婷中文在线| 九九超碰人人| 婷婷丁香黄色| 亚洲AV成人在线观看| 午夜少妇在线观看视频| 久久性爱视频| 99精品视频网| 五月综合视频在线| 综合狠狠干| 久久婷婷综合国产| 91色涩| 日本婷久久| 99自拍视频网站| 欧美激情综合色综合啪啪五月| WWW.桔色成人.COM| 99在线观看精品| 婷婷五月丁香六月| 久久久精品视频79| 丁香六月中文| 九月激情婷婷丁香| 成人五月天视频播放| 9|在线观看视频| 五月丁香免费看| www,超碰| 久色网| 五月六月丁香激情视频| 99热在线观看| 中文网av| 99热国产婷婷| 久久98| 五月天 综合 在线| 狼人久草| 26UUU精品一区二区| 色婷婷五月综合| 成人在线视频网| 狠狠操综合| 色噜噜狠狠色综无码久久合欧美| 疯狂做受XXXX高潮A片| 第九色区av天堂| 亚洲成av人影院| 国产精品美女久久久久AV超清| 99精品成人无码A片观看金桔| 99精品国产在热久久| 亚洲亚洲人成综合网络| 五月久久综合| 丁香五月 激情文学| 色99婷婷五月天| 噜噜色五月| 色丁香久久| 激情五月天激情网| 婷婷之六月丁香| 色狠狠色噜噜AV天堂五区消防| 九九色综合九九色| 色色五月天丁香婷婷| 97人妻碰碰中文无码久热丝袜| 久久精品性爱| www久视频com| 婷婷狠狠狠爱| 91热在线| 天天操天天操| 五月五婷婷| 91九色国产熟女| 丁香六月在线| 91人人人人人| 99热99天堂| 色婷婷综合网站| 婷婷五月天色综合翘| 丁香五月天啪啪激情综合网| 五月天成人小说| 丁香五月婷婷啪| 色婷婷影视| 日操熟女| 超碰在线观看9| 五月丁香美女| 久久精品亚洲一级牲爱综合 | 色 噜噜 九月 婷婷| 亚洲色图五月丁香| 天天在线天天综合网色| 婷婷伊人五月天| 五月丁香精品| 日本欧美成人片AAAA| 葵花AV在线| 五月婷婷久久综合| 精品怡红九九九| 人人九色| 日韩黄色中文字幕| 丁香久月婷| 性爱在线播放av| 久久九九99| 99色一| 91九色国产在线| 久热一区| 婷婷的99视频网站| 五月停停丁香| 五月大香蕉| 91黄色五月天视频| 香蕉婷婷| 噜噜色噜噜网| 丁香激情网| 色99视频| 琪琪狠狠干| 午夜色婷婷| 99热这里只要精品免费| 日本婷婷| 久色88| 无码激情精品色婷婷久久久久| 五月丁香综合| 七月丁香五月婷婷在线| 美日韩成人| 丁香 婷婷 亚洲 熟女| 丁香五月播播| 2013AV天堂| 国产精品噜噜在线视频| 日韩久热| 亚洲99一级无嗎特制在线| 久久草人妻| 天天做天天爱天天爽| 嫩草极品| 久久视屏这里只有久久| 婷婷色片| 九热视频在线伦| 99久久婷婷精品视频| 婷婷午夜天| www久| 五月婷婷影院| 婷香五月| 99热综合| XX色综合| 五月天婷婷一起草| 影视av久久久噜噜噜噜噜三级| 久9精品视频在线| 欧美五月丁香啪啪响视频| 伊人婷婷色| 国产高清视频91九九九久久久| 色爱99| 男女99免费视频| 丁香九月激情久久| 可似看的AV| 亚洲亚洲人成综合网络| 色色综合无码| 色~性~乱~伦~噜| 五月激情综合性爱| 丁香婷婷婷五月| 超碰在线观看三级片| 婷婷五月成人色综合| 99久久网站| 九热久| 99这里只有精品视频| 91大屁股在线| 亚洲精品色色色| 公的粗大挺进了我的密道 | 青青热视频| 日本一级一片免费视频| 超碰网站在线观看| 婷婷五月六月| 97人人操com| 婷婷丁香色五月久久88| 色一色综合| 艹| 亚洲熟妇AV乱码在线观看| 视频综合网| 六月天婷婷| 亚洲激情亚洲激情| 婷婷五月天亚洲| 精品成人久久久久久久_一二三四视| 久久久8| 九九在线视频| 超碰免费观看| 国产色网站| 色八月婷婷| 色五月婷婷婷婷| 六月丁香婷婷综合在线| 美日韩成人| 亚洲亚洲人成综合网络| 99干在线视频| 玖玖综合网| 插插网爽妇五月丁香| 国产日韩亚洲欧美在线观看| 91九色在线视频| 九九热在线精品视频| 久9综合| 五月婷婷天堂| 秋霞三级影视资源| 丁香色五月天| 亚洲色色色| 六月丁香婷婷爱| 六月婷婷国产| 婷婷五月综合网激情| 久狠狠狠| 97九色| 久久人妻视频| 五月色欧洲| 五月桃花网综合| 噜噜久| 色色九九五月天| 99日本黄站| 九九这里只有精品在线视频| 亚洲亚洲人成综合网络| 伊人五月网| AV六月丁香| 久草性爱| 精品9197碰| 五月丁香888| 超碰免费成人| 五月婷婷之美女图片| 久久婷五月天| 热99一二三| 久色视频首页| www.91九色| 丁香五月激情综合久久| 中文网AV| 色婷婷天堂| 亚洲AV影片在线观看| 97资源碰碰| 久久人妻伦理| 99re在线播放| 丁香五月首页| 五月婷婷丁香社区| 亚洲成av人影院| 亚洲AV网址| 丁香五月婷婷色播艳门照| 五月婷婷丁香| 五月丁香好婷婷A片网| 一级操逼内射在线视频| 91蜜桃婷婷狠狠久久综合9色| 免费亚洲成人电影AV| 国产精品国产VA片国产| 另类国产欧美视频| 久99久在线| 先锋资源 996| 色九月婷婷丁香| 超碰久热| 五月丁香中文字幕| 99啪啪| 啪啪日热| 日本99久久| 天天 青草 丝袜制服 在线| 丁香六月婷婷色播| 影音先锋女人AA鲁色资源| 日韩99色99| 99热九九这里只有精品| 久久丁香综合精品综合| 另类专区在线观看| 日本不卡五月婷婷丁香| 99ri在线| 五月丁香久久激情综合| 婷婷精品视频| 欧美激情综合色丁香婷婷五月天| 亚洲综合婷婷| 三日本无码| 99热自拍| 激情五月天色婷婷| 性爱动图国产麻豆一区二区三区 | 中文字幕日产A片在线看| 五月丁香综合激情在线观看| 91视频一起草| 婷婷综合在线| 日本老女人黄页在线播放| 我淫我色婷婷五月天激情四射| 任你操精品免费| 国产丁香五月天婷婷| 天天操中文字幕| 九九综合影音先锋| 色五月网址| 91人人爽久久涩噜噜噜| 婷婷伊人无码| 色色色色色五月丁香| 被男人添B超爽视频| 丁香五月情| 五月 婷婷 成人| 色五月丁香五月五月婷婷| av线电影| 亚洲操女| 丁香五月天堂| 婷婷97碰碰| 色五月综合激情| 99热在这里只有免费精品| 五月丁香花视频| 日本婷婷色| 欧美人与性动交CCOO| 超碰在线9| 蜜乳中文字| 色婷婷综合中心| 97干在线| 国产日韩av片| 综合爱久久| 天天草女人| 91久久久久久| 免费黄色片子| 99热这里都是精品| 影音先锋偷偷色男人站| 五月婷婷影视| 亚洲国产精品二二三三区| 色婷婷丁香五月| 婷婷五月天在线观看| 中文字幕色色| 天天草天天日| 婷婷色5月天在线。| jiujiu热在线视频| 中美月韩免费A片| 大香蕉伊在| 久热精彩视频98| 99精彩视频网站在线| 91日本在线观看| 丁香五月婷婷色| 亚洲熟女色| 这里只有精品久久| 天天天干夜夜夜操| 五月婷婷影| 九九色综合视频| 欧美性色五月天| 管管補管管紱| 色综合天天网| 日本本土色网第一区| 婷婷激情四射| 91狠狠综合久久久| 激情综合色网| 天天操B| 琪琪色五月天| 中文字幕日韩成人| 98色花堂98t.R| 成人免费在线电影| 香蕉伊人综合| 在线观看亚洲AV| 色婷久| 九九精品热播| 在线观看免费狠狠色丁香香综合| 极品另类| 丁香五月色五月| 强伦轩人妻一区二区电影| 欧洲亚洲午夜| 99精品久久久| 91精品久久久久久77777| 91精品国产91久久久久青草| www狠狠| 26UUU| 五月综合视频在线| 九九热在视频| 婷婷五月开心中文字幕色| 狠狠搞综合色| 涩涩网五月天| 91wwmm导航| 五月天桃色深爱网| 欧美日韩成人在线网| 婷婷性爱网| 激情欧美五月丁香| 狠狠色色| 操老逼综合网| WWW色色色COM| 69人妻人人澡人人爽久久| 日本99视频精品免费播放| 99热在线精品播放| 99色视频| 婷婷五月天六月综合| 五月综合影院| 日本婷婷色日| 久久久精品AV| 天天插天天干| 色五天综合| 伊人久久大香线蕉亚洲五月天,| 九月久久婷婷| 色播丁香| 另类图片 五月激情| 欧美日韩aaaa| 99乱视频| 成人丁香五月| 五月婷婷色在线| 婷婷五月色花丁香社区| 五月天激情久久| 色五月婷婷激情综合网| www激情网| 天天天干夜夜夜操| 五月激情啪啪| 精品欧美一区二区三区久久久| 91干99| 超碰9| 99热这只有| 日日噜狠狠色| 99热这里只有精品1025| www久久久| 五月婷无码| 五月婷婷啪啪啪| 天天爽,天天操。| 婷婷六月啪啪| 天天艹夜夜艹| www.丁香黄色五月天人与| 超碰无码318604| 思思99热在线| 99这里只有精品|v| 激情五月天婷婷五月天| 91se精品国产| 成人丁香色| http://www.lingjunshare.com/ | 91精品久久久久久久久久| 亚洲成人中文字幕| 亚洲人成网亚洲欧洲无码久久| 天天天天做夜夜夜夜做| 五月丁香婷婷综合久久| www久视频com| 97色欧美| 久久这里只有精品视频26| 91.com男女操| 少妇水多A片太爽了| 丁香五月综合久久综合| 九九视频这里是精品五月| 热99这就是精品视频| 丁香婷婷六月| 久久五月天免费网站| 激情五月天啪啪视频| 五月婷婷官网色| 99只有精品| 日本专区久久| 色婷婷伦理| 激情久久久久久| 欧美熟女视频 色婷婷| 五月婷婷色情| 婷婷丁香色五月| 激情AV| 黄久久久| 五月天成人手机在线视频| 97超碰人人操| 精品国婬伦V无码久久久| 秋霞黄色一级久久| 色婷婷日本| 九九无码AV| 亚洲愉拍99热成人精品| 99在线视频播放| 五月丁香婷婷激情澎湃四射| 天天狠天天叉| 五月婷婷基地| 六月婷婷综合| 婷婷五月激情四射手| 色综合网页| 99色精品| 丁香六月婷婷一区| 极品人妻videosss人妻| 综合五月激情网| www.狠狠操| 99re热视频这里只精品| 婷婷五月天社区| 9热成人在线视频| 男人的天堂97| 99热91| 九九视频精品在线免费| 涩五月色婷婷| 久久色天堂| 少妇大叫太大太粗太爽了A片| 日韩二区搞逼插逼毛片| 亚洲热久| 久er免费视频| 五月丁香六月婷婷手机无线| 亚洲色婷婷五月天| 久久99网| 99热爆在线| 丁香五月激情综合婷综| 青草网在线观看| 伊人色综在线| 欧美五月婷婷| 色五月情| 光棍影院日韩精品| 噜噜色天天开心| 色婷婷五月天在线| 久久婷婷色综合| 99国产精品久久久久久久久久久 | 依人大香蕉| 色色色天堂网| 26uuu视频欧美| 亚洲A色| 99自拍视频| 五月婷婷玖玖综合玖玖爱| 久久伦乱| 色综合性视频| 午夜爱爱网站| 9色91视频| 超碰九九热| 综合五月激情| 色色色色色网站| 少妇AB又爽又紧无码网站| 激情综合青草| 99热精品在线| 日本激情ⅩXX免费视频| 97自拍视频在线| 五月激情啪啪| 99热超碰| 国产婷婷色五月| 99热在线只有精品| 婷婷久久久| 色婷婷亚洲精品天天综| 99热啪啪| www.99热这里只有精品| 东京热免费视频| 色色色99| 电影爱拉战争免费观看| 97人人草| xx综合网| 亚洲亚洲人成综合网络| 婷婷综合网伊人| 婷婷五月天淫荡| 久久久久思思热| 人人操大| 亚洲熟妇无码乱子AV电影| 玖玖激情五月天| 久色网址| 婷婷丁香色五月亚洲| 香蕉婷婷| 激情婷婷亚洲五月| 影音先锋91在线资源站| 天天精品视频在线观看视频| 久久月天堂| 欧美成人精品A片免费一区99| 婷婷色五月激情强奸四射| 99精品自拍| 99精品视频免费在线播放| 五月婷婷五月天| 五月丁香色狠狠干大屄| 色操综合| 婷丁香五月天| 超碰成人免费| 91久操| 婷婷亚洲在线| 色综合久网| 久99视频在线观看| 色热久资源| 91|疯狂丨高潮丨对白| 久99热| 欧美操逼天堂| 色色色色色色网| 狠狠色丁香99| 五月丁香激情综合网官网| www,超碰| 极品色丁香| 女人被躁到高潮嗷嗷叫小| 色五月婷婷久久| 精典久久| 激情五月激情综合网| 日日夜夜小色哥| 日韩欧美老妇性视频91久久久| 亚洲超碰在线| 日日色五月天| 亚洲国产色婷婷| 91爱啪啪| 丁香五月骚喷水视频| 丁香五月 无码| WWW久久久| 伊人超碰| 综合色吧| 婷婷操逼| 热99AV网站| 91热久久| 中文字幕无线久必| 婷婷五月天美女21p| 97人人操人人干| 六月婷综合| 棕合影院色色| 春色激情第四色| 97碰成超视频免费视频| 色婷婷香蕉| 人人爽欧美婷婷久久久五月丁香 | 九九综合| 激情小说五月天中文字幕| caopeng97人人| 九九综合色| 激情五月天 婷婷| 深爱五月婷婷开心中文字幕| yw.av| 天天爽天天| 啪啪操超碰| 三十熟女| 国产白丝在线一区| 99aese| 久99久在线| 伊人婷婷福利网| 人妻综合网| 五月丁香婷庭在线| 四虎成人精品永久免费AV九九| 91操人人操| 五月婷婷久久久| 天天操,夜夜骑| 丁香婷婷久久| 国产高清视频91九九九久久久| www.色五月天.com| 白天AV月月| 午夜性做爰电影| 婷婷六月天激情影院| 色色色色色日韩午夜激情 | 色色色色热热| 国产精品激情AV久久久青桔| 天天天天做夜夜夜夜做| 99热久久日本| AV在线资源| 天天做天天爱天天爽在| 99婷婷综合| 六月丁香婷婷综合狠狠爱夜夜爱| 99操99| 午夜无码熟熟妇丰满人妻| 夜夜干天天干| 91操片| 日日躁夜夜躁狠狠久久AV| 五月婷婷激情久久| 色九月婷婷综合| 色五月激情五月| 丁香婷婷成人网| 爱射综合| 色婷丁香91| 97碰| 99视频精品全部免费 在线| 色吊丝中文字幕| 色999亚洲人成色| 人妻肉射免费观看| 五月天狠狠色| 公的粗大挺进了我的密道 | 开心婷婷五月天电影院| 狼人伊人干| 亚洲情欲| 深爱激情六月| 婷婷在线精品| 九九成人电影婷婷| 1024国产| 激情九九这里只有精品| 五月久久婷婷| 超碰操日| 伊人五月天在线| 久久人妻视步|