不知道你有沒有過這種經(jīng)歷某天線上服務(wù)突然變慢查日志發(fā)現(xiàn)數(shù)據(jù)庫連接被一堆抄送任務(wù)占滿又或者兩個系統(tǒng)之間的數(shù)據(jù)同步一遇到對方重啟就整段丟失。這類問題在微服務(wù)拆分之后幾乎必然出現(xiàn)而解決方案里出現(xiàn)頻率最高、落地成本又比較溫和的就是RabbitMQ。RabbitMQ可以說是消息中間件里的萬金油了。它基于AMQP協(xié)議核心思路是生產(chǎn)者不直接把消息丟給消費者而是通過中間層按規(guī)則路由、暫存、轉(zhuǎn)發(fā)。這種架構(gòu)天然地把誰產(chǎn)生數(shù)據(jù)和誰消費數(shù)據(jù)解耦開。這篇筆記是我自己整理的基礎(chǔ)階段超詳細版本適合剛接觸消息隊列的同學也適合那些已經(jīng)在項目里用了RabbitMQ但一直沒搞懂Exchange和Queue之間關(guān)系的開發(fā)者。我會把概念拆開、把路由規(guī)則講透、把可靠性的坑填上最后再給出一套可以直接上手的Spring Boot接入方案。1. 先用一個真實場景回答很多中間件都能收發(fā)消息為什么選 RabbitMQ1.1 消息中間件到底解決了什么問題先說一個最簡單的場景。訂單服務(wù)創(chuàng)建訂單成功后需要通知積分服務(wù)加積分、通知短信服務(wù)發(fā)短信、通知搜索服務(wù)更新索引。同步調(diào)用的寫法很簡單但每次新增一個下游就得多寫一段代碼而且只要其中一個下游慢整個創(chuàng)建訂單接口就被拖住。后端系統(tǒng)用同步處理的壞處還在于下游短暫不可用時訂單主流程也會失敗。消息隊列的引入方式很直接訂單服務(wù)只負責往隊列里扔一條事件消息然后立刻返回成功。其他服務(wù)根據(jù)自己的訂閱去消費互不影響。這就是削峰填谷、異步解耦、流量緩沖三個核心價值落地的樣子。1.2 路由模式差異為什么 RabbitMQ 的精確路由更舒服同樣是隊列不同中間件的定位差別挺大的。Kafka 擅長海量日志的追加式讀寫分區(qū)內(nèi)消息有序消費者用拉模式順序消費適合做大數(shù)據(jù)管道。而 RabbitMQ 更強調(diào)靈活的路由同一份數(shù)據(jù)可以根據(jù)規(guī)則分發(fā)給不同的隊列每個消費者各取所需。舉個具體例子。一條訂單消息下游可能有這些需求所有系統(tǒng)都想知道訂單創(chuàng)建了這件事所以需要廣播物流服務(wù)只想消費已發(fā)貨事件風控服務(wù)只關(guān)心金額超過 5000 的訂單。如果在 Kafka 里搞通常要建多個 topic 或者讓消費者自己過濾。但在 RabbitMQ 里這屬于消息路由的基本操作通過 Exchange 類型和 Routing Key 的組合規(guī)則就能精確控制。這個設(shè)計讓 RabbitMQ 在業(yè)務(wù)系統(tǒng)內(nèi)部的系統(tǒng)間集成任務(wù)上特別順手所以我說它是萬金油。1.3 什么時候不應(yīng)該選 RabbitMQRabbitMQ 也不是完美的。單隊列的消息堆積能力遠不如 Kafka如果某天突然涌進幾千萬條消息積壓RabbitMQ 的吞吐量會明顯下滑內(nèi)存和磁盤壓力都很大。在需要千萬級吞吐、海量日志采集、消息長時間積壓回放的場景Kafka 或同類產(chǎn)品更合適。還有一個容易忽略的點RabbitMQ 的消息順序問題。它在單個隊列、單消費者的情況下能保證順序但一旦多個消費者并發(fā)消費同一個隊列順序就不可能保證了。對于強順序依賴的業(yè)務(wù)要多考慮一個排序字段 落庫后重排的補償方案不能把寶全押在中間件上。2. 核心概念一次吃透Producer、Channel、Exchange、Queue、Binding 之間的協(xié)作關(guān)系2.1 別把 Queue 當成核心Exchange 才是理解 RabbitMQ 的鑰匙很多初學者一上來就以為消息隊列的核心是隊列其實在 RabbitMQ 里消息從生產(chǎn)者發(fā)出后并不會直接進入隊列而是先到達一個 Exchange交換機。Exchange 根據(jù)消息攜帶的路由鍵和自身的類型決定這條消息應(yīng)該投遞到哪個隊列、哪幾個隊列或者直接丟棄。這個概念很像快遞分揀中心。你寄件時不會把包裹直接塞進某個貨運車而是交給分揀中心分揀中心根據(jù)面單上的地址把包裹分配到不同的運輸線。Exchange 就是分揀中心Queue 就是運輸線Routing Key 就是面單地址。Exchange 和 Queue 之間需要建立 Binding綁定關(guān)系。一條綁定的核心內(nèi)容是Exchange 名稱 Queue 名稱 Binding Key。消息的 Routing Key 只有和某個綁定的 Binding Key 匹配上才會被路由進對應(yīng)的隊列。2.2 Channel 和 vhost多路復(fù)用與邏輯隔離先說 Connection 和 Channel 的關(guān)系。一個 Connection 就是一條 TCP 連接但它比較重不能每個線程單獨建一條。所以要在一個 Connection 上創(chuàng)建多個 Channel信道每個 Channel 有獨立的 channel number可以理解為 TCP 連接里的虛擬通道。生產(chǎn)者和消費者通常共用一個 Connection但每個線程持有獨立的 Channel。官方也明確說 Channel 不是線程安全的不要在多線程里共享同一個 Channel這是大家初期比較容易犯的錯誤。再說 vhost虛擬主機。它是權(quán)限隔離和邏輯隔離的單位一個 RabbitMQ 服務(wù)上可以建多個 vhost每個 vhost 擁有自己獨立的 Exchange、Queue、Binding互相看不到對方。實際項目里可以一個環(huán)境一個 vhost比如 dev、test、prod或者一個事業(yè)部一個 vhost。網(wǎng)上很多帖子建議統(tǒng)一使用默認 vhost /我的習慣是永遠給項目單獨建 vhost不只是為了安全更是為了避免不同項目隊列名撞車后互相干擾。2.3 一條消息在服務(wù)端長什么樣消息本身除了 body業(yè)務(wù)數(shù)據(jù)之外還帶著一堆屬性Delivery Mode持久化標志、Headers頭信息表、Timestamp、Message ID、Reply To 等等。理解這些屬性的最好方式就是打開管理臺的隊列頁面點進去看一條消息的 Properties 信息比看文檔記得牢。有一點容易被忽略消息的 Content-Type 和編碼問題。生產(chǎn)端寫入 JSON 字符串時如果用 UTF-8消費端解析時也必須按 UTF-8 處理否則中文會有亂碼排查起來非常繞。建議在 Producer 設(shè)置消息屬性時顯式帶上contentType: application/json和contentEncoding: UTF-8。3. 從安裝到管理臺手把手搭一套本地環(huán)境順便把坑填平3.1 最快的方式是用容器跑起來本地開發(fā)我基本只用 Docker 方式一條命令就能起服務(wù)端不用操心 Erlang 版本依賴問題。注意 RabbitMQ 的鏡像需要包含管理插件對應(yīng) tag 是management比如rabbitmq:3.13-management。只拉默認版鏡像的話進去之后是沒有管理界面的要自己 enable 插件很多人第一步就卡在這里。docker run -d \ --name rabbitmq-dev \ -p 5672:5672 \ -p 15672:15672 \ -v rabbitmq-data:/var/lib/rabbitmq \ rabbitmq:3.13-management5672 是 AMQP 協(xié)議端口15672 是管理界面端口默認賬號密碼都是guest。數(shù)據(jù)目錄掛載到宿主機卷重啟容器鏡像更新時數(shù)據(jù)不會丟。有個細節(jié)值得說明guest賬號默認只允許 localhost 訪問如果你是在遠程服務(wù)器上部署直接用 guest 登錄管理界面會被拒絕。解決辦法是創(chuàng)建新用戶并設(shè)置權(quán)限這是一定會遇到的問題。3.2 管理界面里每個區(qū)域?qū)?yīng)哪個概念登錄管理界面后會看到 Overview總覽、Connections、Channels、Exchanges、Queues、Admin 等模塊。建議養(yǎng)成習慣在 Exchanges 頁面點擊某個交換機往下拉能看到 Binding 列表然后跳轉(zhuǎn)到對應(yīng) Queue再把Binding 和 Routing Key 的對應(yīng)關(guān)系和代碼里的聲明語句逐行對照一遍很多路由問題當場就能發(fā)現(xiàn)是哪里配置錯位了。每個 Queue 頁面還有 Get Messages 功能可以手動拉取消息預(yù)覽。注意這個操作只是把消息抓出來看默認不會重新入隊選Requeue會放回隊列選Reject會丟棄或進入死信手滑點錯可能丟消息。在測試環(huán)境無所謂生產(chǎn)環(huán)境不要隨意點這個按鈕要預(yù)覽消息可以用 UI 的 Quorum Queue 消息瀏覽器普通隊列沒有這個能力。3.3 必會的 rabbitmqctl 命令比起圖形界面我更喜歡命令行因為它是排錯時最可靠的入口。幾條高頻命令# 查看服務(wù)與節(jié)點狀態(tài) rabbitmqctl status # 查看用戶列表 rabbitmqctl list_users # 新建用戶并授權(quán)實際項目里的標準操作 rabbitmqctl add_user dev_user dev_password rabbitmqctl set_permissions -p / dev_user .* .* .* # 查看所有隊列及堆積數(shù)量、消費者數(shù) rabbitmqctl list_queues name messages consumers # 查看交換機對應(yīng)綁定關(guān)系 rabbitmqctl list_bindingslist_bindings這個命令的信息量很大它會把所有 Exchange、Queue、Binding Key 一次性輸出。當路由詭異失效的時候我用它比對代碼聲明和實際綁定通常十分鐘內(nèi)就能定位問題。4. 消息路由親手驗證四種 Exchange 類型的選擇邏輯4.1 Fanout廣播路由配置最簡單Fanout 交換機不看 Routing Key只要消息進入交換機就復(fù)制到所有綁定它的隊列。典型的業(yè)務(wù)場景是廣播通知用戶狀態(tài)變更后所有關(guān)心此事件的系統(tǒng)都收到通知。聲明方式如下我用 Java 客戶端示例其它語言思路一致Channel channel connection.createChannel(); channel.exchangeDeclare(event.user.change, BuiltinExchangeType.FANOUT, true); String queueA queue.user.sms; String queueB queue.user.search; // 交換機與隊列建立綁定Binding Key 傳空即可 channel.queueDeclare(queueA, true, false, false, null); channel.queueDeclare(queueB, true, false, false, null); channel.queueBind(queueA, event.user.change, ); channel.queueBind(queueB, event.user.change, ); channel.basicPublish(event.user.change, , null, messageBody.getBytes());有一點要注意如果消費者不在線消息會一直存在隊列里等消費者恢復(fù)后再消費。這算是好消息也是壞消息——好消息是不丟壞消息是隊列堆積會持續(xù)占內(nèi)存。廣播場景尤其要關(guān)注消費者處理速度和隊列堆積水位。4.2 Direct精確匹配的點對點業(yè)務(wù)Direct 交換機的路由規(guī)則非常簡單消息的 Routing Key 和 Binding Key 完全相等才算匹配。處理訂單這種有點對點性質(zhì)的業(yè)務(wù)時最常用。channel.exchangeDeclare(exchange.order, BuiltinExchangeType.DIRECT, true); channel.queueDeclare(queue.order.pay, true, false, false, null); channel.queueBind(queue.order.pay, exchange.order, order.pay.success); // 發(fā)消息時帶上精確路由鍵 channel.basicPublish(exchange.order, order.pay.success, null, payload.getBytes());如果消息的 Routing Key 沒有匹配到任何綁定Direct 交換機會直接把消息丟掉。生產(chǎn)環(huán)境最怕這種靜默丟失所以我建議在發(fā)布端接上確認機制后面可靠性部分細說發(fā)布返回值能明確告訴你這條消息是否被路由到了隊列。4.3 Topic用通配符做靈活的細粒度路由Topic 交換機的匹配規(guī)則是Routing Key 用點號分割*匹配一個詞#匹配零個或多個詞。它處于 Fanout 和 Direct 中間適合復(fù)雜業(yè)務(wù)規(guī)則的訂閱需求。假設(shè)有股票行情系統(tǒng)# 路由鍵結(jié)構(gòu)market.usd.price queue.usd.all 綁定 market.usd.# queue.price.all 綁定 market.#.price queue.usd.price 綁定 market.usd.price發(fā)一條market.usd.price消息三個隊列都能收到。如果只發(fā)market.usd那么#可以匹配零段但*必須匹配一個精確詞具體表現(xiàn)要看綁定寫法。正因為規(guī)則比 Direct 復(fù)雜配錯 Binding Key 是 Topic 模式最常見的線上事故我的經(jīng)驗是先寫一個小腳本或直接在管理臺手動發(fā)測試消息驗證路由再上代碼。4.4 Headers什么時候才值得用Headers 交換機不看 Routing Key而是根據(jù)消息 Header 里的鍵值對做匹配配合x-match參數(shù)all表示所有指定 Header 都要匹配any表示任意一個匹配即可。它能實現(xiàn)按消息屬性路由這種超靈活的需求。實際項目里用 Headers 的場景真的很少。一是它的路由復(fù)雜度讓調(diào)用方很難直觀理解二是 Header 匹配性能不如前三種三是在管理臺上排查路由關(guān)系也更麻煩。如果需求只是根據(jù)幾個條件組合分發(fā)我更建議在生產(chǎn)者里把條件組合成標準 Routing Key然后交給 Topic 交換機處理。除非是歷史遺留代碼已經(jīng)這么寫了否則新設(shè)計我基本不推薦 Headers。5. 如何保證消息不丟從一條消息的生命周期拆解可靠性5.1 消息會死在哪個環(huán)節(jié)要討論可靠性先得把一條消息從生產(chǎn)到消費經(jīng)歷的路程畫出來生產(chǎn)者客戶端發(fā)送消息經(jīng)過網(wǎng)絡(luò)到 BrokerBroker 寫到 Exchange路由到 QueueQueue 落盤/內(nèi)存存儲消費者拉取消息處理業(yè)務(wù)后返回確認。丟消息的位置就四個生產(chǎn)端發(fā)出前網(wǎng)絡(luò)閃斷導(dǎo)致根本沒送到 Broker生產(chǎn)者發(fā)出后消息被路由到不存在的隊列且交換機類型不匹配路由鍵消息被丟棄Broker 側(cè)收到消息后沒做持久化服務(wù)重啟數(shù)據(jù)丟失消費者拉取消息后在處理完成之前崩潰服務(wù)端認為消息已被消費每個環(huán)節(jié)都有對應(yīng)的防御手段生產(chǎn)者確認、Exchange 與 Queue 持久化、消費者手動 ACK。下面逐項展開。5.2 持久化配置三層都要設(shè)缺一層都不保險消息持久化不是一個開關(guān)而是三條獨立的持久化設(shè)置同時生效Exchange 聲明時設(shè)置durabletrueQueue 聲明時設(shè)置durabletrue發(fā)布消息時設(shè)置MessageProperties.PERSISTENT_TEXT_PLAINDelivery Mode 2只把 Queue 設(shè)成持久化但發(fā)布消息時是默認非持久化服務(wù)重啟后 Queue 還在里面的消息還是丟了。只把消息設(shè)成持久化但 Queue 不是持久化那 Queue 本身重啟就沒了。三個條件必須同時滿足消息才能真正扛住 Broker 重啟。這個細節(jié)我見很多人踩過包括當年的我自己。還有一個邊界情況即使三層持久化都做了也只能保證Broker 不丟已確認的消息不能保證磁盤損壞這種極端故障。真要跑到金融級可靠性得靠后面的鏡像隊列或 Quorum 隊列做主從副本。5.3 生產(chǎn)端確認與消費端確認雙向都要簽字生產(chǎn)端確認也就是 Publisher Confirm 機制。開啟后Broker 每收到一條消息并成功落盤后會回一個 Confirm 應(yīng)答。在 Java 客戶端里開啟方式很簡單channel.confirmSelect(); channel.basicPublish(exchange.order, order.pay.success, null, payload.getBytes()); // 同步等待確認會阻塞直到 Broker 應(yīng)答 if (channel.waitForConfirms()) { // 消息確認成功 } else { // 消息確認失敗需要記錄并重發(fā) }生產(chǎn)端確認能解決消息發(fā)出但沒送達到 Broker 的問題。一旦沒有收到確認業(yè)務(wù)側(cè)要負責重發(fā)。另外這里經(jīng)常有人把 Confirm 和事務(wù)混為一談RabbitMQ 的txSelect()事務(wù)機制也能做但性能損耗太大一個事務(wù)要額外幾次 RTT現(xiàn)代項目基本不用它用 Confirm 就好。消費端確認是在消費者接收消息之后處理完業(yè)務(wù)邏輯后顯式basicAck而不是使用自動確認模式。自動確認本質(zhì)是服務(wù)端發(fā)消息就算消費成功一旦處理過程拋異常消息就沒了。改成手動確認才有重試和死信的機會public void handleMessage(String message, Channel channel, long deliveryTag) throws IOException { try { // 業(yè)務(wù)處理 channel.basicAck(deliveryTag, false); } catch (Exception e) { // 第三個參數(shù)是否重新回到隊列 channel.basicNack(deliveryTag, false, false); } }basicNack最后一個參數(shù)值得你認真想清楚requeuetrue會把消息放回原隊列如果消費者總是處理失敗這條消息就會無限循環(huán)刷爆日志也影響后續(xù)正常消息。更穩(wěn)妥的做法是requeuefalse讓它進死信隊列后面單獨處理。5.4 死信隊列和延遲消息最實用的進階玩法死信隊列DLX是 RabbitMQ 能力組合的經(jīng)典產(chǎn)物。一個隊列可以被指定死信交換機當隊列里的消息出現(xiàn)以下情況時消息會被投遞到死信交換機消費者調(diào)用basicReject/basicNack且requeuefalse消息設(shè)置了存活時間 TTL到期未被消費隊列已滿無法容納新消息有了死信隊列業(yè)務(wù)代碼可以專門監(jiān)聽處理失敗的消息做告警、人工介入或補償。這個機制通常也是實現(xiàn)延遲消息的基礎(chǔ)方案先把消息發(fā)到帶 TTL 的隊列等到消息過期后投遞到死信交換機再由死信交換機路由到實際處理隊列。這樣不需要額外中間件只靠 RabbitMQ 自帶屬性就能實現(xiàn)定時延遲效果。實現(xiàn)要點是 TTL 放在隊列上比放在單條消息上更可控。每個隊列通過x-message-ttl參數(shù)設(shè)置過期時間再綁定x-dead-letter-exchange和x-dead-letter-routing-key。我實際項目中用這個方案做過訂單超時關(guān)閉延遲 30 分鐘、1 小時、1 天分別建了不同 TTL 的隊列雖然隊列數(shù)量多一些但延遲粒度清楚可控。6. Spring Boot 集成生產(chǎn)級監(jiān)聽的正確姿勢6.1 起步依賴和最小配置Spring Boot 接入 RabbitMQ 的主要依賴是dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-amqp/artifactId /dependency隨后在配置文件中聲明連接信息spring: rabbitmq: host: 127.0.0.1 port: 5672 username: dev_user password: dev_password virtual-host: / publisher-confirm-type: correlated publisher-returns: truepublisher-confirm-type: correlated和publisher-returns: true必須要開。前者讓RabbitTemplate在消息送達 Broker 后觸發(fā)確認回調(diào)后者在消息無法路由時觸發(fā) ReturnedMessage 回調(diào)這樣生產(chǎn)端才能知道消息到底有沒有路由成功。默認關(guān)閉的話消息發(fā)出去就是聽天由命。6.2 RabbitListener 的并發(fā)與手動確認監(jiān)聽器寫法很簡潔Component public class OrderPayConsumer { RabbitListener(queues queue.order.pay, ackMode MANUAL) public void onMessage(String message, Channel channel, Header(AmqpHeaders.DELIVERY_TAG) long tag) throws IOException { try { // 執(zhí)行業(yè)務(wù)邏輯 System.out.println(received: message); channel.basicAck(tag, false); } catch (Exception e) { channel.basicNack(tag, false, false); // 記錄業(yè)務(wù)失敗次數(shù)超過閾值走死信 } } }ackMode MANUAL對應(yīng)前面講的手動確認。Spring Boot 默認其實是自動確認對大多數(shù)內(nèi)部接口夠用但一旦業(yè)務(wù)處理中間出現(xiàn)異常消息就靜默丟失了。要達到我在第 5 節(jié)說的可靠性這里必須改成手動。并發(fā)參數(shù)也很關(guān)鍵。RabbitListener默認單線程消費處理慢時消息容易堆積。可以在配置類里定制容器工廠Bean public SimpleRabbitListenerContainerFactory rabbitListenerContainerFactory(ConnectionFactory connectionFactory) { SimpleRabbitListenerContainerFactory factory new SimpleRabbitListenerContainerFactory(); factory.setConnectionFactory(connectionFactory); factory.setPrefetchCount(50); factory.setConcurrentConsumers(5); factory.setMaxConcurrentConsumers(15); return factory; }prefetchCount表示每個消費者從隊列預(yù)取多少條消息。設(shè)得太大消息全部給到當前消費者其它消費者閑置設(shè)得太小性能上不去。我一般從 50 起步配合concurrentConsumers觀察積壓量再調(diào)整。這個參數(shù)不是越大越好關(guān)鍵看單個消息的處理時長。6.3 重試和異常處理別讓消息陷入死循環(huán)Spring Boot 默認的消息重試策略是defaultRequeueRejectedfalse3.1 之前是 false更早版本行為不同也就是說處理失敗的消費會被直接拒絕并放回隊列。放回隊列后若依然失敗就無限循環(huán)。所以我會在配置里顯式關(guān)掉無限重試改用有限重試加死信spring: rabbitmq: listener: simple: retry: enabled: true max-attempts: 3 initial-interval: 2s multiplier: 2這樣做的問題在于Spring 重試只是重新調(diào)用監(jiān)聽器方法如果最終還是失敗默認行為還是會把消息確認掉等于重試 3 次后放棄。所以生產(chǎn)環(huán)境我通常會配合RabbitTemplate的 ReturnCallback 和死信隊列在最后一次失敗后做告警或進入死信由人工處理。性能方面有一個很實際的坑如果監(jiān)聽的隊列有多個消費者實例部署在不同節(jié)點消息會被負載均衡分發(fā)這時候冪等設(shè)計是硬性要求。同一個訂單可能被重試多次或分給不同實例消費端一定要保證同一條消息重復(fù)執(zhí)行和執(zhí)行一次結(jié)果一致通常用唯一業(yè)務(wù) ID 去重表來實現(xiàn)。7. 集群、鏡像隊列與 Quorum 隊列高可用方案的兩種思路7.1 普通集群到底解決了什么問題RabbitMQ 的默認集群模式多個節(jié)點組成邏輯上的一個 Broker。元數(shù)據(jù)Exchange、Queue、Binding、權(quán)限會在集群內(nèi)同步但隊列內(nèi)容和消息數(shù)據(jù)只存在于隊列所在節(jié)點其它節(jié)點不復(fù)制消息數(shù)據(jù)。也就是說一個節(jié)點宕機它負責的隊列短暫不可用除非客戶端連到了持有數(shù)據(jù)的那臺節(jié)點否則無法消費。這種模式的價值是橫向擴展吞吐量不是高可用。三個節(jié)點分擔大量隊列和連接單點壓力變小。但如果你追求節(jié)點掛掉消息不丟、服務(wù)不斷普通集群是不夠的。7.2 鏡像隊列與腦裂風險鏡像隊列Mirrored Queue把隊列的完整數(shù)據(jù)復(fù)制到指定的多個節(jié)點上。方式是在隊列聲明時加x-ha-policy: all隊列在每個節(jié)點都會有一份完整數(shù)據(jù)其中一個節(jié)點為主節(jié)點其它為鏡像。主節(jié)點宕機后從鏡像中選一個提升為主節(jié)點業(yè)務(wù)繼續(xù)。鏡像隊列的代價是寫放大每條消息要同步到所有鏡像節(jié)點后才算確認完成延遲和吞吐都會有損耗。還有更頭疼的腦裂問題網(wǎng)絡(luò)分區(qū)時節(jié)點之間無法確認對方狀態(tài)可能各自選出新的主節(jié)點導(dǎo)致隊列數(shù)據(jù)出現(xiàn)分裂。RabbitMQ 的默認處理策略是少數(shù)派停止服務(wù)避免出現(xiàn)腦裂后數(shù)據(jù)不一致但這意味著集群的可用性會暫時降低。用鏡像隊列時我的建議是集群節(jié)點數(shù)至少 3 個奇數(shù)個節(jié)點更方便仲裁不要跨機房部署同一個鏡像組跨機房網(wǎng)絡(luò)延遲會把這個系統(tǒng)的性能拖垮網(wǎng)絡(luò)分區(qū)策略要提前想好到底是用autoheal、pause_minority還是pause_if_all_down這個配置在線上出問題時如果沒定清楚人會非?；?。7.3 Quorum 隊列數(shù)據(jù)安全優(yōu)先的新默認選擇RabbitMQ 3.8 之后引入的 Quorum 隊列基于 Raft 協(xié)議做復(fù)制。每條消息獲得多數(shù)節(jié)點確認后才算寫入成功同樣支持故障轉(zhuǎn)移。和鏡像隊列比它在網(wǎng)絡(luò)分區(qū)時表現(xiàn)更穩(wěn)定遵循 Raft 的選主規(guī)則不容易出現(xiàn)腦裂而且性能損耗更可控?，F(xiàn)在的項目如果是從零開始建我會直接考慮 Quorum 隊列而不是鏡像隊列。它還能配合管理界面直接瀏覽消息內(nèi)容排查問題比普通隊列方便很多。如果你接手的是老項目暫時不需要立刻遷移但新隊列盡量用 Quorum。唯一要注意的是 Quorum 隊列的特性跟普通隊列有差異比如不支持immediate標志、消息不一定嚴格 FIFO但有確定順序這些在遷移時要提前排查。8. 性能調(diào)優(yōu)與踩坑復(fù)盤我常用的參數(shù)和排錯路徑8.1 幾個想重點標記的參數(shù)下面是我不論項目多小都會設(shè)置的清單整理成一張表方便對照配置項推薦起點說明prefetchCount50消費者預(yù)取數(shù)量處理快的任務(wù)可以加大到 100concurrentConsumers5監(jiān)聽器初始并發(fā)數(shù)maxConcurrentConsumers15超過后不再增加消費者receiveTimeout1000隊列為空時拉取超時避免空轉(zhuǎn)channel-cache-size100緩存 Channel 數(shù)量publisher-confirm-typecorrelated生產(chǎn)確認必須開publisher-returnstrue路由失敗必須通知還有一個被反復(fù)忽略的問題消息體大小。RabbitMQ 對單條消息沒有硬性限制但實際斷言過大的消息會拖慢整個集群。我在項目里碰過有人把整個 Excel 轉(zhuǎn)成 JSON 塞消息一條幾 MB結(jié)果隊列吞吐直接趴窩。建議業(yè)務(wù)消息體控制在幾十 KB 以內(nèi)超過這個規(guī)模的走文件存儲消息里放文件路徑即可。8.2 消息堆積、消費停滯和連接異常三條排查鏈路消息堆積是最常見的告警項。排查思路第一步用rabbitmqctl list_queues name messages consumers看堆積量再對比消費者數(shù)量如果消費者數(shù)是 0說明消費端沒連上或監(jiān)聽器沒起來如果消費者數(shù)正常但消息不減說明消費者在處理時被卡住或處理速度跟不上生產(chǎn)速度。消費停滯時我先看rabbitmqctl list_channels | grep找到對應(yīng)信道確認prefetch_count和unacked數(shù)量。unacked數(shù)量高說明消費者已經(jīng)拉走了消息但遲遲沒有 ACK大概率處理邏輯出問題或線程阻塞了。這時候去消費者服務(wù)的線程棧通常能一眼看到是被什么調(diào)用卡住了。連接異常時有個坑客戶端默認的心跳超時如果網(wǎng)絡(luò)質(zhì)量不好服務(wù)端認為客戶端死了會主動關(guān)閉連接。連接頻繁斷開-重連又會產(chǎn)生一批未確認消息重復(fù)消費。癥狀是消息偶爾重復(fù)、日志滿屏連接重置。解決辦法是調(diào)整心跳間隔比如在連接工廠里把requestedHeartbeat設(shè)置為 30 秒而不是用默認的 60 秒或自動協(xié)商值。另外客戶端所有連接都應(yīng)該設(shè)置automaticRecoveryEnabledtrue否則一次網(wǎng)絡(luò)抖動就可能永久斷連。8.3 關(guān)于重試冪等和監(jiān)控體系的經(jīng)驗把重試次數(shù)、消費耗時、隊列堆積、未確認數(shù)這些指標接入監(jiān)控比平時多花半天時間但線上出問題時能省下好幾個不眠夜。RabbitMQ 的 management 插件自帶 Prometheus 端點只需在配置文件里開啟management.enable_prometheus_apitrueGrafana 里用現(xiàn)成的 RabbitMQ 面板就能快速搭起來。最后再分享一個經(jīng)驗任何 RabbitMQ 相關(guān)的代碼改動最好先寫一個小型路由自測測試類用臨時隊列驗證 Exchange、Routing Key、Binding 是否符合預(yù)期。我每次排查線上路由問題都覺得當初如果沒有這套自測腳本定位時間至少翻倍。消息中間件的好處是很多問題能在線下環(huán)境復(fù)現(xiàn)把基礎(chǔ)的路由規(guī)則吃透再多線上疑難案例也能還原成某個概念沒理解透這一個原因。