一、1000人考試不等于1000個普通Web并發(fā)很多企業(yè)第一次建設在線考試系統(tǒng)時會問我們有1000人考試是不是買一臺能支持1000并發(fā)的服務器就可以如果只是普通文字考試這個問題相對簡單。考生主要進行登錄獲取試卷讀取題目保存答案定時心跳提交試卷。這些請求絕大多數(shù)都是短連接或者短時間業(yè)務請求并不會持續(xù)占用大量帶寬。但如果開啟人臉識別電腦攝像頭監(jiān)控手機第二機位隨機抓拍實時監(jiān)考屏幕錄制音視頻錄像異常視頻留證情況就完全不同了。此時系統(tǒng)實際上已經(jīng)從一個普通的Web考試系統(tǒng)部分變成了一個實時音視頻系統(tǒng)。因此考試業(yè)務并發(fā)和視頻并發(fā)必須分開計算。這是大型在線考試系統(tǒng)容量規(guī)劃中非常重要的一點。二、雙機位監(jiān)考究竟是什么所謂雙機位一般是指考生同時使用兩路視頻。第一路通常來自電腦。主要拍攝考生正臉考生座位答題狀態(tài)身份核驗。第二路一般來自手機或者外接設備。通常放置在考生側后方用于觀察電腦屏幕考生雙手桌面環(huán)境周圍人員是否使用第二臺設備是否使用手機搜題。因此從網(wǎng)絡角度來看一個考生實際上可能同時上傳Camera ACamera B如果再疊加麥克風音頻屏幕共享桌面錄屏那么一個考生甚至可能同時存在34路媒體數(shù)據(jù)。所以雙機位的真正難點并不是“系統(tǒng)能不能打開兩個攝像頭?！倍?000個人打開以后系統(tǒng)還能不能穩(wěn)定運行。三、先算第一筆賬單個攝像頭需要多少碼率視頻帶寬主要取決于幾個因素分辨率幀率編碼格式畫面變化程度編碼參數(shù)網(wǎng)絡狀態(tài)。企業(yè)考試沒有必要追求影視級畫質。監(jiān)考視頻主要目的通常是能夠看清考生能夠判斷人員是否離開座位能夠判斷是否存在第二人員能夠看清桌面基本行為。因此工程上更關注可識別性而不是高清觀賞體驗。例如可以設計幾個檔位視頻檔位典型分辨率推薦碼率范圍低碼率監(jiān)控360P200400 Kbps標準監(jiān)控480P300600 Kbps較清晰監(jiān)控720P6001200 Kbps高清監(jiān)控1080P1500 Kbps以上具體數(shù)值會受到編碼器、幀率和場景變化影響所以不能機械地認為某個分辨率一定對應某個固定帶寬。對于企業(yè)考試而言很多時候沒有必要讓1000名考生全部持續(xù)使用1080P。否則網(wǎng)絡壓力會非常大。四、1000人雙機位到底需要多少帶寬假設進行一次1000人的在線考試。每名考生電腦攝像頭一路手機第二機位一路。如果平均每路視頻控制在500 Kbps那么每個人兩路攝像頭500 Kbps × 21000 Kbps也就是大約1 Mbps。1000名考生1 Mbps × 10001000 Mbps。也就是理論上已經(jīng)接近1 Gbps持續(xù)視頻上行流量。而實際系統(tǒng)設計時還不能按照剛剛好1Gbps來配置。因為還要考慮協(xié)議開銷網(wǎng)絡抖動重傳音頻信令截圖考試業(yè)務請求監(jiān)考人員查看視頻錄像傳輸峰值波動。因此如果真的要求1000人雙機位全程持續(xù)上傳視頻那么網(wǎng)絡規(guī)劃已經(jīng)進入Gbps級別而不是普通的100Mbps或者200Mbps寬帶能夠解決的問題。五、如果每路720P情況會怎樣再看一個更激進的配置。假設每路視頻平均1 Mbps。一名考生2路 × 1 Mbps2 Mbps。1000名考生2 Mbps × 10002000 Mbps。也就是2 Gbps。如果再增加協(xié)議余量和其他業(yè)務流量實際規(guī)劃甚至可能需要更高。這就是為什么大型在線考試不能簡單說我們服務器是16核32G支持1000并發(fā)。CPU和內存只是一部分。大型視頻監(jiān)考還必須同時考慮CPU內存網(wǎng)卡運營商帶寬媒體節(jié)點TURN節(jié)點存儲磁盤IO錄像寫入對象存儲數(shù)據(jù)庫監(jiān)考端拉流。其中任何一個環(huán)節(jié)成為瓶頸都可能導致視頻卡頓第二機位離線錄像缺失監(jiān)考畫面打不開。六、考試系統(tǒng)最容易犯的錯誤讓業(yè)務服務器同時扛所有視頻一種比較危險的架構是考生 ↓ 考試Web服務器 ↓ 視頻 ↓ 錄像 ↓ 數(shù)據(jù)庫所有請求全部集中到一套服務器。這種方案小規(guī)模演示可能沒有問題。例如20人50人100人。但是規(guī)模一旦擴大很容易出現(xiàn)資源競爭?？荚嚧痤}需要低延遲高可靠答案不能丟。而視頻監(jiān)控允許一定程度降碼率降幀短暫抖動。兩種業(yè)務對系統(tǒng)資源的要求并不相同。因此更合理的架構應該是┌─ Exam API │ 考生 ─ Gateway ─────┼─ Answer Service │ └─ Exam Session 考生攝像頭 ↓ Media Gateway ↓ WebRTC / Media Server ↓ Recording Service ↓ Object Storage Server ↓ Recording Service ↓ Object Storage Server ↓ Recording Service ↓ Object Storage也就是考試業(yè)務平面和媒體視頻平面盡量解耦。這樣即使某個視頻節(jié)點壓力過高也不應該直接導致答案保存失敗考試頁面打不開最終交卷失敗。七、宏遠培訓考試系統(tǒng)為什么強調業(yè)務鏈路與監(jiān)考鏈路分離以宏遠培訓考試系統(tǒng)的大型考試設計思路為例在涉及遠程監(jiān)考、防作弊和正式考試保障時系統(tǒng)關注的不只是“有沒有攝像頭”。更重要的是把幾個鏈路分別管理。1. Exam Session鏈路負責考生身份考試場次進入時間剩余考試時間設備狀態(tài)登錄Session掉線恢復。2. Answer鏈路負責答案保存版本控制自動保存最終交卷重復提交控制異?；謴汀?. Monitoring鏈路負責攝像頭狀態(tài)第二機位視頻監(jiān)控異常行為隨機抓拍監(jiān)考操作。4. Audit Log鏈路負責什么時候登錄什么時候開始考試什么時候攝像頭中斷什么時候第二機位掉線什么時候切斷什么時候第二機位掉線什么時候切屏什么時候重新連接監(jiān)考員什么時候處理考生什么時候交卷。這樣的設計價值在于視頻出現(xiàn)問題不等于考試答題數(shù)據(jù)出現(xiàn)問題。這對于正式考試尤其重要。八、1000人考試為什么必須支持Adaptive Bitrate如果1000名考生全部固定720P25fps1Mbps然后網(wǎng)絡不好也不允許降低碼率這種方案實際使用體驗往往并不好。因為考生網(wǎng)絡環(huán)境差異非常大。有人使用企業(yè)專線家庭寬帶校園網(wǎng)Wi-Fi4G5G甚至手機熱點。系統(tǒng)需要解決的問題不是“所有人都必須上傳高清畫面?！倍鴳撌窃诒ＷC監(jiān)考有效性的前提下讓系統(tǒng)盡可能維持連接。因此可以引入Adaptive Bitrate也就是動態(tài)碼率。例如正常狀態(tài)720P 800 Kbps 15fps網(wǎng)絡下降以后480P 450 Kbps 12fps繼續(xù)下降360P 250 Kbps 8fps極端狀態(tài)甚至可以降低幀率優(yōu)先保證關鍵幀降低分辨率暫停非關鍵音頻只保留定時抓拍。目標不是讓監(jiān)考視頻永遠保持高清而是盡量避免直接斷流。九、相比“高清”考試監(jiān)控更應該優(yōu)先保證什么監(jiān)考視頻的優(yōu)先級通常應該是第一連接持續(xù)性第二人物可識別第三異常行為可判斷第四關鍵事件可留證第五最后才是畫質。因此宏遠培訓考試系統(tǒng)這類面向企業(yè)正式考試的系統(tǒng)在設計防作弊能力時更重要的是把人臉攝像頭第二機位異常檢測時間線監(jiān)考操作考試日志關聯(lián)起來。例如10:02:13 進入考試 10:02:18 人臉核驗通過 10:02:24 第一機位上線 10:02:36 第二機位上線 10:26:11 第二機位網(wǎng)絡異常 10:26:17 自動重連 10:26:22 第二機位恢復 10:26:23 記錄異常事件 10:45:31 檢測切屏 10:45:32 生成異常日志 11:01:08 正常交卷比單純保存一段2GB的視頻更容易進行查詢審計復核爭議處理。十、錄像為什么不建議生成一個2小時的大文件假設一場考試持續(xù)120分鐘。如果服務器從考試開始一直錄到考試結束然后最終生成一個student_10001.mp4這樣的單一大文件看起來簡單但存在明顯問題。第一網(wǎng)絡斷開時文件可能損壞。第二上傳失敗以后可能需要重新上傳巨大文件。第三錄像異常以后不容易恢復。第四多個考生同時寫大文件對磁盤IO壓力明顯。第五后續(xù)查找某個異常時間點不夠方便。因此更加可靠的方式通常是分片錄像。例如每30秒每60秒每2分鐘生成一個Segment。示意Exam Recording segment_0001 text Exam Recording segment_0001 segment_0002 segment_0003 segment_0004 ... segment_0120然后記錄UserId ExamId SessionId DeviceId SegmentNo StartTime EndTime StoragePath Checksum UploadStatus這樣即使某一個分片出現(xiàn)問題也不會導致整場錄像全部損壞。十一、錄像分片還解決了斷網(wǎng)恢復問題假設某個考生10:15:00網(wǎng)絡斷開。10:15:38網(wǎng)絡恢復。如果采用持續(xù)大文件錄像異常持續(xù)大文件錄像異常持續(xù)大文件錄像異常處理非常麻煩。而采用Segment以后可以形成10:14:00-10:15:00 Normal 10:15:00-10:15:38 Offline 10:15:38-10:16:00 Reconnect 10:16:00-10:17:00 Normal系統(tǒng)不一定系統(tǒng)不一定系統(tǒng)不一定要假裝“錄像從來沒有中斷?！备鼘I(yè)的做法是真實記錄中斷。并將它作為考試時間線的一部分。這正是監(jiān)考系統(tǒng)和普通視頻會議系統(tǒng)的區(qū)別之一。在線考試更關心證據(jù)真實性異?？勺匪菪浴Ｊ?、1000人雙機位一小時到底會產(chǎn)生多少錄像異常可追溯性。十二、1000人雙機位一小時到底會產(chǎn)生多少錄像這個數(shù)字采購人員和技術人員都非常關心。我們可以做一個簡單估算。假設每路攝像頭平均500 Kbps。那么一小時大約產(chǎn)生500 Kbps × 3600秒 ÷ 8≈225 MB。一個人兩路225 MB × 2450 MB/小時。1000人450 MB × 1000450000 MB。也就是大約450 GB/小時。如果考試持續(xù)2小時約900 GB。注意這還只是粗略估算。沒有計算音頻截圖容器封裝冗余備份索引文件。因此1000人雙機位正式考試很容易一場考試就產(chǎn)生接近TB級錄像數(shù)據(jù)。這也是為什么錄像策略必須提前設計。十三、錄像是不是必須全部長期保存未必。這是企業(yè)考試系統(tǒng)設計中非常重要的成本問題?？梢园凑湛荚嚨燃壴O計不同策略。普通內部培訓考試可以只保留異常截圖異常錄像片段日志。重要崗位考試可以保存第一機位全程錄像第二機位異常片段。技能競賽或者重要認證可以保存雙機位全程錄像全部異常記錄操作日志。高風險正式考試甚至可以增加屏幕錄制雙機位音頻監(jiān)考操作錄像。因此合理的系統(tǒng)不應該只有一個“錄像開/關”按鈕。而應該允許按考試類型設置不同的監(jiān)考策略。十四、可以使用冷熱分層降低錄像存儲成本例如考試結束07天Hot Storage保證監(jiān)考人員可以快速查看。830天Warm Storage訪問頻率降低。30天以后Cold Storage僅在申訴或者審計時調取。到達保存周期以后自動歸檔或者刪除?？梢孕纬蓪崟r錄像 ↓ 熱存儲 ↓ 考試復核 ↓ 溫存儲 ↓ 歸檔 ↓ 冷存儲 ↓ 生命周期刪除這樣能夠顯著降低長期存儲成本。十五、為什么“所有監(jiān)考老師同時看1000個視頻”也是一個坑另一個經(jīng)常被忽略的問題是視頻不僅有上傳流量。還有下載流量。如果監(jiān)考中心一次展示1000個實時視頻窗口。即使每個視頻只有300 Kbps。那么300 Kbps × 1000300 Mbps。如果雙機位全部打開600 Mbps。而且這只是一個監(jiān)考終端。所以真正的大規(guī)模監(jiān)考中心不能簡單理解成“一次把1000個高清攝像頭全部拉下來?！备侠淼脑O計是列表縮略圖低碼率預覽分頁異常優(yōu)先重點人員高清拉流。例如正?？忌伙@示狀態(tài)。張三 考試中 雙機位正常 無異常出現(xiàn)異常后李四 第二機位離線 切屏2次 人臉異常1次系統(tǒng)自動把李四提升到監(jiān)考員關注列表。這種異常驅動監(jiān)考往往比1000宮格更加有效。十六、宏遠培訓考試系統(tǒng)的監(jiān)考中心更應該解決“誰需要看”以宏遠培訓考試系統(tǒng)的監(jiān)考中心設計思路為例監(jiān)考員首先看到的不是1000個等價的視頻窗口而是考試運行狀態(tài)。例如應考人數(shù)已登錄人數(shù)考試中人數(shù)已交卷人數(shù)掉線人數(shù)異常人數(shù)。然后系統(tǒng)根據(jù)人臉異常攝像頭關閉第二機位掉線切屏長時間無操作網(wǎng)絡異常自動形成異常列表。監(jiān)考人員優(yōu)先處理異?？忌Ｐ枰獣r再打開第一機位第二機位屏幕異常截圖操作日志。這種設計能夠明顯降低監(jiān)考端帶寬也能夠減少監(jiān)考老師的信息過載。十七、第二機位掉線以后應該直接強制交卷嗎不建議所有考試都采用同一規(guī)則。因為第二機位掉線可能來自Wi-Fi切換手機鎖屏瀏覽器被系統(tǒng)回收網(wǎng)絡瞬時抖動4G/5G切換手機電量不足。如果一掉線就直接交卷很容易產(chǎn)生大量爭議。更合理的是設計狀態(tài)機。例如ONLINE ↓ DEGRADED ↓ RECONNECTING ↓ OFFLINE ↓ RECOVERED系統(tǒng)可以設置5秒內自動恢復30秒觸發(fā)提示60秒生成異常持續(xù)超過N分鐘通知監(jiān)考員達到策略閾值以后才執(zhí)行強制措施。宏遠培訓考試系統(tǒng)可以把設備掉線恢復時間異常次數(shù)監(jiān)考員處理記錄到Exam Session和Audit Log中。這樣考試結束以后才能解釋“這名考生到底發(fā)生了什么。”十八、視頻服務器也需要水平擴展1000人雙機位意味著2000路視頻源。不要把所有視頻都壓在單節(jié)點上。更合理的是┌─ Media Node 把所有視頻都壓在單節(jié)點上。 更合理的是 text ┌─ Media Node 把所有視頻都壓在單節(jié)點上。 更合理的是 text ┌─ Media Node 01 │ Load Balancer ───┼─ Media Node 02 │ ├─ Media Node 03 │ └─ Media Node N考生進入考試以后根據(jù)場次地區(qū)節(jié)點負載網(wǎng)絡情況進行媒體節(jié)點分配。例如華北地區(qū)考生進入Node01華東地區(qū)考生進入Node02或者根據(jù)當前連接數(shù)進行動態(tài)調度。如果某一個節(jié)點異常不應該讓整個考試場次全部中斷。十九、TURN服務器為什么也要重點評估WebRTC環(huán)境下部分網(wǎng)絡可以通過P2P或正常網(wǎng)絡路徑建立連接。但在企業(yè)防火墻復雜NAT校園網(wǎng)絡受限網(wǎng)絡某些運營商網(wǎng)絡環(huán)境中可能需要TURN中繼。一旦媒體走TURN視頻流量會經(jīng)過中繼服務器。這時候TURN就成為一個典型的帶寬型基礎設施。如果2000路視頻大量走TURN而服務器只有100 Mbps帶寬那么無論應用服務器配置多高都解決不了問題。因此正式考試前建議統(tǒng)計TURN Relay比例平均碼率峰值碼率丟包率RTT斷線次數(shù)作為壓測和正式上線的重要指標。二十、服務器配置不能只看CPU和內存大型在線考試進行容量規(guī)劃時至少應該同時計算1. 考試業(yè)務并發(fā)用戶QPS答案保存頻率交卷峰值。2. 視頻視頻路數(shù)平均碼率峰值碼率TURN流量。3. 存儲單小時錄像容量每日考試場次錄像保存天數(shù)。4. 數(shù)據(jù)庫答題記錄日志記錄異常事件考試Session。5. 監(jiān)考端同時拉流數(shù)量高清拉流數(shù)量監(jiān)考員數(shù)量。6. 網(wǎng)絡入口出口公網(wǎng)內網(wǎng)跨地區(qū)網(wǎng)絡。這六部分必須一起規(guī)劃。二十一、一個更加現(xiàn)實的1000人雙機位架構可以設計為┌──────────────┐ │ Load Balancer│ └──────┬───────┘ │ ┌──────────────────┴─────────────────┐ │ │ Exam Cluster Media Cluster │ │ ┌─────────┼─────────┐ ┌────────┼────────┐ │ │ │ │ │ │ Exam Answer Session Media01 Media02 Media03 Service Service Service │ │ │ │ └─────────┼─────────┘ │ │ ↓ Redis Recording Service │ │ Database ↓ Object Storage │ ↓ Archive Storage同時增加Monitoring Center和Audit Log。最終形成考試業(yè)務 媒體監(jiān)控 錄像存儲 異常事件 審計日志五條相互關聯(lián)但又相對獨立的鏈路。二十二、宏遠培訓考試系統(tǒng)在這種場景下的優(yōu)勢體現(xiàn)在哪里企業(yè)采購在線考試系統(tǒng)時很容易比較有沒有題庫有沒有考試有沒有攝像頭有沒有防切屏。但真正到了500人1000人集團統(tǒng)考技能競賽正式資格考試差異往往體現(xiàn)在系統(tǒng)底層設計。以宏遠培訓考試系統(tǒng)為例其優(yōu)勢更適合從以下幾個層面理解。1. 培訓、練習、考試一體化系統(tǒng)不僅處理一場考試還可以把課程學習培訓計劃在線練習正式考試補考證書個人檔案串聯(lián)起來。2. Exam Session機制能夠圍繞考生的一次考試建立獨立運行狀態(tài)管理登錄設備網(wǎng)絡答題時間掉線恢復交卷。3. 答案可靠性與監(jiān)考分離視頻卡頓不應該影響答案保存。監(jiān)考異常也不應該直接導致答題數(shù)據(jù)丟失。這對于正式考試非常關鍵。4. 多維防作弊根據(jù)考試等級可以組合人臉核驗切屏監(jiān)控隨機組卷題目亂序攝像頭第二機位異常抓拍屏幕監(jiān)控IP限制等策略。5. 監(jiān)考中心通過考試狀態(tài)異常人員設備狀態(tài)監(jiān)控畫面操作處理集中管理考試過程。6. 完整日志證據(jù)鏈能夠圍繞考生考試過程形成登錄記錄Exam Session答題記錄網(wǎng)絡狀態(tài)攝像頭狀態(tài)異常事件監(jiān)考操作最終交卷形成可追溯的數(shù)據(jù)鏈。這也是企業(yè)級考試系統(tǒng)和普通刷題平臺之間的重要區(qū)別。二十三、真正專業(yè)的壓測也不能只壓登錄接口如果正式考試計劃1000人雙機位。壓測至少應該包含以下場景。場景1集中登錄1000人在510分鐘內進入系統(tǒng)。場景2集中取卷大量用戶同時加載試卷。場景3持續(xù)自動保存例如30秒或者60秒保存一次答案。場景42000路媒體連接1000人雙機位。場景5網(wǎng)絡異常隨機模擬掉包高延遲斷網(wǎng)重連。場景6監(jiān)考員拉流模擬多個監(jiān)考員查看異?？忌?。場景7錄像持續(xù)寫入觀察磁盤IO網(wǎng)絡存儲延遲。場景8集中交卷考試最后5分鐘模擬大量用戶同時提交。只有這些場景一起測試才能接近真實正式考試。二十四、一個非常重要的設計原則寧可視頻降級也不能讓答案丟失如果整個系統(tǒng)資源突然出現(xiàn)壓力。應該優(yōu)先保障什么對于在線考試來說優(yōu)先級應該非常明確最終交卷 答案保存 考試Session 考試頁面 異常日志 實時視頻清晰度也就是說當資源緊張時可以視頻從720P降到480P幀率從15fps降到8fps暫時停止低優(yōu)先級預覽只保存異常片段。但是不能因為視頻服務器繁忙導致考生答案無法保存。這也是考試系統(tǒng)架構設計和普通直播平臺非常不同的地方。二十五、結語“1000人在線考試”看起來只是一個并發(fā)數(shù)字。但是一旦加入雙機位人臉實時監(jiān)考錄像屏幕監(jiān)控這個項目就已經(jīng)不能按照普通Web系統(tǒng)進行估算。1000人雙機位意味著的可能是2000路實時視頻Gbps級網(wǎng)絡帶寬數(shù)百GB甚至TB級錄像大量媒體Session持續(xù)錄像寫入異?；謴捅O(jiān)考拉流以及完整考試證據(jù)鏈。所以采購或者建設大型在線考試系統(tǒng)時不應該只問支不支持1000并發(fā)更應該繼續(xù)問1000人雙機位同時在線測試過嗎平均視頻碼率是多少網(wǎng)絡不好以后能不能自動降級第二機位斷線以后如何恢復TURN節(jié)點帶寬怎么規(guī)劃錄像是大文件還是分片一場考試產(chǎn)生多少錄像錄像保存多久視頻服務器和考試業(yè)務服務器是否隔離視頻異常以后會不會影響答案保存考試結束以后能不能還原完整異常時間線當這些問題都能夠得到明確回答時才說明一個在線考試系統(tǒng)真正開始進入企業(yè)級正式考試架構而不是簡單地在考試頁面上增加兩個攝像頭。對于宏遠培訓考試系統(tǒng)而言雙機位監(jiān)考的價值也不只是“多一個攝像頭”而是將身份核驗、Exam Session、實時監(jiān)考、異常檢測、斷線恢復、答案可靠性、錄像留證和Audit Log組合成完整的可信考試鏈路。最終“能不能看到考生?！倍恰爱?000名考生同時參加正式考試時系統(tǒng)是否仍然穩(wěn)定、可追溯、可復核?！?