簡(jiǎn)介面向深度學(xué)習(xí)與圖像識(shí)別方向的學(xué)習(xí)者壓縮包提供一套完整的舌苔識(shí)別檢測(cè)系統(tǒng)項(xiàng)目適合畢業(yè)設(shè)計(jì)、課程實(shí)踐或中醫(yī)舌診數(shù)字化研究。源碼基于Python實(shí)現(xiàn)包含PyQt5圖形界面、已訓(xùn)練好的模型權(quán)重及配套畢業(yè)論文完整覆蓋數(shù)據(jù)標(biāo)注、圖像增強(qiáng)、DCGAN擴(kuò)充樣本、卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練、舌苔分類與體質(zhì)辨識(shí)等關(guān)鍵流程并與論文中的需求分析、網(wǎng)絡(luò)設(shè)計(jì)相互對(duì)應(yīng)。開發(fā)者可從中學(xué)習(xí)深度模型在醫(yī)學(xué)圖像分類中的落地方法也可直接運(yùn)行界面完成舌苔圖像檢測(cè)演示。包內(nèi)共110個(gè)文件主要涉及Python源碼、PyQt5界面文件、模型權(quán)重.pth、論文文檔.docx以及舌象圖像樣本.jpg整體約104.93MB目錄清晰便于按模塊查閱。該壓縮包在CSDN已有536人學(xué)習(xí)下載對(duì)于準(zhǔn)備相關(guān)課題的本科生與研究者而言能夠提供從數(shù)據(jù)準(zhǔn)備到系統(tǒng)實(shí)現(xiàn)的一手參考亦可作為二次開發(fā)和功能擴(kuò)展的基礎(chǔ)。1. 舌苔識(shí)別檢測(cè)系統(tǒng)從模型到界面的完整落地舌苔識(shí)別這個(gè)方向?qū)儆诘湫偷挠?jì)算機(jī)視覺與中醫(yī)診斷交叉場(chǎng)景。做出來的系統(tǒng)不是擺個(gè)實(shí)驗(yàn)室 Demo而是要同時(shí)解決三件事舌象圖片里“舌體在哪、苔色苔質(zhì)怎么量化、結(jié)論怎么讓醫(yī)生看得懂”。這套基于深度學(xué)習(xí)的舌苔識(shí)別檢測(cè)系統(tǒng)最大的價(jià)值在于把過去憑經(jīng)驗(yàn)的“看舌象”轉(zhuǎn)成了可復(fù)現(xiàn)的算法流程。無論你是想快速出一套畢設(shè)級(jí)完整系統(tǒng)還是作為中醫(yī)信息化產(chǎn)品的視覺前端這套方案都能直接作為起點(diǎn)。對(duì)于剛接觸視覺項(xiàng)目的開發(fā)者它能幫你把數(shù)據(jù)集構(gòu)建、模型訓(xùn)練、界面封裝這條鏈路一次走通對(duì)于已經(jīng)在做輔助診斷系統(tǒng)的團(tuán)隊(duì)它的價(jià)值集中體現(xiàn)在“輕量模型 桌面端交互”這種務(wù)實(shí)組合上。系統(tǒng)在技術(shù)選型上走的是成熟路徑檢測(cè)模型負(fù)責(zé)定位舌體分類模型負(fù)責(zé)辨識(shí)苔色與苔質(zhì)PyQt5 界面把模型輸出變成可視化的診斷報(bào)告。我不止一次見過同學(xué)把模型訓(xùn)練得很好最后卻卡在界面集成上所以這篇筆記會(huì)帶著你把每一步跑通。文章里我會(huì)用模擬項(xiàng)目X的經(jīng)驗(yàn)來講解部署和調(diào)試中的思路很多細(xì)節(jié)是跑完一遍流程才會(huì)注意到的。2. 舌象數(shù)據(jù)與預(yù)處理模型效果的上限由這里決定2.1 舌象數(shù)據(jù)集的特點(diǎn)光照與舌體分割是繞不開的兩個(gè)坎舌苔識(shí)別模型的訓(xùn)練數(shù)據(jù)來源大多是從醫(yī)院采集的舌象照片和公開的中醫(yī)舌診圖譜。數(shù)據(jù)有幾個(gè)顯著特點(diǎn)首先舌體在整張圖中的占比差異很大有的圖片舌頭幾乎充滿畫面有的則帶有嘴唇、牙齒甚至面部皮膚其次不同采集設(shè)備拍出的色彩還原度不一樣手機(jī)、單反、醫(yī)用舌象儀之間有明顯差異第三光照條件是最大的干擾項(xiàng)冷白光和暖黃光下的同一舌象色差肉眼可見。從這些特點(diǎn)能推出一個(gè)關(guān)鍵結(jié)論訓(xùn)練之前不做舌體檢測(cè)的模型幾乎不可能穩(wěn)定工作。因?yàn)榉诸惥W(wǎng)絡(luò)對(duì)全局特征敏感背景比例一大注意力就被分散了。所以常見做法是兩步走先用目標(biāo)檢測(cè)模型把舌頭從原圖中框出來再做裁剪和透視校正最后才進(jìn)入分類網(wǎng)絡(luò)。這種做法對(duì)最終識(shí)別效果提升明顯也是這套系統(tǒng)把檢測(cè)和分類分成兩個(gè)環(huán)節(jié)的原因。2.2 舌體檢測(cè)標(biāo)注用 LabelImg 完成矩形框標(biāo)注的實(shí)操標(biāo)注工具我一般推薦 LabelImg它足夠簡(jiǎn)單輸出 Pascal VOC 格式的 XML 文件后續(xù)轉(zhuǎn)成模型訓(xùn)練格式也方便。安裝方式不再贅述直接說標(biāo)注時(shí)的操作規(guī)范。# 創(chuàng)建標(biāo)注環(huán)境并啟動(dòng) LabelImg conda create -n labelimg python3.9 -y conda activate labelimg pip install labelimg labelimg # 啟動(dòng)后打開圖片目錄設(shè)置保存目錄為 XML標(biāo)注時(shí)有一個(gè)操作細(xì)節(jié)值得注意左側(cè)工具欄要提前選成 PascalVOC 模式這樣保存的才是 XML 而不是 YOLO 的 txt。標(biāo)注過程中每個(gè)圖片只需要框出舌體區(qū)域類名統(tǒng)一命名為 tongue?？虻姆秶ㄗh貼著舌緣輪廓走不要包含嘴唇和下唇陰影這部分語(yǔ)義噪聲會(huì)讓檢測(cè)框忽大忽小。2.3 VOC 轉(zhuǎn) YOLO 格式腳本轉(zhuǎn)換與坐標(biāo)歸一化邊界坑檢測(cè)模型的數(shù)據(jù)格式我推薦轉(zhuǎn)成 YOLO 格式的 txt因?yàn)楹罄m(xù)訓(xùn)練腳本和推理腳本都按這個(gè)格式讀取坐標(biāo)。轉(zhuǎn)換的核心是把 XML 里的絕對(duì)坐標(biāo)除以圖片寬高得到 0 到 1 之間的歸一化中心點(diǎn)坐標(biāo)和寬高值。import os import xml.etree.ElementTree as ET def convert_voc_to_yolo(xml_path, out_dir, class_names): tree ET.parse(xml_path) root tree.getroot() img_w int(root.find(size).find(width).text) img_h int(root.find(size).find(height).text) out_lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_names: continue cls_id class_names.index(name) box obj.find(bndbox) x1, y1, x2, y2 [float(box.find(v).text) for v in [xmin, ymin, xmax, ymax]] x1 max(0, min(x1, img_w - 1)) y1 max(0, min(y1, img_h - 1)) x2 max(0, min(x2, img_w - 1)) y2 max(0, min(y2, img_h - 1)) if x2 x1 or y2 y1: continue # 無效框直接跳過 x_c (x1 x2) / 2.0 / img_w y_c (y1 y2) / 2.0 / img_h w (x2 - x1) / img_w h (y2 - y1) / img_h out_lines.append(f{cls_id} {x_c:.6f} {y_c:.6f} {w:.6f} {h:.6f}) if out_lines: with open(os.path.join(out_dir, os.path.splitext(os.path.basename(xml_path))[0] .txt), w) as f: f.write(\n.join(out_lines)) class_names [tongue] # 遍歷所有 XML 調(diào)用 convert_voc_to_yolo(xml_path, labels, class_names)腳本里有幾個(gè)邊界要注意坐標(biāo)裁剪那一步不能省略否則個(gè)別標(biāo)注框越界會(huì)讓訓(xùn)練 loss 直接變成 NaN過濾 x2x1 這種無效框能避免訓(xùn)練時(shí)讀取空標(biāo)注導(dǎo)致數(shù)據(jù)加載中斷類名索引從 0 開始類別多時(shí)錯(cuò)一位就會(huì)全錯(cuò)。轉(zhuǎn)換完成后把 txt 文件和原圖按 YOLO 慣例放到 images 和 labels 兩個(gè)目錄下訓(xùn)練腳本會(huì)按路徑對(duì)應(yīng)去讀。2.4 苔色與苔質(zhì)分類數(shù)據(jù)的組織目錄結(jié)構(gòu)就是標(biāo)簽分類數(shù)據(jù)集的組織方式簡(jiǎn)單直接的做法是用文件夾名當(dāng)標(biāo)簽。建議按“苔色 苔質(zhì)”分別建目錄因?yàn)閮烧咴谂R床上關(guān)注維度不同合并成單一標(biāo)簽會(huì)放大類間混淆。dataset_classify/ ├── train/ │ ├── bai_ni # 白苔膩 │ ├── bai_bo # 白苔薄 │ ├── huang_ni # 黃苔膩 │ ├── huang_bo # 黃苔薄 │ └── ... └── val/ ├── bai_ni └── ...這種目錄結(jié)構(gòu)用 torchvision 的 ImageFolder 接口可以直接加載不需要寫自定義 Dataset。分類標(biāo)簽的命名建議用拼音或英文縮寫中文字段名在 Windows 環(huán)境容易出現(xiàn)編碼問題這一點(diǎn)尤其要注意。數(shù)據(jù)集規(guī)模建議每類不少于 500 張類別不平衡嚴(yán)重時(shí)用加權(quán)采樣具體做法后面講訓(xùn)練時(shí)再展開。3. 模型選型與訓(xùn)練檢測(cè)、分類兩條線并行推進(jìn)3.1 檢測(cè)模型選擇輕量級(jí) YOLO 系列更適合桌面端部署舌體檢測(cè)這個(gè)任務(wù)本身不復(fù)雜——畫面里通常只有一到兩個(gè)目標(biāo)類別只有一類難點(diǎn)主要在尺度變化和邊緣模糊。這種任務(wù)用 YOLOv5s 或 YOLOv8s 這類輕量版本就足夠參數(shù)量適中CPU 上也能勉強(qiáng)推理GPU 上實(shí)時(shí)性很好。盲目上 YOLOv5x 這種大模型對(duì)舌體檢測(cè)沒有額外收益反而讓推理時(shí)間成倍增長(zhǎng)。# tongue.yaml train: dataset_detect/images/train val: dataset_detect/images/val nc: 1 names: [tongue]訓(xùn)練命令相對(duì)固定需要關(guān)注的參數(shù)主要是圖片尺寸和批次大小。舌體檢測(cè)對(duì)分辨率不算敏感640 的輸入尺寸可以滿足要求批次大小根據(jù)顯存調(diào)整6GB 顯存跑 16 沒問題不夠就降到 8損失一點(diǎn)點(diǎn)收斂速度但不會(huì)報(bào) OOM。模型收斂后 mAP0.5 通常能到 0.95 以上畢竟目標(biāo)單一且特征顯著。3.2 分類模型選型ResNet 與 EfficientNet 的實(shí)際對(duì)比苔色苔質(zhì)分類對(duì)顏色紋理細(xì)節(jié)比較敏感網(wǎng)絡(luò)不能太淺。實(shí)踐中用得多的有兩個(gè)方向ResNet50 屬于穩(wěn)妥之選收斂穩(wěn)定參數(shù)適中EfficientNet-B0 在同樣精度下參數(shù)量更小但訓(xùn)練時(shí)需要更強(qiáng)的數(shù)據(jù)增強(qiáng)配合否則容易欠擬合。mobileViT 這類輕量級(jí)網(wǎng)絡(luò)我也試過精度相比 ResNet 略有下降故在 CPU 部署場(chǎng)景有限的情況下還是優(yōu)先推薦 ResNet。import torch.nn as nn from torchvision.models import resnet50 def build_classifier(num_classes, pretrainedTrue): model resnet50(weightsIMAGENET1K_V1 if pretrained else None) in_features model.fc.in_features model.fc nn.Sequential( nn.Dropout(0.3), nn.Linear(in_features, 256), nn.ReLU(inplaceTrue), nn.Dropout(0.2), nn.Linear(256, num_classes) ) return model替換全連接層時(shí)要注意保持 in_features 的一致性做法是先從原模型讀出來再構(gòu)建新層不要寫死 2048否則換網(wǎng)絡(luò)結(jié)構(gòu)就要連帶改。Dropout 加在分類頭里能在一定程度上抑制過擬合因?yàn)樯嘞髷?shù)據(jù)類內(nèi)差異較大模型很容易死記訓(xùn)練集的紋理細(xì)節(jié)。3.3 訓(xùn)練配置與數(shù)據(jù)增強(qiáng)參數(shù)怎么設(shè)才不玄學(xué)訓(xùn)練分類網(wǎng)絡(luò)時(shí)數(shù)據(jù)增強(qiáng)策略和訓(xùn)練超參是決定效果的關(guān)鍵因素。舌象圖片的增強(qiáng)和自然圖像不同常規(guī)的隨機(jī)裁剪縮放固然有用但更要重視的是色彩抖動(dòng)因?yàn)轭伾翘ι诸惖闹苯右罁?jù)但也需要注意避免過度偏離真實(shí)舌色。import torch from torchvision import transforms from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.7, 1.0)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.3, contrast0.3, saturation0.2, hue0.05), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) dataset ImageFolder(dataset_classify/train, transformtrain_transform) loader DataLoader(dataset, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue)訓(xùn)練參數(shù)方面常見做法是 SG 優(yōu)化器配合階梯式學(xué)習(xí)率初始學(xué)習(xí)率設(shè)置在 0.001 到 0.01 之間具體數(shù)值要看數(shù)據(jù)集規(guī)模和任務(wù)難度epoch 設(shè)置 50 到 100 輪用驗(yàn)證集 loss 保存最優(yōu)權(quán)重。損失函數(shù)用帶權(quán)重的 CrossEntropyLoss類別樣本數(shù)差異大時(shí)一定要啟用權(quán)重參數(shù)否則樣本量大的類別會(huì)主導(dǎo)梯度更新。from torch.nn import CrossEntropyLoss class_weights torch.tensor([1.0, 1.2, 1.5, 0.8, 1.3]) # 按各類樣本占比的倒數(shù)平滑 criterion CrossEntropyLoss(weightclass_weights)一個(gè)容易被忽略的參數(shù)是驗(yàn)證集變換驗(yàn)證時(shí)只能用 Resize CenterCrop不能加 Random 系列增強(qiáng)否則指標(biāo)會(huì)有波動(dòng)。4. PyQt5 界面集成把模型輸出變成可操作的報(bào)告4.1 界面整體結(jié)構(gòu)與線程設(shè)計(jì)PyQt5 界面在這套系統(tǒng)中的職責(zé)是選擇圖片、展示原圖與檢測(cè)結(jié)果、觸發(fā)分類推理并顯示診斷結(jié)論。界面布局我采用左側(cè)原圖預(yù)覽、右側(cè)結(jié)果面板的兩欄結(jié)構(gòu)底部放一個(gè)“開始識(shí)別”按鈕和日志輸出框。整體設(shè)計(jì)類似一個(gè)檢測(cè)工具類的軟件但核心目標(biāo)很清晰——讓操作者不用接觸代碼就能完成整套識(shí)別流程。界面開發(fā)最需要避開的坑是耗時(shí)操作阻塞主線程。PyTorch 的 GPU 推理雖然快但在 CPU 上跑一次完整流程可能需要幾百毫秒如果直接寫在按鈕的槽函數(shù)里界面會(huì)卡住不動(dòng)。正確做法是利用 QThread 把推理放到后臺(tái)線程主線程只負(fù)責(zé)更新 UI。from PyQt5.QtCore import QThread, pyqtSignal class InferThread(QThread): finished pyqtSignal(dict) def __init__(self, image_path, detect_model, classify_model, device): super().__init__() self.image_path image_path self.detect_model detect_model self.classify_model classify_model self.device device def run(self): result run_pipeline(self.image_path, self.detect_model, self.classify_model, self.device) self.finished.emit(result)這種設(shè)計(jì)需要注意的細(xì)節(jié)是線程里不要再訪問 UI 控件只通過信號(hào)傳遞結(jié)果如果用戶連續(xù)點(diǎn)擊按鈕要設(shè)置 busy 標(biāo)志位防止重復(fù)啟動(dòng)線程。4.2 torch.load 的坑直接加載模型文件為什么會(huì)炸模型加載是集成階段的高頻翻車點(diǎn)。PyTorch 的 state_dict 保存方式有兩種只保存權(quán)重的 .pth 文件和包含完整模型結(jié)構(gòu)的 .pt 文件兩者加載方式完全不同界面啟動(dòng)時(shí)加載不對(duì)就會(huì)報(bào)錯(cuò)。import torch from models.resnet import build_classifier device torch.device(cuda if torch.cuda.is_available() else cpu) # 情況一只有 state_dict必須先構(gòu)建模型再 load model build_classifier(num_classes5) model.load_state_dict(torch.load(classify_best.pth, map_locationdevice)) model.to(device).eval() # 情況二完整模型文件直接加載即可 model torch.load(classify_best.pt, map_locationdevice) model.to(device).eval()很多同學(xué)在訓(xùn)練腳本里用的是 model.state_dict() 保存到了界面端卻按完整模型去 load就會(huì)出現(xiàn) missing keys 或 unexpected keys 的報(bào)錯(cuò)。建議在保存模型時(shí)把優(yōu)化器狀態(tài)、epoch、best_acc 一起打包成字典這樣后面做斷點(diǎn)續(xù)訓(xùn)加載時(shí)能省很多事。加載前打印一遍 model.keys() 花不了幾秒鐘卻能避免后續(xù)排查的大半天時(shí)間。4.3 推理管線編排從原圖到報(bào)告的一體化實(shí)現(xiàn)完整的識(shí)別流程是先用檢測(cè)模型定位舌頭裁剪出舌體區(qū)域后再送入分類模型。這里需要注意兩個(gè)細(xì)節(jié)檢測(cè)框要適度外擴(kuò)不能貼著框邊緣裁剪以免丟失舌緣信息如果檢測(cè)置信度低于某個(gè)閾值界面應(yīng)該給出提示讓用戶重新拍攝而不是硬分類。import cv2 import torch import numpy as np def run_pipeline(image_path, detect_model, classify_model, device, conf_thres0.5, expand_ratio0.1): img cv2.imread(image_path) img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) results detect_model(img_rgb) if len(results.boxes) 0: return {error: 未檢測(cè)到舌體請(qǐng)調(diào)整拍攝角度或光線后重試} box results.boxes[0].xyxy[0].cpu().numpy().astype(int) conf results.boxes[0].conf[0].item() if conf conf_thres: return {error: f舌體檢測(cè)置信度偏低({conf:.2f})建議重新拍攝} x1, y1, x2, y2 box dw, dh int((x2 - x1) * expand_ratio), int((y2 - y1) * expand_ratio) h, w img.shape[:2] x1, y1 max(0, x1 - dw), max(0, y1 - dh) x2, y2 min(w, x2 dw), min(h, y2 dh) crop img_rgb[y1:y2, x1:x2] crop cv2.resize(crop, (224, 224)) crop_tensor torch.from_numpy(crop.transpose(2, 0, 1)).float().div(255) crop_tensor crop_tensor.unsqueeze(0).to(device) with torch.no_grad(): logits classify_model(crop_tensor) prob torch.softmax(logits, dim1) idx torch.argmax(prob, dim1).item() conf prob[0, idx].item() return {box: box.tolist(), class_id: idx, class_name: class_names[idx], confidence: conf}推理管線里幾個(gè)關(guān)鍵參數(shù)值得留意expand_ratio 外擴(kuò)比例取 0.1 比較合適外擴(kuò)太多會(huì)把嘴唇和背景納入分類區(qū)域干擾苔色判斷分類模型的輸入尺寸要和訓(xùn)練時(shí)一致否則預(yù)處理統(tǒng)計(jì)量不匹配會(huì)帶來精度下降softmax 后的置信度是給界面展示用的而訓(xùn)練時(shí)用的 CrossEntropyLoss 自帶 softmax兩者不要弄混。4.4 界面結(jié)果展示與狀態(tài)管理結(jié)果展示部分需要同時(shí)呈現(xiàn)檢測(cè)框圖片、苔質(zhì)苔色結(jié)論、置信度三個(gè)信息。檢測(cè)框的繪制在 QPixmap 上同步進(jìn)行不能只畫在原始圖像矩陣?yán)镆驗(yàn)榻缑骘@示的圖片經(jīng)過了縮放適配。建議繪制時(shí)把檢測(cè)框坐標(biāo)按縮放比例映射回顯示坐標(biāo)系才能讓框和舌頭位置準(zhǔn)確對(duì)應(yīng)。def update_result(self, result_dict): if error in result_dict: self.result_label.setText(result_dict[error]) return box result_dict[box] self.result_label.setText( f舌苔類型{result_dict[class_name]}\n f置信度{result_dict[confidence]:.2%} ) self.draw_box(box)狀態(tài)管理方面要注意按鈕的可用狀態(tài)切換推理中禁用按鈕避免重復(fù)點(diǎn)擊、等待檢測(cè)結(jié)果時(shí)清空舊結(jié)果、遇到錯(cuò)誤時(shí)恢復(fù)按鈕可用狀態(tài)。這些看似瑣碎的細(xì)節(jié)往往比模型調(diào)參更影響實(shí)際使用體驗(yàn)。5. 部署與模型壓縮讓系統(tǒng)在 CPU 上也能有可用體驗(yàn)5.1 模型格式轉(zhuǎn)換與推理框架選型純 PyTorch 的加載推理方式在 GPU 環(huán)境下表現(xiàn)良好但若目標(biāo)是普通辦公電腦 CPU 部署那么換成 ONNX Runtime 或者 OpenVINO 會(huì)有明顯效果提升——同樣的模型轉(zhuǎn)換后推理耗時(shí)往往能下降到原始版本的一半甚至更少。import torch # 以分類模型為例導(dǎo)出 ONNX model build_classifier(num_classes5) model.load_state_dict(torch.load(classify_best.pth, map_locationcpu)) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, classify.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version12 )導(dǎo)出 ONNX 時(shí)有兩個(gè)細(xì)節(jié)dynamic_axes 讓 batch 維度可變這樣推理時(shí)可以傳單張也可以傳多張opset_version 不宜過高舊版 ONNX Runtime 對(duì)高版本算子支持不完整實(shí)際運(yùn)行會(huì)報(bào) unsupported operator 錯(cuò)誤。5.2 推理函數(shù)的替換ONNX Runtime 接口與 PyTorch 的差異換用 ONNX Runtime 后推理函數(shù)的寫法完全不同尤其要注意輸入數(shù)據(jù)的格式和維度順序。PyTorch 模型直接接收 tensor而 ONNX Runtime 需要 numpy 數(shù)組并且要指定輸入輸出節(jié)點(diǎn)名稱。import onnxruntime as ort import numpy as np class OnnxClassifier: def __init__(self, onnx_path, device_index0): providers [CUDAExecutionProvider, CPUExecutionProvider] if device_index 0 else [CPUExecutionProvider] self.session ort.InferenceSession(onnx_path, providersproviders) self.input_name self.session.get_inputs()[0].name self.output_name self.session.get_outputs()[0].name def predict(self, tensor_np): # tensor_np: (1, 3, 224, 224) float32 numpy outs self.session.run([self.output_name], {self.input_name: tensor_np}) return outs[0]大多數(shù) ONNX 部署的報(bào)錯(cuò)集中在 provider 指定上。CUDAExecutionProvider 前置的情況下如果當(dāng)前機(jī)器沒有 GPU 或 CUDA 庫(kù)不匹配初始化會(huì)報(bào)錯(cuò)。穩(wěn)妥的做法是先嘗試全部 provider失敗就回退到 CPU。5.3 量化INT8 對(duì)舌苔識(shí)別精度的影響有多大想要進(jìn)一步壓縮模型體積可以考慮 INT8 量化。PyTorch 的量化分為訓(xùn)練后動(dòng)態(tài)量化和靜態(tài)量化。對(duì)分類模型來說靜態(tài)量化通常能把模型體積縮小到約四分之一推理速度提升 1.5 到 2 倍但精度損失需要實(shí)測(cè)確定——舌苔分類對(duì)顏色和紋理細(xì)節(jié)比較敏感量化后掉點(diǎn)可能比自然圖像分類更明顯。model_fp32 build_classifier(num_classes5) model_fp32.load_state_dict(torch.load(classify_best.pth, map_locationcpu)) model_fp32.eval() model_quantized torch.quantization.quantize_dynamic( model_fp32, {torch.nn.Linear}, dtypetorch.qint8 ) torch.save(model_quantized.state_dict(), classify_quantized.pth)一個(gè)實(shí)操建議在已經(jīng)完成系統(tǒng)開發(fā)和部署之后量化優(yōu)化可以作為后續(xù)版本迭代的一部分來推進(jìn)。第一版先用 FP32 跑通全流程確認(rèn)檢測(cè)和分類的準(zhǔn)確率達(dá)標(biāo)后再做量化壓縮。如果量化后精度下降明顯退回 FP32 成本并不高留一條后悔藥路徑總歸是好的。6. 常見問題排查與避坑指南6.1 檢測(cè)模型在驗(yàn)證集效果很好但界面上框不住舌頭這個(gè)翻車現(xiàn)象出現(xiàn)頻率很高。模型獨(dú)測(cè)時(shí) mAP 很高但到實(shí)際使用時(shí)對(duì)不上甚至框偏到嘴唇上。原因通常有兩個(gè)第一訓(xùn)練數(shù)據(jù)里全是規(guī)范的正角度舌象照片而實(shí)際使用時(shí)用戶拍的圖可能是仰角、側(cè)面或者舌頭沒有完全伸出的狀態(tài)這屬于典型的數(shù)據(jù)分布不一致第二界面端推理時(shí)縮放的尺寸和訓(xùn)練不一致YOLO 模型對(duì)輸入分辨率有一定要求如果被界面代碼隨意 resize檢測(cè)效果會(huì)退化嚴(yán)重。解決思路要有兩手準(zhǔn)備。一是數(shù)據(jù)層面增加多角度、多光照的樣本模擬用戶真實(shí)拍攝場(chǎng)景二是推理端嚴(yán)格保持訓(xùn)練時(shí)的預(yù)處理流程把 resize 邏輯直接復(fù)用訓(xùn)練代碼里的預(yù)處理函數(shù)不要在界面端重新寫一遍。6.2 分類模型對(duì)黃苔、白苔的判斷總是搖擺不定苔色分類的理想入?yún)⑹穷伾€原度較高的圖像。如果圖片整體偏黃或者偏白分類器就會(huì)不穩(wěn)定同一張舌象在不同顯示器上可能得到不同結(jié)論。產(chǎn)生這個(gè)問題的根源在于訓(xùn)練數(shù)據(jù)里的色調(diào)多樣性和實(shí)際使用環(huán)境的漂移不一致。解決思路包括加強(qiáng) ColorJitter 增強(qiáng)讓模型見過更寬的色域在界面端增加白平衡校正選項(xiàng)讓用戶手動(dòng)調(diào)整后再識(shí)別輸出 Top2 概率而不是只給最高類別當(dāng)兩個(gè)類別概率接近時(shí)提示“黃白苔界限模糊建議結(jié)合臨床診斷”。這類提示看似簡(jiǎn)單但對(duì)實(shí)際醫(yī)療場(chǎng)景的價(jià)值遠(yuǎn)大于盲目輸出一個(gè)不確定的結(jié)論。6.3 界面啟動(dòng)后無響應(yīng)或直接閃退PyQt5 界面閃退通常有幾個(gè)原因模型路徑不存在但代碼沒有判斷、ONNX Runtime DLL 加載失敗、設(shè)備號(hào)超出范圍。排查時(shí)先在純命令行環(huán)境加載模型不要直接啟動(dòng)界面python -c import torch; mtorch.load(classify_best.pt, map_locationcpu); print(model ok) python -c import onnxruntime as ort; sort.InferenceSession(classify.onnx, providers[CPUExecutionProvider]); print(onnx ok)如果這兩步都通過再去檢查界面代碼。QThread 里拋出的異常默認(rèn)不會(huì)導(dǎo)致進(jìn)程崩潰但會(huì)在 Qt 事件循環(huán)里留下未捕獲異常。建議在 run() 方法里包一層 try-except把異常信息通過信號(hào)傳回主界面顯示。class InferThread(QThread): finished pyqtSignal(dict) error pyqtSignal(str) def run(self): try: result run_pipeline(self.image_path, self.detect_model, self.classify_model, self.device) self.finished.emit(result) except Exception as e: self.error.emit(str(e))異常信息在日志框打印出來而不是讓程序直接崩潰這種習(xí)慣做項(xiàng)目時(shí)能節(jié)約大量時(shí)間。6.4 模型加載在 Windows 下路徑報(bào)錯(cuò)Windows 下使用中文路徑或包含中文名的模型文件時(shí)PyTorch 和 OpenCV 偶爾會(huì)出現(xiàn)編碼問題。這需要從根源上避免使用中文路徑和中文文件名統(tǒng)一用英文。另外模型文件放在項(xiàng)目根目錄的 models/ 文件夾里不要放在桌面或下載目錄既方便打包也避免權(quán)限問題。6.5 訓(xùn)練時(shí) loss 不降或直接變成 NaNloss 變成 NaN 的原因多半是學(xué)習(xí)率過大、數(shù)據(jù)里有異常像素值或者標(biāo)注越界。檢測(cè)模型訓(xùn)練時(shí)重點(diǎn)檢查標(biāo)注坐標(biāo)是否全部歸一化到 [0,1] 區(qū)間分類模型訓(xùn)練時(shí)檢查輸入圖片是否有損壞文件。更直接的辦法是降低初始學(xué)習(xí)率從 0.001 開始確認(rèn) loss 正常下降后再逐步加大。7. 系統(tǒng)驗(yàn)證與擴(kuò)展如何確認(rèn)模型真的可靠這套系統(tǒng)做完之后驗(yàn)證是必不可少的一步。舌苔識(shí)別系統(tǒng)的驗(yàn)證不同于普通分類任務(wù)不能只盯著準(zhǔn)確率還要關(guān)注臨床可用性。我通常的做法是準(zhǔn)備一份留出測(cè)試集里面全部是訓(xùn)練階段沒有見過的真實(shí)場(chǎng)景圖片包括不同光照、不同設(shè)備、不同角度然后統(tǒng)計(jì)檢測(cè)成功率和分類混淆矩陣。import numpy as np from sklearn.metrics import confusion_matrix, classification_report def evaluate(model, loader, device): model.eval() all_preds, all_labels [], [] with torch.no_grad(): for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.cpu().numpy()) cm confusion_matrix(all_labels, all_preds) print(classification_report(all_labels, all_preds, target_namesclass_names)) return cm從混淆矩陣?yán)锬芸吹降牟恢皇菧?zhǔn)確率還有具體哪些類別互相混淆。黃苔和白苔之間的混淆是常見問題但這代表的是標(biāo)注標(biāo)準(zhǔn)模糊不是模型缺陷。這時(shí)候要做的是回看標(biāo)注數(shù)據(jù)確認(rèn)標(biāo)注人員之間對(duì)“黃”和“白”的顏色界定是否一致必要時(shí)重新清洗部分標(biāo)簽。擴(kuò)展方向上值得做的改造有把檢測(cè)框的輸出從矩形框升級(jí)為舌體輪廓分割 mask用 U-Net 做舌體分割能拿到更精確的舌體區(qū)域分類輸入質(zhì)量比矩形裁剪好不少把分類網(wǎng)絡(luò)改成多標(biāo)簽輸出——一個(gè)舌頭可以同時(shí)有“薄”和“白”的屬性多標(biāo)簽結(jié)構(gòu)更接近臨床語(yǔ)義在界面端增加批量識(shí)別功能一次導(dǎo)入數(shù)十張圖片自動(dòng)出報(bào)告對(duì)體檢中心這種場(chǎng)景的實(shí)用價(jià)值明顯。對(duì)整個(gè)系統(tǒng)做個(gè)評(píng)價(jià)的話需要清楚它只能提供輔助參考不能替代任何專業(yè)醫(yī)療判斷。界面展示的置信度嚴(yán)格來說明確標(biāo)注“AI 輔助結(jié)果”這在中醫(yī)信息化項(xiàng)目中既是對(duì)規(guī)范的尊重也是對(duì)使用者的保護(hù)。這是這套系統(tǒng)開發(fā)過程中最重要的一條教訓(xùn)——技術(shù)指標(biāo)再好也要想清楚使用邊界。希望這篇踩坑筆記能幫到你搭建屬于自己的舌象分析系統(tǒng)的時(shí)候少走一些彎路。本文還有配套的精品資源點(diǎn)擊獲取