簡(jiǎn)介這是一套面向高校學(xué)生與深度學(xué)習(xí)入門(mén)者的圖像檢索畢業(yè)設(shè)計(jì)完整項(xiàng)目基于VGG16卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)以圖搜圖功能。項(xiàng)目使用Python與Keras搭建將圖像轉(zhuǎn)換為高維特征向量再通過(guò)余弦相似度或歐氏距離完成相似圖像匹配覆蓋圖像預(yù)處理、特征提取、相似度計(jì)算與檢索全流程可直接運(yùn)行并根據(jù)自有數(shù)據(jù)集調(diào)整。資源包共30個(gè)文件約47.96MB包含8個(gè)Python腳本模型構(gòu)建、訓(xùn)練與檢索邏輯、5個(gè)gif與5個(gè)png演示圖、3個(gè)js與2個(gè)html及2個(gè)css前端頁(yè)面、1個(gè)db數(shù)據(jù)庫(kù)、1個(gè)md說(shuō)明文檔等目錄結(jié)構(gòu)清晰便于按模塊閱讀與二次開(kāi)發(fā)。目前已有430人學(xué)習(xí)下載。讀者可借此掌握VGG16特征提取、Keras預(yù)訓(xùn)練模型調(diào)用、圖像檢索算法與完整項(xiàng)目組織方式是理解深度學(xué)習(xí)落地應(yīng)用、完成畢業(yè)設(shè)計(jì)的實(shí)用參考。1. 基于 VGG16 的圖像檢索系統(tǒng)從特征提取到可復(fù)現(xiàn)的畢業(yè)設(shè)計(jì)落地做畢業(yè)設(shè)計(jì)最怕兩件事一是選題聽(tīng)起來(lái)高大上真動(dòng)手發(fā)現(xiàn)無(wú)從下手二是代碼跑不通數(shù)據(jù)找不到最后只能“借鑒”別人的倉(cāng)庫(kù)改個(gè)名字。基于 VGG16 的圖像檢索系統(tǒng)恰好卡在中間——它足夠經(jīng)典經(jīng)典到任何計(jì)算機(jī)畢業(yè)設(shè)計(jì)答辯老師都認(rèn)可這個(gè)方向又足夠具體具體到你可以用一份完整代碼和數(shù)據(jù)在本地跑出可演示的結(jié)果。這個(gè)系統(tǒng)的核心邏輯并不復(fù)雜用預(yù)訓(xùn)練的 VGG16 卷積網(wǎng)絡(luò)把每張圖片變成一個(gè)高維特征向量再通過(guò)計(jì)算向量之間的余弦相似度或歐氏距離從圖庫(kù)里找出與查詢(xún)圖最接近的 Top-K 張。它解決的是“以圖搜圖”這個(gè)真實(shí)需求適合計(jì)算機(jī)視覺(jué)入門(mén)、信息檢索課程設(shè)計(jì)以及需要快速搭建可演示系統(tǒng)的畢業(yè)設(shè)計(jì)場(chǎng)景。下面我會(huì)把選型理由、代碼實(shí)現(xiàn)、參數(shù)調(diào)優(yōu)和踩坑記錄一層層拆開(kāi)讓你拿到就能跑跑完能講清楚為什么這么做。2. VGG16 做圖像特征提取為什么選它而不是 ResNet 或 CLIP2.1 VGG16 作為特征提取器的結(jié)構(gòu)優(yōu)勢(shì)與局限VGG16 是牛津大學(xué)視覺(jué)幾何組在 2014 年提出的卷積神經(jīng)網(wǎng)絡(luò)拿過(guò) ImageNet 挑戰(zhàn)賽的亞軍。它的結(jié)構(gòu)極其規(guī)整13 個(gè)卷積層全部使用 3×3 小卷積核5 個(gè)最大池化層穿插其中最后接 3 個(gè)全連接層。這種“堆疊小卷積核”的設(shè)計(jì)讓網(wǎng)絡(luò)在保持感受野的同時(shí)減少了參數(shù)量也讓它提取的特征具有很好的層次性——淺層卷積響應(yīng)邊緣和紋理深層卷積響應(yīng)語(yǔ)義部件。在圖像檢索任務(wù)里我們通常不會(huì)用 VGG16 最后的 softmax 分類(lèi)輸出而是取全連接層之前的特征。常見(jiàn)做法是取block5_pool之后的 512 維特征或者取fc2層的 4096 維特征。512 維特征計(jì)算快、存儲(chǔ)省適合圖庫(kù)規(guī)模在幾千到幾萬(wàn)張的場(chǎng)景4096 維特征表達(dá)能力更強(qiáng)但檢索時(shí)的距離計(jì)算開(kāi)銷(xiāo)會(huì)明顯上升。我一般會(huì)先用 512 維跑通全流程如果發(fā)現(xiàn)相似圖片排不到前面再切到 4096 維對(duì)比效果。VGG16 的局限也很明顯參數(shù)量約 1.38 億其中全連接層占了絕大部分導(dǎo)致模型文件超過(guò) 500MB推理速度比 MobileNet 慢不少。如果你的畢業(yè)設(shè)計(jì)需要部署到邊緣設(shè)備或者要求實(shí)時(shí)響應(yīng)VGG16 可能不是最優(yōu)選。但如果你追求的是“特征穩(wěn)定、代碼簡(jiǎn)單、答辯好講”VGG16 依然是性?xún)r(jià)比很高的選擇。ResNet 的殘差連接雖然訓(xùn)練更深網(wǎng)絡(luò)更容易但作為固定特征提取器時(shí)VGG16 在中小規(guī)模圖庫(kù)上的檢索精度并不遜色。CLIP 這類(lèi)多模態(tài)模型效果更好但依賴(lài)大規(guī)模預(yù)訓(xùn)練權(quán)重和更復(fù)雜的推理流程對(duì)畢業(yè)設(shè)計(jì)的算力要求偏高。2.2 用 PyTorch 加載 VGG16 并導(dǎo)出特征向量的最小代碼下面這段代碼展示了如何加載預(yù)訓(xùn)練 VGG16、去掉分類(lèi)頭、對(duì)單張圖片做預(yù)處理并輸出 512 維特征向量。代碼可以直接復(fù)制運(yùn)行前提是你已經(jīng)安裝了 PyTorch 和 torchvision。import torch import torch.nn as nn from torchvision import models, transforms from PIL import Image # 加載預(yù)訓(xùn)練 VGG16weights 參數(shù)指定使用 ImageNet 預(yù)訓(xùn)練權(quán)重 vgg16 models.vgg16(weightsmodels.VGG16_Weights.IMAGENET1K_V1) # 只保留 features 部分卷積層去掉 avgpool 和 classifier # features 的輸出是 (batch, 512, 7, 7)需要進(jìn)一步處理 feature_extractor vgg16.features # 設(shè)置為評(píng)估模式關(guān)閉 dropout 和 batchnorm 的訓(xùn)練行為 feature_extractor.eval() # 定義圖像預(yù)處理縮放到 224x224轉(zhuǎn)張量按 ImageNet 統(tǒng)計(jì)量歸一化 preprocess transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) def extract_feature(img_path): img Image.open(img_path).convert(RGB) input_tensor preprocess(img).unsqueeze(0) # 增加 batch 維度 with torch.no_grad(): features feature_extractor(input_tensor) # 形狀 (1, 512, 7, 7) # 全局平均池化把 7x7 空間維度壓成 1x1得到 512 維向量 features torch.mean(features, dim[2, 3]) # L2 歸一化方便后續(xù)用余弦相似度 features nn.functional.normalize(features, p2, dim1) return features.squeeze().numpy() if __name__ __main__: vec extract_feature(test.jpg) print(vec.shape) # 輸出 (512,)這段代碼的關(guān)鍵點(diǎn)有三個(gè)。第一vgg16.features只包含卷積層輸出是四維張量(batch, 512, 7, 7)其中 7×7 是空間尺寸。第二全局平均池化把每個(gè)通道的 7×7 特征圖取平均得到 512 維向量這比直接展平更魯棒也避免了全連接層的巨大參數(shù)量。第三L2 歸一化讓向量落在單位球面上之后用余弦相似度檢索時(shí)只需做點(diǎn)積計(jì)算效率更高。參數(shù)方面Resize(256)和CenterCrop(224)是 ImageNet 的標(biāo)準(zhǔn)預(yù)處理流程不要隨意改成 224 直接縮放否則會(huì)改變圖像長(zhǎng)寬比影響特征質(zhì)量。歸一化的均值和標(biāo)準(zhǔn)差必須和預(yù)訓(xùn)練時(shí)一致否則特征分布會(huì)偏移。如果你用的是自己訓(xùn)練的 VGG16 權(quán)重歸一化參數(shù)要換成訓(xùn)練時(shí)用的統(tǒng)計(jì)量。2.3 批量提取圖庫(kù)特征并保存為可檢索的索引文件單張?zhí)崛≈皇茄菔緦?shí)際系統(tǒng)需要對(duì)整個(gè)圖庫(kù)做批量處理。下面代碼遍歷指定目錄下所有圖片提取特征并保存為.npy文件同時(shí)保存文件名列表方便后續(xù)根據(jù)索引找回原圖。import os import numpy as np from tqdm import tqdm from extract_feature import extract_feature # 假設(shè)上面的函數(shù)保存在 extract_feature.py def build_index(image_dir, output_dir): os.makedirs(output_dir, exist_okTrue) image_paths [] features [] # 支持的圖片格式 valid_ext {.jpg, .jpeg, .png, .bmp, .webp} for fname in tqdm(os.listdir(image_dir)): ext os.path.splitext(fname)[1].lower() if ext not in valid_ext: continue fpath os.path.join(image_dir, fname) try: vec extract_feature(fpath) features.append(vec) image_paths.append(fpath) except Exception as e: print(f跳過(guò) {fpath}: {e}) features np.array(features, dtypenp.float32) np.save(os.path.join(output_dir, features.npy), features) with open(os.path.join(output_dir, paths.txt), w, encodingutf-8) as f: f.write(\n.join(image_paths)) print(f索引完成{len(image_paths)} 張圖片特征維度 {features.shape[1]}) if __name__ __main__: build_index(gallery_images, index_output)這段代碼做了幾件事遍歷目錄、過(guò)濾非圖片文件、逐張?zhí)崛√卣鳌⒉东@異常防止單張損壞圖片中斷整個(gè)流程、保存特征矩陣和路徑列表。tqdm用來(lái)顯示進(jìn)度條圖庫(kù)大時(shí)很有用。保存為.npy格式比 CSV 或 JSON 快得多加載時(shí)直接np.load即可。參數(shù)上image_dir是你的圖庫(kù)根目錄output_dir是索引輸出目錄。如果圖庫(kù)有子目錄結(jié)構(gòu)需要改成os.walk遞歸遍歷。特征矩陣的形狀是(N, 512)N 是圖片數(shù)量。路徑列表的順序必須和特征矩陣的行順序嚴(yán)格對(duì)應(yīng)否則檢索結(jié)果會(huì)張冠李戴。我一般會(huì)在保存前打印前 5 個(gè)路徑和對(duì)應(yīng)的特征范數(shù)確認(rèn)沒(méi)有全零向量或異常值。3. 相似度計(jì)算與檢索排序余弦距離、歐氏距離怎么選3.1 余弦相似度與歐氏距離在歸一化特征下的等價(jià)性特征向量做完 L2 歸一化之后余弦相似度和歐氏距離之間存在單調(diào)關(guān)系。具體來(lái)說(shuō)兩個(gè)單位向量之間的歐氏距離平方等于 2 減去 2 倍的余弦相似度。這意味著用余弦相似度排序和用歐氏距離排序得到的 Top-K 結(jié)果完全一致。既然等價(jià)為什么還要區(qū)分因?yàn)橛?jì)算效率不同。余弦相似度只需要做點(diǎn)積而歐氏距離需要計(jì)算差值平方和再開(kāi)方。在圖庫(kù)規(guī)模達(dá)到十萬(wàn)級(jí)時(shí)點(diǎn)積的矩陣運(yùn)算優(yōu)勢(shì)會(huì)體現(xiàn)出來(lái)。實(shí)際寫(xiě)代碼時(shí)我通常把圖庫(kù)特征矩陣轉(zhuǎn)置后與查詢(xún)向量做矩陣乘法一次性算出所有相似度而不是寫(xiě)循環(huán)逐個(gè)計(jì)算。NumPy 的dot底層調(diào)用 BLAS 庫(kù)速度比 Python 循環(huán)快兩個(gè)數(shù)量級(jí)。如果你用 FAISS 或 Annoy 這類(lèi)近似最近鄰庫(kù)它們默認(rèn)也是用內(nèi)積或歐氏距離歸一化后兩者可以互換。3.2 用 NumPy 實(shí)現(xiàn) Top-K 檢索并返回圖片路徑下面代碼加載之前保存的特征索引對(duì)一張查詢(xún)圖做檢索返回最相似的 K 張圖片路徑和相似度分?jǐn)?shù)。import numpy as np from extract_feature import extract_feature def search(query_path, index_dir, top_k10): # 加載圖庫(kù)特征和路徑 features np.load(f{index_dir}/features.npy) # (N, 512) with open(f{index_dir}/paths.txt, r, encodingutf-8) as f: paths f.read().strip().split(\n) # 提取查詢(xún)圖特征已經(jīng)是 L2 歸一化的 query_vec extract_feature(query_path) # (512,) # 矩陣乘法計(jì)算余弦相似度f(wàn)eatures (N,512) dot query (512,) - (N,) similarities features.dot(query_vec) # 取 Top-K 索引argsort 默認(rèn)升序取最后 K 個(gè)再反轉(zhuǎn) top_indices np.argsort(similarities)[-top_k:][::-1] results [] for idx in top_indices: results.append({ path: paths[idx], score: float(similarities[idx]) }) return results if __name__ __main__: res search(query.jpg, index_output, top_k5) for r in res: print(f{r[score]:.4f} {r[path]})這段代碼的核心是features.dot(query_vec)這一行。features形狀是(N, 512)query_vec形狀是(512,)點(diǎn)積結(jié)果是(N,)的相似度數(shù)組。np.argsort返回升序排列的索引取最后 K 個(gè)再反轉(zhuǎn)就得到降序的 Top-K。相似度分?jǐn)?shù)越接近 1 表示越相似因?yàn)橄蛄恳呀?jīng)歸一化點(diǎn)積就是余弦值。參數(shù)top_k根據(jù)你的演示需求調(diào)整畢業(yè)設(shè)計(jì)答辯通常展示 5 到 10 張就夠了。如果圖庫(kù)里有重復(fù)圖片或近似重復(fù)圖片可能會(huì)占據(jù)多個(gè) Top-K 位置可以考慮做非極大值抑制但一般畢業(yè)設(shè)計(jì)不需要這么復(fù)雜。注意paths列表的長(zhǎng)度必須和features的行數(shù)一致如果之前構(gòu)建索引時(shí)跳過(guò)了損壞圖片這里不會(huì)出問(wèn)題因?yàn)楸４鏁r(shí)就是對(duì)應(yīng)的。3.3 檢索結(jié)果的可視化與評(píng)價(jià)指標(biāo)計(jì)算檢索系統(tǒng)不能只輸出路徑和分?jǐn)?shù)答辯時(shí)需要直觀展示。用 Matplotlib 把查詢(xún)圖和 Top-K 結(jié)果拼成一張圖是成本最低的可視化方案。import matplotlib.pyplot as plt from PIL import Image def visualize(query_path, results, save_pathresult.png): k len(results) fig, axes plt.subplots(1, k 1, figsize(3 * (k 1), 4)) # 第一張顯示查詢(xún)圖 axes[0].imshow(Image.open(query_path)) axes[0].set_title(Query) axes[0].axis(off) # 后續(xù)顯示檢索結(jié)果 for i, r in enumerate(results): axes[i 1].imshow(Image.open(r[path])) axes[i 1].set_title(f{r[score]:.3f}) axes[i 1].axis(off) plt.tight_layout() plt.savefig(save_path, dpi150) plt.show()評(píng)價(jià)指標(biāo)方面畢業(yè)設(shè)計(jì)至少應(yīng)該報(bào)告 Top-1 準(zhǔn)確率和 Top-5 準(zhǔn)確率。做法是準(zhǔn)備一個(gè)帶標(biāo)注的測(cè)試集每張查詢(xún)圖有已知的同類(lèi)圖片。如果 Top-K 結(jié)果中包含同類(lèi)圖片就算命中。計(jì)算代碼很簡(jiǎn)單但標(biāo)注數(shù)據(jù)需要你自己整理。我建議從圖庫(kù)中每類(lèi)隨機(jī)抽 5 張作為查詢(xún)圖剩下的作為圖庫(kù)這樣既保證有同類(lèi)圖片可檢索又不會(huì)讓查詢(xún)圖同時(shí)出現(xiàn)在圖庫(kù)中導(dǎo)致“自己搜自己”的虛高分?jǐn)?shù)。4. 避坑與排查VGG16 圖像檢索系統(tǒng)最常見(jiàn)的 5 個(gè)翻車(chē)點(diǎn)4.1 現(xiàn)象檢索結(jié)果全是同一張圖或相似度全部接近 1.0原因通常是特征沒(méi)有做 L2 歸一化或者歸一化維度搞錯(cuò)了。如果特征向量沒(méi)有歸一化點(diǎn)積結(jié)果會(huì)受向量模長(zhǎng)影響模長(zhǎng)大的向量與所有查詢(xún)向量的點(diǎn)積都偏大導(dǎo)致它排到前面。另一種可能是構(gòu)建索引時(shí)把查詢(xún)圖也放進(jìn)了圖庫(kù)查詢(xún)圖與自身的相似度必然是 1.0如果圖庫(kù)里有重復(fù)圖片也會(huì)出現(xiàn)類(lèi)似情況。解決方法是檢查extract_feature函數(shù)里是否調(diào)用了nn.functional.normalize并確認(rèn)dim1而不是dim0。構(gòu)建索引前先對(duì)圖庫(kù)去重可以用文件哈希或感知哈希做快速去重。如果已經(jīng)構(gòu)建了索引加載后打印特征矩陣每行的 L2 范數(shù)正常應(yīng)該全部接近 1.0如果偏差超過(guò) 0.01 就說(shuō)明歸一化有問(wèn)題。4.2 現(xiàn)象GPU 顯存溢出報(bào)錯(cuò) CUDA out of memoryVGG16 參數(shù)量大如果批量提取特征時(shí)一次性把整個(gè)圖庫(kù)讀進(jìn) GPU顯存很容易爆。尤其是圖庫(kù)超過(guò) 5000 張、每張圖片預(yù)處理后是(1, 3, 224, 224)時(shí)累積的中間激活值會(huì)占用大量顯存。解決方法是分批處理每批 16 或 32 張?zhí)幚硗暌慌桶烟卣鬓D(zhuǎn)到 CPU 并釋放 GPU 緩存。代碼上可以用torch.cuda.empty_cache()手動(dòng)清理但更根本的是控制 batch size。如果顯卡顯存小于 6GB建議 batch size 設(shè)為 8 或 16。另外提取特征時(shí)務(wù)必用torch.no_grad()上下文否則 PyTorch 會(huì)保留計(jì)算圖顯存占用會(huì)翻好幾倍。4.3 現(xiàn)象檢索速度極慢單次查詢(xún)超過(guò) 5 秒如果圖庫(kù)有 10 萬(wàn)張圖片特征矩陣是(100000, 512)用 NumPy 做點(diǎn)積大約需要幾十毫秒不應(yīng)該超過(guò) 1 秒。如果慢到幾秒通常是兩個(gè)原因一是每次查詢(xún)都重新加載.npy文件磁盤(pán) I/O 成了瓶頸二是用了 Python 循環(huán)逐張計(jì)算相似度沒(méi)有用矩陣運(yùn)算。解決方法是把特征矩陣和路徑列表在系統(tǒng)啟動(dòng)時(shí)加載到內(nèi)存查詢(xún)時(shí)直接復(fù)用。如果內(nèi)存放不下考慮用 FAISS 建立索引它支持近似最近鄰搜索在億級(jí)向量上也能做到毫秒級(jí)響應(yīng)。對(duì)于畢業(yè)設(shè)計(jì)的圖庫(kù)規(guī)模NumPy 矩陣運(yùn)算完全夠用關(guān)鍵是把加載和計(jì)算分開(kāi)。4.4 現(xiàn)象不同圖片提取的特征幾乎一樣區(qū)分度低這通常是因?yàn)轭A(yù)處理出了問(wèn)題。比如把圖片直接縮放到 224×224 而沒(méi)有保持長(zhǎng)寬比導(dǎo)致圖像內(nèi)容變形或者歸一化時(shí)用了錯(cuò)誤的均值和標(biāo)準(zhǔn)差讓輸入分布偏離預(yù)訓(xùn)練時(shí)的分布。還有一種可能是取錯(cuò)了特征層如果取了block1_pool之后的淺層特征語(yǔ)義信息太弱不同類(lèi)別的圖片特征差異不明顯。解決方法是嚴(yán)格按 ImageNet 標(biāo)準(zhǔn)做預(yù)處理先 Resize 到 256再 CenterCrop 到 224歸一化參數(shù)用mean[0.485, 0.456, 0.406]和std[0.229, 0.224, 0.225]。特征層選擇上block5_pool之后的 512 維特征在語(yǔ)義性和計(jì)算量之間平衡得最好。如果還是區(qū)分度低可以嘗試取fc2層的 4096 維特征或者對(duì)特征做 PCA 降維后再檢索。4.5 現(xiàn)象換一臺(tái)電腦或重新安裝環(huán)境后代碼跑不通畢業(yè)設(shè)計(jì)代碼需要在不同機(jī)器上演示環(huán)境依賴(lài)是常見(jiàn)翻車(chē)點(diǎn)。PyTorch 版本、torchvision 版本、NumPy 版本不匹配都可能導(dǎo)致 API 變化或權(quán)重加載失敗。比如models.vgg16(pretrainedTrue)在舊版本可用新版本推薦用weightsmodels.VGG16_Weights.IMAGENET1K_V1。解決方法是在項(xiàng)目根目錄放一個(gè)requirements.txt固定主要依賴(lài)的版本號(hào)。我一般會(huì)寫(xiě)torch1.12、torchvision0.13、numpy1.21、Pillow9.0、matplotlib3.5、tqdm4.60。如果答辯現(xiàn)場(chǎng)沒(méi)有網(wǎng)絡(luò)提前把預(yù)訓(xùn)練權(quán)重文件下載到本地加載時(shí)用weights參數(shù)指定本地路徑避免現(xiàn)場(chǎng)下載超時(shí)。另外路徑分隔符在 Windows 和 Linux 上不同代碼里統(tǒng)一用os.path.join而不是硬編碼斜杠。5. 進(jìn)階技巧用 PCA 降維和查詢(xún)擴(kuò)展把檢索精度再提一檔5.1 用 PCA 把 512 維特征壓到 128 維檢索速度翻倍512 維特征在幾萬(wàn)張圖庫(kù)上做檢索已經(jīng)夠快但如果你想把系統(tǒng)部署到內(nèi)存受限的環(huán)境或者想進(jìn)一步加速PCA 降維是性?xún)r(jià)比很高的選擇。PCA 的原理是找到特征方差最大的方向把原始特征投影到低維空間同時(shí)保留大部分信息量。對(duì)于 VGG16 的 512 維特征通常降到 128 維就能保留 95% 以上的方差檢索精度損失很小。實(shí)現(xiàn)上用 scikit-learn 的PCA類(lèi)對(duì)圖庫(kù)特征矩陣做擬合然后把查詢(xún)特征也投影到同樣的主成分空間。注意 PCA 的均值中心化步驟擬合時(shí)用圖庫(kù)特征計(jì)算均值和主成分查詢(xún)時(shí)用同樣的均值做中心化不能重新計(jì)算。下面代碼展示了完整流程。from sklearn.decomposition import PCA import numpy as np # 加載圖庫(kù)特征 features np.load(index_output/features.npy) # (N, 512) # 擬合 PCA保留 128 維 pca PCA(n_components128, whitenTrue) features_pca pca.fit_transform(features) # (N, 128) # 保存 PCA 模型和降維后的特征 import joblib joblib.dump(pca, index_output/pca_model.pkl) np.save(index_output/features_pca.npy, features_pca) # 查詢(xún)時(shí)先提取 512 維特征再用同樣的 PCA 投影 query_vec extract_feature(query.jpg) # (512,) query_pca pca.transform(query_vec.reshape(1, -1)) # (1, 128) query_pca query_pca / np.linalg.norm(query_pca, axis1, keepdimsTrue) # 重新歸一化 # 檢索 similarities features_pca.dot(query_pca.squeeze()) top_indices np.argsort(similarities)[-10:][::-1]whitenTrue會(huì)讓降維后的特征每個(gè)維度方差為 1有助于提升余弦相似度的區(qū)分度。降維后需要重新做 L2 歸一化因?yàn)?PCA 變換會(huì)改變向量模長(zhǎng)。PCA 模型必須保存下來(lái)查詢(xún)時(shí)用同一個(gè)模型投影否則查詢(xún)特征和圖庫(kù)特征不在同一空間檢索結(jié)果會(huì)完全錯(cuò)誤。5.2 查詢(xún)擴(kuò)展用 Top-K 結(jié)果的均值特征做二次檢索查詢(xún)擴(kuò)展是一種經(jīng)典的檢索優(yōu)化技巧。它的思路是第一次檢索得到 Top-K 結(jié)果后把這些結(jié)果的特征向量取平均得到一個(gè)“擴(kuò)展查詢(xún)向量”再用這個(gè)新向量做第二次檢索。這樣做的好處是如果第一次檢索中有幾張同類(lèi)圖片它們的平均特征會(huì)更接近該類(lèi)別的中心從而把更多同類(lèi)圖片拉進(jìn) Top-K。實(shí)現(xiàn)上第一次檢索用原始查詢(xún)特征取 Top-5 結(jié)果的特征計(jì)算加權(quán)平均相似度越高的權(quán)重越大然后歸一化得到擴(kuò)展查詢(xún)向量。第二次檢索用擴(kuò)展向量替換原始查詢(xún)向量。代碼改動(dòng)很小但效果在部分?jǐn)?shù)據(jù)集上能提升 3 到 5 個(gè)百分點(diǎn)的 Top-5 準(zhǔn)確率。def query_expansion(query_vec, features, top_k5, alpha0.5): # 第一次檢索 sims features.dot(query_vec) top_idx np.argsort(sims)[-top_k:][::-1] # 加權(quán)平均相似度作為權(quán)重 weights sims[top_idx] weights weights / weights.sum() expanded np.average(features[top_idx], axis0, weightsweights) # 與原始查詢(xún)向量混合 expanded alpha * expanded (1 - alpha) * query_vec expanded expanded / np.linalg.norm(expanded) return expandedalpha控制擴(kuò)展向量和原始向量的混合比例通常設(shè)在 0.3 到 0.7 之間。如果圖庫(kù)噪聲大alpha 取小一點(diǎn)避免被錯(cuò)誤結(jié)果帶偏。這個(gè)方法在畢業(yè)設(shè)計(jì)答辯時(shí)是一個(gè)很好的加分項(xiàng)因?yàn)樗w現(xiàn)了你對(duì)檢索算法的理解不止于“提取特征算距離”。5.3 一個(gè)我反復(fù)驗(yàn)證過(guò)的習(xí)慣先跑通 100 張圖的小閉環(huán)做了這么多版圖像檢索系統(tǒng)我最大的血淚經(jīng)驗(yàn)是不要一上來(lái)就把整個(gè)圖庫(kù)跑完。先挑 100 張圖片構(gòu)建索引用 5 張查詢(xún)圖測(cè)試確認(rèn) Top-5 結(jié)果肉眼看著合理再逐步擴(kuò)大圖庫(kù)規(guī)模。這個(gè)習(xí)慣幫我省下了大量等待批量提取的時(shí)間也讓我在早期就發(fā)現(xiàn)了預(yù)處理錯(cuò)誤、歸一化遺漏、路徑對(duì)應(yīng)錯(cuò)位等問(wèn)題。另一個(gè)習(xí)慣是每次修改特征提取邏輯后重新計(jì)算圖庫(kù)特征并覆蓋舊索引絕不混用不同版本的特征文件。特征文件和路徑列表必須成對(duì)出現(xiàn)版本一致這是系統(tǒng)可復(fù)現(xiàn)的底線。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取