1. 項(xiàng)目概述當(dāng)AI遇見(jiàn)計(jì)算成像我們到底在期待什么最近和幾個(gè)做計(jì)算成像和計(jì)算機(jī)視覺(jué)的朋友聊天話(huà)題總繞不開(kāi)一個(gè)詞“智能體AI”或者叫“Agentic AI”。大家一邊興奮地討論著各種多模態(tài)大模型在圖像理解上的驚人表現(xiàn)一邊又隱隱有些困惑這些看起來(lái)“無(wú)所不能”的AI當(dāng)它們面對(duì)我們計(jì)算成像領(lǐng)域那些具體、復(fù)雜、甚至有點(diǎn)“反直覺(jué)”的任務(wù)時(shí)比如從單張散焦照片恢復(fù)深度、從壓縮感知數(shù)據(jù)重建高清圖像或者處理那些被嚴(yán)重噪聲污染的醫(yī)學(xué)掃描圖時(shí)它們真的“理解”自己在做什么嗎還是僅僅在玩一個(gè)高級(jí)的模式匹配游戲這個(gè)疑問(wèn)催生了我們團(tuán)隊(duì)內(nèi)部的一個(gè)小項(xiàng)目系統(tǒng)性地給這些“智能體AI”在計(jì)算成像任務(wù)上做一次深度體檢。這不僅僅是一個(gè)簡(jiǎn)單的性能測(cè)試。計(jì)算成像的核心是通過(guò)算法從非直接的、退化的、或非傳統(tǒng)的觀(guān)測(cè)數(shù)據(jù)中重建或提取我們想要的視覺(jué)信息。它強(qiáng)烈依賴(lài)于對(duì)物理成像模型、先驗(yàn)知識(shí)以及優(yōu)化過(guò)程的理解。傳統(tǒng)的深度學(xué)習(xí)方法是“黑盒”訓(xùn)練喂入大量“問(wèn)題-答案”對(duì)如模糊圖像-清晰圖像讓網(wǎng)絡(luò)學(xué)習(xí)一個(gè)端到端的映射函數(shù)。而智能體AI尤其是基于大語(yǔ)言模型LLM構(gòu)建的、具備規(guī)劃、工具調(diào)用和推理能力的智能體則宣稱(chēng)能以更接近人類(lèi)的方式“思考”和“解決”問(wèn)題。那么在計(jì)算成像這個(gè)需要結(jié)合物理、數(shù)學(xué)和信號(hào)處理的領(lǐng)域這種“思考”能力是貨真價(jià)實(shí)的還是徒有其表我們的基準(zhǔn)測(cè)試就是想剝開(kāi)這層外殼看看里面到底是什么。這個(gè)基準(zhǔn)測(cè)試適合誰(shuí)看如果你是計(jì)算成像、計(jì)算機(jī)視覺(jué)或醫(yī)學(xué)圖像處理領(lǐng)域的研究者或工程師正在評(píng)估AI工具鏈的可行性這篇內(nèi)容會(huì)給你提供一套可復(fù)現(xiàn)的評(píng)估框架和一手結(jié)論。如果你是對(duì)AI前沿應(yīng)用感興趣的技術(shù)愛(ài)好者想了解AI在專(zhuān)業(yè)科學(xué)計(jì)算領(lǐng)域的真實(shí)能力邊界這里也有豐富的案例和深度分析。我們會(huì)從任務(wù)定義、智能體構(gòu)建、評(píng)估體系到結(jié)果深度解讀一步步拆解這個(gè)系統(tǒng)性評(píng)測(cè)的全過(guò)程并分享我們?cè)谄渲胁冗^(guò)的坑和發(fā)現(xiàn)的那些“反直覺(jué)”的結(jié)論。2. 基準(zhǔn)測(cè)試的整體設(shè)計(jì)與核心思路拆解2.1 為什么是“智能體AI”與“計(jì)算成像”的碰撞要設(shè)計(jì)這個(gè)基準(zhǔn)首先得想清楚為什么把這兩個(gè)看似不同領(lǐng)域的東西放在一起。計(jì)算成像任務(wù)比如相位恢復(fù)、超分辨率、去噪、層析重建等傳統(tǒng)上依賴(lài)于精心設(shè)計(jì)的迭代算法如ADMM、梯度下降或深度神經(jīng)網(wǎng)絡(luò)。這些方法要么需要深厚的專(zhuān)業(yè)背景來(lái)調(diào)參要么需要海量配對(duì)的訓(xùn)練數(shù)據(jù)。而近年來(lái)興起的智能體AI其核心賣(mài)點(diǎn)是“通用問(wèn)題解決能力”——通過(guò)自然語(yǔ)言理解任務(wù)規(guī)劃步驟調(diào)用合適的工具代碼解釋器、函數(shù)、API并迭代修正結(jié)果。這聽(tīng)起來(lái)像是為計(jì)算成像這種“問(wèn)題定義復(fù)雜、解決路徑多樣”的領(lǐng)域量身定做的我們是否只需用自然語(yǔ)言描述一下問(wèn)題“請(qǐng)從這張單透鏡編碼的衍射圖案中重建出物體的振幅和相位信息”AI智能體就能自動(dòng)編寫(xiě)代碼、調(diào)用庫(kù)、并給出結(jié)果我們的假設(shè)是如果AI智能體真的“理解”成像的物理原理和數(shù)學(xué)本質(zhì)它應(yīng)該能1正確解析任務(wù)描述2選擇合適的物理/數(shù)學(xué)模型3規(guī)劃出合理的計(jì)算流程4處理過(guò)程中出現(xiàn)的數(shù)值問(wèn)題。這比單純的圖像分類(lèi)或生成要求高得多。因此這個(gè)基準(zhǔn)測(cè)試的目的不是要打敗SOTA的專(zhuān)用模型而是要評(píng)估智能體AI作為一種新型問(wèn)題解決范式在計(jì)算成像領(lǐng)域的可靠性、泛化性和可解釋性。我們想回答它現(xiàn)在能做什么在什么情況下會(huì)失敗失敗的原因是什么是知識(shí)盲區(qū)邏輯錯(cuò)誤還是對(duì)物理約束的忽視2.2 基準(zhǔn)測(cè)試框架的四大支柱為了讓測(cè)試系統(tǒng)、全面且可復(fù)現(xiàn)我們搭建了一個(gè)包含四個(gè)核心支柱的評(píng)估框架任務(wù)集設(shè)計(jì)我們選取了5類(lèi)具有代表性的計(jì)算成像任務(wù)難度由淺入深基礎(chǔ)逆向問(wèn)題圖像去模糊非盲、超分辨率單圖。這類(lèi)任務(wù)有成熟的深度學(xué)習(xí)模型如SRCNN、ESPCN和傳統(tǒng)算法如維納濾波用于測(cè)試智能體對(duì)經(jīng)典問(wèn)題的熟悉程度和工具調(diào)用能力。物理模型驅(qū)動(dòng)問(wèn)題相位恢復(fù)基于Gerchberg-Saxton算法思想、從聚焦/散焦圖像恢復(fù)深度Depth from Defocus。這類(lèi)任務(wù)有明確的物理正向模型求解是典型的逆向問(wèn)題測(cè)試智能體是否理解“光傳播”和“成像模型”。壓縮感知與稀疏重建從隨機(jī)投影CS-MRI風(fēng)格重建圖像。這類(lèi)任務(wù)涉及稀疏表示、優(yōu)化理論測(cè)試智能體對(duì)L1正則化、迭代閾值等概念的理解和應(yīng)用。非線(xiàn)性與病態(tài)問(wèn)題泊松噪聲圖像去噪、有限角度CT重建。這類(lèi)任務(wù)數(shù)值不穩(wěn)定對(duì)算法魯棒性要求高用于測(cè)試智能體的“危機(jī)處理”和數(shù)值計(jì)算能力?？缒B(tài)任務(wù)根據(jù)文本描述生成相應(yīng)的成像系統(tǒng)設(shè)計(jì)草圖如“設(shè)計(jì)一個(gè)用于顯微血流成像的散斑干涉系統(tǒng)”。這更偏向創(chuàng)造性測(cè)試其知識(shí)整合和邏輯推理能力。智能體構(gòu)建與配置我們以當(dāng)前主流的、支持代碼解釋和工具調(diào)用的LLM為核心例如GPT-4o、Claude 3 Opus等構(gòu)建了兩種類(lèi)型的智能體零樣本Zero-shot智能體僅提供任務(wù)的自然語(yǔ)言描述不給予任何示例或引導(dǎo)。觀(guān)察其“開(kāi)箱即用”的能力。少樣本Few-shot智能體在系統(tǒng)提示詞Prompt中提供1-3個(gè)類(lèi)似任務(wù)的解決范例包括思考鏈和代碼測(cè)試其學(xué)習(xí)遷移能力。 所有智能體都被允許調(diào)用一個(gè)預(yù)設(shè)的工具庫(kù)包括numpy,scipy,opencv,matplotlib,torch僅用于預(yù)訓(xùn)練模型加載不要求其訓(xùn)練新模型以及一些專(zhuān)門(mén)的成像庫(kù)如PyTorchWavelets。我們明確禁止其訪(fǎng)問(wèn)互聯(lián)網(wǎng)進(jìn)行搜索以評(píng)估其內(nèi)部知識(shí)儲(chǔ)備。評(píng)估指標(biāo)體系摒棄單一的PSNR/SSIM圖像質(zhì)量指標(biāo)。我們建立了一個(gè)多維度的評(píng)估體系任務(wù)完成度是否輸出了符合要求的、可運(yùn)行/可視化的結(jié)果是/部分/否代碼正確性生成的代碼在語(yǔ)法、邏輯、API使用上是否正確能否直接運(yùn)行原理符合度解決方案是否采用了與該任務(wù)相匹配的核心原理例如對(duì)于相位恢復(fù)是否使用了迭代投影算法對(duì)于壓縮感知是否考慮了稀疏性結(jié)果質(zhì)量定量指標(biāo)PSNR, SSIM, RMSE和定性視覺(jué)評(píng)估。推理過(guò)程可解釋性智能體在“思考”過(guò)程中是否清晰闡述了步驟、原理和可能遇到的問(wèn)題效率與穩(wěn)定性代碼的運(yùn)行時(shí)間、內(nèi)存占用以及對(duì)不同輸入如噪聲水平變化的魯棒性。實(shí)驗(yàn)流程與對(duì)照設(shè)置每個(gè)任務(wù)我們都會(huì)用相同的輸入數(shù)據(jù)分別測(cè)試“零樣本智能體”、“少樣本智能體”并與一個(gè)“傳統(tǒng)/專(zhuān)用算法基線(xiàn)”進(jìn)行對(duì)比?；€(xiàn)是我們手動(dòng)實(shí)現(xiàn)的、該任務(wù)領(lǐng)域公認(rèn)的經(jīng)典或SOTA方法。所有實(shí)驗(yàn)在相同硬件環(huán)境下運(yùn)行確保可比性。注意這個(gè)框架的設(shè)計(jì)關(guān)鍵在于將評(píng)估重點(diǎn)從“結(jié)果好不好”部分轉(zhuǎn)移到了“過(guò)程對(duì)不對(duì)”和“為什么這么干”。這對(duì)于衡量“理解”至關(guān)重要。一個(gè)可能碰巧得出不錯(cuò)結(jié)果的智能體如果其推理過(guò)程混亂或原理錯(cuò)誤我們依然認(rèn)為它沒(méi)有真正理解任務(wù)。3. 核心任務(wù)解析與智能體表現(xiàn)深度剖析3.1 任務(wù)一圖像超分辨率——工具調(diào)用熟練物理先驗(yàn)缺失我們從一個(gè)相對(duì)簡(jiǎn)單的任務(wù)開(kāi)始將一張低分辨率LR圖像放大4倍。我們給智能體的指令是“請(qǐng)使用合適的方法將這張LR圖像進(jìn)行4倍超分辨率重建并輸出結(jié)果。”零樣本智能體表現(xiàn)幾乎所有的智能體都迅速識(shí)別出這是超分辨率任務(wù)。典型的解決路徑是1導(dǎo)入opencv和PIL庫(kù)讀取圖像2嘗試調(diào)用cv2.resize()函數(shù)并使用cv2.INTER_CUBIC或cv2.INTER_LANCZOS4插值算法。部分更“聰明”的智能體會(huì)提到存在深度學(xué)習(xí)模型如ESPCN、FSRCNN并嘗試從torch.hub加載預(yù)訓(xùn)練模型。如果模型中它會(huì)成功加載并運(yùn)行如果模型不存在或加載失敗它會(huì)回退到插值方法。少樣本智能體表現(xiàn)我們?cè)谔崾驹~中提供了一個(gè)使用cv2.INTER_CUBIC的簡(jiǎn)單示例。智能體的表現(xiàn)與零樣本類(lèi)似但代碼結(jié)構(gòu)更規(guī)范錯(cuò)誤處理更完善。深度剖析優(yōu)點(diǎn)智能體在工具調(diào)用和API使用上表現(xiàn)出色能準(zhǔn)確關(guān)聯(lián)“超分辨率”與一系列相關(guān)函數(shù)和模型。這體現(xiàn)了其強(qiáng)大的代碼生成和工具整合能力。問(wèn)題暴露缺乏對(duì)“超分辨率”本質(zhì)的理解。所有智能體都沒(méi)有主動(dòng)詢(xún)問(wèn)或考慮一個(gè)關(guān)鍵問(wèn)題我擁有的只是單張LR圖像沒(méi)有任何先驗(yàn)信息如高頻細(xì)節(jié)的先驗(yàn)、圖像的自相似性。簡(jiǎn)單的插值只是平滑放大而深度學(xué)習(xí)模型是在大數(shù)據(jù)上學(xué)到的通用先驗(yàn)。智能體沒(méi)有表現(xiàn)出“針對(duì)這張?zhí)囟▓D像我該如何挖掘更多信息”的思考。例如它不會(huì)主動(dòng)建議采用基于迭代反投影的方法也不會(huì)考慮引入邊緣增強(qiáng)或梯度約束作為先驗(yàn)。它的“解決方案”是檢索已知的工具而非基于問(wèn)題本質(zhì)進(jìn)行推理。我們的結(jié)論在這個(gè)任務(wù)上智能體更像一個(gè)“熟練的API調(diào)用者”而非一個(gè)“理解成像退化與重建原理的工程師”。它完成了任務(wù)但過(guò)程缺乏創(chuàng)造性和對(duì)物理約束的考量。3.2 任務(wù)二相位恢復(fù)——公式推導(dǎo)驚艷數(shù)值實(shí)現(xiàn)翻車(chē)相位恢復(fù)是一個(gè)經(jīng)典的逆問(wèn)題僅從強(qiáng)度圖像即我們通常拍到的照片丟失了光的相位信息中恢復(fù)出丟失的相位信息從而重建完整的復(fù)振幅場(chǎng)。我們給出的指令是“我有一張經(jīng)過(guò)菲涅耳衍射后記錄的強(qiáng)度圖I已知傳播距離z和波長(zhǎng)lambda請(qǐng)恢復(fù)出物體平面的復(fù)振幅分布?！绷銟颖局悄荏w表現(xiàn)這是測(cè)試的第一個(gè)分水嶺。約70%的智能體一開(kāi)始會(huì)感到困惑生成諸如“使用np.angle()函數(shù)”這樣的錯(cuò)誤代碼這是對(duì)已知復(fù)數(shù)求相位而非恢復(fù)。但經(jīng)過(guò)幾輪提示或在其內(nèi)部“思考”過(guò)程中部分強(qiáng)大的智能體如GPT-4o會(huì)驚人地推導(dǎo)出Gerchberg-Saxton (GS) 算法或其變種如角譜傳播公式。它會(huì)寫(xiě)出如下推理“這是一個(gè)相位恢復(fù)問(wèn)題?？梢允褂玫惴ㄔ谖矬w面和觀(guān)測(cè)面之間來(lái)回傳播并施加已知的強(qiáng)度約束……” 并給出包含np.fft.fft2,np.exp等函數(shù)的偽代碼。少樣本智能體表現(xiàn)我們提供了一個(gè)GS算法的簡(jiǎn)要文字描述。智能體能更快地鎖定該算法并生成更完整的代碼框架。深度剖析驚艷之處智能體能夠從自然語(yǔ)言描述中準(zhǔn)確識(shí)別出“相位恢復(fù)”和“菲涅耳衍射”這兩個(gè)關(guān)鍵術(shù)語(yǔ)并將其與經(jīng)典的GS算法關(guān)聯(lián)起來(lái)。它甚至能寫(xiě)出角譜傳播的數(shù)學(xué)公式U2 IFFT(FFT(U1) * H)其中H是傳遞函數(shù)。這證明了其龐大的知識(shí)庫(kù)中包含了許多專(zhuān)業(yè)的計(jì)算成像算法。翻車(chē)現(xiàn)場(chǎng)數(shù)值實(shí)現(xiàn)的細(xì)節(jié)是魔鬼。智能體生成的代碼幾乎100%會(huì)在數(shù)值計(jì)算上出問(wèn)題離散化與采樣它不會(huì)主動(dòng)考慮離散傅里葉變換的采樣條件如滿(mǎn)足Nyquist采樣定理導(dǎo)致結(jié)果出現(xiàn)混疊。傳遞函數(shù)定義對(duì)于角譜傳遞函數(shù)H exp(1j * 2*pi * z * sqrt(1/lambda^2 - fx^2 - fy^2))智能體經(jīng)常搞錯(cuò)fx, fy頻率坐標(biāo)的生成np.fft.fftfreq的正確使用或者忽略對(duì)負(fù)頻率分量的正確處理。迭代停滯與停滯它設(shè)置的迭代停止條件非常簡(jiǎn)單如固定迭代50次沒(méi)有考慮收斂性判斷。GS算法容易陷入停滯需要引入松弛因子或混合輸入輸出HIO等技巧智能體完全不會(huì)主動(dòng)應(yīng)用。初始猜測(cè)它通常使用隨機(jī)相位作為初始猜測(cè)但不會(huì)嘗試更聰明的初始化如基于傳輸強(qiáng)度的方法。實(shí)操心得這個(gè)案例極具代表性。它表明智能體AI擁有“教科書(shū)級(jí)別”的陳述性知識(shí)知道GS算法是什么但嚴(yán)重缺乏程序性知識(shí)如何將其穩(wěn)健、正確地實(shí)現(xiàn)為代碼。它理解算法的“骨架”但不了解使其在現(xiàn)實(shí)世界中工作的“肌肉和神經(jīng)”。對(duì)于計(jì)算成像這種強(qiáng)依賴(lài)數(shù)值穩(wěn)定性和細(xì)節(jié)的領(lǐng)域這是致命的短板。3.3 任務(wù)三壓縮感知重建——概念正確優(yōu)化器選擇“想當(dāng)然”我們模擬了一個(gè)壓縮感知MRI的簡(jiǎn)化場(chǎng)景給智能體一個(gè)隨機(jī)高斯測(cè)量矩陣A形狀為m x n, m n和測(cè)量向量y要求重建出長(zhǎng)度為n的稀疏信號(hào)x。指令“已知y A * x且x是稀疏的請(qǐng)從y中重建x?！绷銟颖局悄荏w表現(xiàn)大多數(shù)智能體能正確識(shí)別出這是壓縮感知或稀疏重建問(wèn)題。常見(jiàn)的解決方案是“這是一個(gè)欠定方程組但由于x是稀疏的可以轉(zhuǎn)化為L(zhǎng)1正則化優(yōu)化問(wèn)題min ||Ax - y||^2 lambda * ||x||_1。” 然后它會(huì)選擇使用scipy.optimize.minimize函數(shù)并嘗試配置求解器。深度剖析概念正確性智能體對(duì)壓縮感知的核心思想利用稀疏性先驗(yàn)通過(guò)L1最小化求解掌握得很好。這再次證明了其在抽象概念關(guān)聯(lián)上的能力。優(yōu)化器選擇的陷阱問(wèn)題出在具體實(shí)施上。scipy.optimize.minimize支持多種算法。智能體常選擇‘L-BFGS-B’或‘SLSQP’等通用優(yōu)化器。然而L1范數(shù)在零點(diǎn)不可導(dǎo)這些基于梯度的優(yōu)化器在處理L1正則化項(xiàng)時(shí)并不高效甚至可能出錯(cuò)。適合這個(gè)問(wèn)題的優(yōu)化器是專(zhuān)門(mén)處理非光滑項(xiàng)的如坐標(biāo)下降Coordinate Descent、近端梯度法如ISTA/FISTA或ADMM。我們的發(fā)現(xiàn)智能體在選擇優(yōu)化器時(shí)表現(xiàn)出一種“模式匹配”的傾向。它可能從訓(xùn)練數(shù)據(jù)中看到“優(yōu)化問(wèn)題”常與scipy.optimize.minimize關(guān)聯(lián)而對(duì)該函數(shù)下不同算法適用于不同問(wèn)題類(lèi)型的細(xì)微差別理解不足。它沒(méi)有表現(xiàn)出“因?yàn)槟繕?biāo)函數(shù)包含非光滑的L1項(xiàng)所以我應(yīng)該選擇一個(gè)能處理非光滑問(wèn)題的優(yōu)化器”這樣的因果推理。避坑指南當(dāng)讓智能體AI解決涉及優(yōu)化的問(wèn)題時(shí)絕對(duì)不能完全信任其自動(dòng)選擇的求解器。你必須具備足夠的知識(shí)去審查其選擇的算法是否適合你的目標(biāo)函數(shù)形式光滑/非光滑凸/非凸約束類(lèi)型。更好的做法是在指令中明確指定優(yōu)化方法例如“請(qǐng)使用迭代軟閾值算法ISTA來(lái)解決這個(gè)L1正則化最小二乘問(wèn)題?！?. 智能體在計(jì)算成像中的系統(tǒng)性能力評(píng)估與短板基于對(duì)多個(gè)任務(wù)的測(cè)試我們可以對(duì)智能體AI在計(jì)算成像任務(wù)上的能力進(jìn)行一次系統(tǒng)性的“畫(huà)像”。4.1 優(yōu)勢(shì)領(lǐng)域作為強(qiáng)大的“算法助理”和“代碼生成器”快速原型與知識(shí)檢索當(dāng)你有一個(gè)明確的計(jì)算成像算法名稱(chēng)如“Richardson-Lucy反卷積”、“Total Variation去噪”但記不清具體實(shí)現(xiàn)細(xì)節(jié)時(shí)智能體可以快速生成可運(yùn)行的代碼框架極大提高效率。它就像一個(gè)擁有超強(qiáng)記憶力的助手。多步驟任務(wù)規(guī)劃對(duì)于流程清晰的任務(wù)如“讀取TIFF序列 - 對(duì)齊 - 背景扣除 - 應(yīng)用濾波 - 保存結(jié)果”智能體能很好地規(guī)劃步驟并生成連貫的腳本。錯(cuò)誤解釋與調(diào)試建議當(dāng)生成的代碼運(yùn)行時(shí)出現(xiàn)常見(jiàn)錯(cuò)誤如維度不匹配、庫(kù)未導(dǎo)入智能體能夠提供準(zhǔn)確的解釋和修復(fù)建議這對(duì)初學(xué)者非常友好?？绺拍铌P(guān)聯(lián)能夠?qū)⒆匀徽Z(yǔ)言描述的問(wèn)題與多個(gè)潛在算法概念關(guān)聯(lián)起來(lái)。例如提到“從運(yùn)動(dòng)模糊中恢復(fù)清晰圖像”它能同時(shí)聯(lián)想到盲去卷積、維納濾波和深度學(xué)習(xí)模型。4.2 當(dāng)前的主要短板與風(fēng)險(xiǎn)對(duì)物理模型和數(shù)值細(xì)節(jié)的“表面理解”如前所述智能體可以復(fù)述算法原理但在將其轉(zhuǎn)化為穩(wěn)定、正確的數(shù)值代碼時(shí)表現(xiàn)不佳。它缺乏對(duì)離散化、邊界條件、采樣定理、迭代收斂性、條件數(shù)等關(guān)鍵數(shù)值計(jì)算概念的深刻理解和應(yīng)用能力。在計(jì)算成像中這些細(xì)節(jié)往往直接決定成敗。缺乏真正的“創(chuàng)新性”與“適應(yīng)性”智能體解決問(wèn)題的策略本質(zhì)上是檢索和組合。當(dāng)面對(duì)一個(gè)全新的、沒(méi)有標(biāo)準(zhǔn)解決方案的成像問(wèn)題例如一種新型計(jì)算顯微鏡的非線(xiàn)性標(biāo)定時(shí)它很難提出真正創(chuàng)新的、基于第一性原理的解決方案。它無(wú)法像人類(lèi)專(zhuān)家那樣從物理方程出發(fā)推導(dǎo)出新的正則化項(xiàng)或優(yōu)化目標(biāo)。對(duì)“不確定性”和“假設(shè)”的漠視計(jì)算成像中任何算法都基于一系列假設(shè)如噪聲是高斯型的、物體是稀疏的。智能體在提供解決方案時(shí)很少會(huì)主動(dòng)聲明這些假設(shè)或討論當(dāng)假設(shè)不成立時(shí)結(jié)果會(huì)如何失效。它給出的答案常常是“確定性的”缺乏對(duì)方法局限性的必要討論。工具鏈的局限智能體的能力受限于其工具庫(kù)。如果某個(gè)關(guān)鍵的專(zhuān)用庫(kù)如用于光場(chǎng)處理的LFtoolbox不在其工具列表中它就無(wú)法使用。它也不能自主安裝新庫(kù)或編寫(xiě)非常底層的性能關(guān)鍵代碼如CUDA內(nèi)核。4.3 一個(gè)綜合案例有限角度CT重建這個(gè)任務(wù)完美集成了上述多個(gè)短板。我們要求智能體從僅120度視角范圍內(nèi)而非完整的360度的投影數(shù)據(jù)重建一個(gè)Shepp-Logan幻影。這是一個(gè)嚴(yán)重病態(tài)的反問(wèn)題。智能體的典型反應(yīng)它會(huì)識(shí)別出這是“斷層掃描重建”并嘗試調(diào)用skimage的iradon函數(shù)用于濾波反投影FBP。當(dāng)被告知數(shù)據(jù)是有限角度時(shí)部分智能體會(huì)轉(zhuǎn)向迭代重建算法如代數(shù)重建技術(shù)ART或同時(shí)迭代重建技術(shù)SIRT。實(shí)際存在的問(wèn)題算法選擇不足ART/SIRT雖然能處理不完備數(shù)據(jù)但對(duì)于如此嚴(yán)重的有限角度問(wèn)題重建質(zhì)量極差會(huì)出現(xiàn)嚴(yán)重的條紋偽影。現(xiàn)代方法會(huì)引入**總變分TV**等強(qiáng)先驗(yàn)進(jìn)行正則化。智能體很少主動(dòng)提出這一點(diǎn)。參數(shù)調(diào)優(yōu)缺失迭代算法中的松弛參數(shù)、正則化參數(shù)對(duì)結(jié)果影響巨大。智能體通常給出一個(gè)默認(rèn)值如1.0而沒(méi)有提供任何參數(shù)選擇策略或掃描建議。結(jié)果評(píng)估片面它可能計(jì)算RMSE但不會(huì)指出重建圖像中存在的特定方向性偽影也不會(huì)建議使用像**結(jié)構(gòu)相似性SSIM**在局部窗口進(jìn)行評(píng)估。這個(gè)案例告訴我們對(duì)于復(fù)雜的、病態(tài)的反問(wèn)題智能體目前只能提供一個(gè)“基礎(chǔ)款”解決方案。要得到可用的結(jié)果人類(lèi)專(zhuān)家必須深度介入引導(dǎo)其選擇更先進(jìn)的算法如TV正則化并精細(xì)調(diào)整參數(shù)。智能體更像一個(gè)“初級(jí)工程師”完成了第一版草案但離最終交付品還有很長(zhǎng)的距離且它自己無(wú)法獨(dú)立完成后續(xù)的優(yōu)化。5. 構(gòu)建可靠成像AI智能體的實(shí)踐指南與避坑策略基于我們大量的測(cè)試經(jīng)驗(yàn)如果你打算在計(jì)算成像工作流中引入AI智能體以下是一些實(shí)用的建議和必須避開(kāi)的坑。5.1 提示詞工程從“發(fā)指令”到“設(shè)計(jì)對(duì)話(huà)”不要指望一句話(huà)指令就能得到完美結(jié)果。你需要像指導(dǎo)一個(gè)聰明但經(jīng)驗(yàn)不足的實(shí)習(xí)生一樣設(shè)計(jì)交互。結(jié)構(gòu)化提示將任務(wù)分解。例如不要只說(shuō)“做相位恢復(fù)”。而是任務(wù)定義這是一個(gè)從單張強(qiáng)度圖進(jìn)行相位恢復(fù)的問(wèn)題使用角譜傳播方法。已知波長(zhǎng)λ632.8e-9 m距離z0.1 m像素尺寸p3.45e-6 m。算法選擇請(qǐng)使用混合輸入輸出HIO算法這是Gerchberg-Saxton算法的改進(jìn)版能避免停滯。具體步驟請(qǐng)按以下步驟編寫(xiě)Python代碼a) 讀取強(qiáng)度圖并取平方根作為振幅估計(jì)b) 生成隨機(jī)初始相位c) 在循環(huán)中實(shí)現(xiàn)HIO迭代描述HIO的公式d) 設(shè)置合適的松弛參數(shù)β0.9和迭代次數(shù)e) 監(jiān)視誤差并繪圖。注意事項(xiàng)請(qǐng)注意頻域坐標(biāo)的生成要使用np.fft.fftfreq并考慮傳遞函數(shù)中的數(shù)值穩(wěn)定性避免除零。要求分步思考在提示詞開(kāi)頭加上“請(qǐng)逐步思考Think step by step”可以顯著提高其推理過(guò)程的可讀性和正確率讓你更容易發(fā)現(xiàn)其中的邏輯漏洞。提供輸入輸出范例對(duì)于少樣本學(xué)習(xí)提供的例子不僅要包含代碼最好也包含關(guān)鍵的中間結(jié)果如誤差下降曲線(xiàn)和針對(duì)異常情況的處理如迭代不收斂怎么辦。5.2 關(guān)鍵檢查點(diǎn)人類(lèi)專(zhuān)家必須把關(guān)的環(huán)節(jié)無(wú)論智能體表現(xiàn)得多么自信在以下環(huán)節(jié)必須進(jìn)行人工審查物理單位與量綱一致性檢查生成的代碼中所有物理量波長(zhǎng)、距離、像素大小的單位是否統(tǒng)一建議全部轉(zhuǎn)換為國(guó)際單位制在頻域計(jì)算中量綱是否正確。這是數(shù)值錯(cuò)誤的一大來(lái)源。離散化與采樣驗(yàn)證對(duì)于涉及傅里葉變換的算法手動(dòng)驗(yàn)證或要求智能體輸出其使用的頻率向量檢查是否滿(mǎn)足采樣定理?？梢砸笏?jì)算并顯示最大可解析頻率。優(yōu)化器與停止準(zhǔn)則如之前強(qiáng)調(diào)審查優(yōu)化算法的選擇。對(duì)于迭代算法檢查停止準(zhǔn)則是否合理如相對(duì)誤差變化1e-6或最大迭代次數(shù)。要求智能體在代碼中加入收斂性診斷圖。邊界條件與填充方式在卷積、反卷積等操作中檢查其對(duì)圖像邊界的處理方式如零填充、對(duì)稱(chēng)填充、循環(huán)填充。不同的填充方式會(huì)引入不同的偽影。結(jié)果的可視化與診斷要求智能體不僅輸出最終圖像還要輸出關(guān)鍵中間結(jié)果、誤差曲線(xiàn)、頻譜圖等。這些是診斷問(wèn)題所在的關(guān)鍵。5.3 一個(gè)可行的混合工作流模式根據(jù)我們的經(jīng)驗(yàn)最有效的模式不是“全權(quán)委托”而是“人機(jī)協(xié)同”人類(lèi)負(fù)責(zé)問(wèn)題定義、物理建模、算法核心思想提出、關(guān)鍵參數(shù)范圍確定、最終結(jié)果的質(zhì)量評(píng)估與物理意義解釋。智能體負(fù)責(zé)根據(jù)人類(lèi)提出的清晰框架快速生成代碼實(shí)現(xiàn)初稿、編寫(xiě)數(shù)據(jù)預(yù)處理/后處理腳本、自動(dòng)生成文檔字符串、為常見(jiàn)錯(cuò)誤提供調(diào)試建議。迭代循環(huán)人類(lèi)審查智能體生成的代碼和結(jié)果發(fā)現(xiàn)問(wèn)題然后通過(guò)更精確的提示詞指導(dǎo)智能體進(jìn)行修改。例如“上一版代碼在迭代100次后誤差不再下降請(qǐng)加入一個(gè)判斷如果連續(xù)10次迭代誤差變化小于1e-5則提前終止循環(huán)并嘗試將松弛參數(shù)β從0.9調(diào)整為0.7看看效果。”這種模式下智能體充當(dāng)了一個(gè)能力極強(qiáng)的“執(zhí)行助理”將人類(lèi)專(zhuān)家從繁瑣的編碼和資料查找中解放出來(lái)專(zhuān)注于更高層次的思考和創(chuàng)新。而人類(lèi)專(zhuān)家則扮演“架構(gòu)師”和“審查者”的角色確保整個(gè)解決方案在物理上和數(shù)值上是可靠的。6. 未來(lái)展望通往“真正理解”的路徑何在我們的基準(zhǔn)測(cè)試表明當(dāng)前的智能體AI在計(jì)算成像任務(wù)上表現(xiàn)出了一種“知識(shí)淵博但實(shí)踐生疏”的特性。它通過(guò)了“開(kāi)卷考試”但在需要深度理解和靈活應(yīng)用的“閉卷實(shí)踐”中頻頻受挫。那么它有可能真正“理解”成像嗎我們認(rèn)為路徑可能在于以下幾個(gè)方向的結(jié)合與專(zhuān)業(yè)仿真工具深度集成將智能體與高保真的光學(xué)仿真軟件如Zemax、CODE V的API或電磁仿真軟件集成。讓智能體不僅能寫(xiě)代碼還能“運(yùn)行”一個(gè)虛擬實(shí)驗(yàn)觀(guān)察不同參數(shù)對(duì)成像結(jié)果的影響從而獲得更直觀(guān)的“物理直覺(jué)”。這相當(dāng)于為其提供了“動(dòng)手做實(shí)驗(yàn)”的能力。強(qiáng)化學(xué)習(xí)與物理信息神經(jīng)網(wǎng)絡(luò)PINN的啟發(fā)當(dāng)前智能體主要基于語(yǔ)言模型。未來(lái)結(jié)合具有強(qiáng)化學(xué)習(xí)能力的智能體可以讓其通過(guò)“試錯(cuò)”來(lái)學(xué)習(xí)如何調(diào)整成像系統(tǒng)參數(shù)或重建算法參數(shù)以?xún)?yōu)化某個(gè)圖像質(zhì)量指標(biāo)?；蛘邔⑽锢矸匠倘绮▌?dòng)方程作為硬約束嵌入到智能體的推理過(guò)程中類(lèi)似于PINN的思想迫使它的解決方案必須遵守物理定律。領(lǐng)域?qū)Ｓ梦⒄{(diào)與記憶在大量計(jì)算成像領(lǐng)域的專(zhuān)業(yè)文獻(xiàn)、代碼庫(kù)和數(shù)據(jù)集上對(duì)基礎(chǔ)大模型進(jìn)行微調(diào)并為其配備一個(gè)可長(zhǎng)期存儲(chǔ)和檢索的“專(zhuān)業(yè)記憶庫(kù)”。當(dāng)遇到新問(wèn)題時(shí)它可以更精準(zhǔn)地類(lèi)比歷史上的相似案例和解決方案。因果推理與可解釋性模塊開(kāi)發(fā)能讓智能體不僅給出答案還能清晰展示其推理鏈中每一步所依賴(lài)的物理假設(shè)和數(shù)學(xué)原理的模塊。當(dāng)結(jié)果出現(xiàn)偽影時(shí)它能反向追蹤并指出“這個(gè)條紋偽影可能源于我對(duì)投影數(shù)據(jù)噪聲分布做了高斯假設(shè)而實(shí)際噪聲可能是泊松分布。”最終一個(gè)能真正“理解”成像的AI或許應(yīng)該像一個(gè)受過(guò)良好訓(xùn)練的成像科學(xué)家它既能熟練地操作各種軟件和儀器也能在白板上推導(dǎo)公式既能設(shè)計(jì)新的成像系統(tǒng)也能對(duì)失敗的結(jié)果進(jìn)行根因分析。我們距離這個(gè)目標(biāo)還有很長(zhǎng)的路要走但目前的智能體AI無(wú)疑已經(jīng)邁出了令人興奮的第一步。對(duì)于我們從業(yè)者來(lái)說(shuō)與其擔(dān)心被替代不如盡快學(xué)會(huì)如何與這個(gè)強(qiáng)大的新工具共舞明確彼此的邊界將我們的專(zhuān)業(yè)判斷與它的高效執(zhí)行結(jié)合起來(lái)共同去解決那些更前沿、更復(fù)雜的成像難題。我個(gè)人在實(shí)際操作中的體會(huì)是最忌諱的就是把智能體當(dāng)成一個(gè)“魔術(shù)黑箱”輸入問(wèn)題就期待完美答案。恰恰相反你越是專(zhuān)業(yè)越了解計(jì)算成像的細(xì)節(jié)和陷阱你就越能通過(guò)精準(zhǔn)的提示和嚴(yán)格的審查從智能體身上榨取出更高的價(jià)值。它像一面鏡子你問(wèn)得模糊它答得籠統(tǒng)你問(wèn)得精深它才能反饋出有價(jià)值的細(xì)節(jié)。這個(gè)基準(zhǔn)測(cè)試的過(guò)程也是對(duì)我們自身知識(shí)體系的一次梳理和考驗(yàn)。