1. 從“美顏”到“照妖鏡”AI繪畫的十字路口最近跟幾個做游戲美術(shù)和影視概念設(shè)計的朋友聊天話題總繞不開AI繪畫。大家普遍有個感覺現(xiàn)在的AI畫圖工具比如Midjourney、Stable Diffusion在“造夢”這件事上已經(jīng)爐火純青。你輸入“賽博朋克城市霓虹雨夜孤獨的仿生人”它能在幾秒內(nèi)給你一張光影、氛圍、細節(jié)都堪稱驚艷的概念圖直接拿去當電影海報都行。但當你把這張圖交給3D建模師或者想用它作為故事板的分鏡時問題就來了這個仿生人的機械臂結(jié)構(gòu)合理嗎霓虹燈牌在雨中的透視關(guān)系對嗎遠處那輛懸浮車的輪子如果它有的話和車身的連接點在哪里這背后其實就是AI繪畫領(lǐng)域一個日益尖銳的爭論我們到底是要“好看”還是要“可信”“好看”意味著視覺沖擊力、藝術(shù)風格化、氛圍感拉滿能第一時間抓住眼球滿足情感和審美需求?！翱尚拧眲t關(guān)乎物理合理性、結(jié)構(gòu)準確性、邏輯自洽是后續(xù)工業(yè)化生產(chǎn)如游戲建模、影視特效、產(chǎn)品設(shè)計得以進行的基礎(chǔ)。很長一段時間這兩者似乎站在了對立面。追求極致美感的模型往往在細節(jié)上“放飛自我”生成一些現(xiàn)實中不可能存在的結(jié)構(gòu)或光影而過于強調(diào)物理準確的模型其輸出結(jié)果又可能顯得呆板、缺乏藝術(shù)張力被戲稱為“AI界的工程制圖”。但作為一個在內(nèi)容創(chuàng)作一線摸爬滾打多年的從業(yè)者我的態(tài)度很明確小孩子才做選擇我兩個都要這并非貪心而是現(xiàn)實需求倒逼的必然。無論是個人創(chuàng)作者追求獨一無二且能落地的作品還是商業(yè)項目需要兼顧創(chuàng)意與可實現(xiàn)性“好看又可信”的AI繪畫能力已經(jīng)成為剛需。接下來的內(nèi)容我就結(jié)合自己的實踐和觀察拆解一下實現(xiàn)這個目標所面臨的挑戰(zhàn)、現(xiàn)有的技術(shù)思路以及我們具體可以怎么做。2. “好看”與“可信”的撕裂問題到底出在哪要解決問題先得看清問題。AI繪畫在“可信度”上翻車其根源是多層次的并非簡單一句“模型不懂物理”就能概括。2.1 數(shù)據(jù)源的“偏見”互聯(lián)網(wǎng)喜歡什么AI就學到什么當前主流文生圖模型如Stable Diffusion都是在LAION-5B這類超大規(guī)?；ヂ?lián)網(wǎng)圖像-文本對數(shù)據(jù)集上訓練的?；ヂ?lián)網(wǎng)上的圖像有什么特點首先是“眼球經(jīng)濟”主導那些獲得高贊、高轉(zhuǎn)發(fā)、高點擊的圖片往往是構(gòu)圖巧妙、色彩鮮艷、主題突出或極具戲劇張力的——一句話就是“好看”。相比之下一張結(jié)構(gòu)嚴謹?shù)娜晥D、一份標注清晰的零件爆炸圖幾乎不可能成為網(wǎng)絡(luò)熱門。這就導致模型在訓練過程中被大量灌輸了“如何制造視覺奇觀”的規(guī)律卻極少接觸到“如何嚴謹描述物體結(jié)構(gòu)”的范例。模型學會了把“豪華城堡”和“金色夕陽、尖頂、浮雕”關(guān)聯(lián)起來但它并不真正理解城堡的承重墻、拱券結(jié)構(gòu)、樓梯走向應該是什么樣。當它生成城堡時它是在拼貼記憶中“好看”的視覺元素而不是從建筑原理出發(fā)進行“建造”。2.2 擴散過程的“想象力”與“失控”擴散模型的工作原理是從純噪聲開始一步步去噪最終“幻想”出一張符合文本描述的圖片。這個過程充滿了隨機性和創(chuàng)造性這也是其藝術(shù)魅力的來源。但問題在于這種“幻想”缺乏約束。模型在去噪的每一步都在無數(shù)種可能的像素排列中做選擇它優(yōu)先選擇的是“在訓練數(shù)據(jù)統(tǒng)計意義上看起來合理的像素組合”而不是“在物理世界邏輯上正確的結(jié)構(gòu)關(guān)系”。例如生成“一個人雙手拿著咖啡杯”。模型“知道”人、手、咖啡杯這些概念也“知道”它們常常同時出現(xiàn)。但在去噪過程中它可能會生成三只手或者杯子嵌在了手里因為從局部像素塊的顏色和紋理過渡來看這樣拼接可能“看起來”也挺順眼。它沒有“手是肢體的末端通過腕關(guān)節(jié)連接最多兩只”這樣的硬性規(guī)則約束。這種基于統(tǒng)計的“想象力”在需要嚴格邏輯的場景下就容易導致“失控”產(chǎn)生違背常理的結(jié)果。2.3 文本提示詞的“模糊性”與“歧義”我們?nèi)祟愅ㄟ^語言交流時背后是共享的龐大常識和物理世界經(jīng)驗。我們說“貓坐在沙發(fā)上”大腦會自動補全貓有重量會壓陷沙發(fā)面、貓的姿勢要符合骨骼結(jié)構(gòu)、沙發(fā)材質(zhì)會產(chǎn)生相應褶皺等信息。但AI沒有這些常識。對于AI而言“貓坐在沙發(fā)上”就是一個文本標簽對應著一大堆貓和沙發(fā)同時出現(xiàn)的圖片這些圖片里貓的姿勢、沙發(fā)類型千奇百怪。提示詞的模糊性給了模型太大的“解釋”空間。你輸入“一個復雜的齒輪機械結(jié)構(gòu)”你心里想的是像鐘表內(nèi)部那樣精密咬合的系統(tǒng)但模型可能給你生成一堆齒輪堆疊在一起彼此之間根本沒有傳動軸連接純粹為了視覺上的“復雜”而堆砌。因為訓練數(shù)據(jù)里“復雜機械”的圖片很多就是這種充滿細節(jié)的蒸汽朋克風格藝術(shù)圖它們本身就不追求工程上的可行性。3. 技術(shù)前線如何給AI的“想象力”裝上“韁繩”既然問題清楚了業(yè)界和開源社區(qū)也在從不同角度嘗試給AI的“想象力”套上“韁繩”在不扼殺其創(chuàng)造力的前提下提升生成結(jié)果的可信度。目前來看主要有幾條技術(shù)路徑。3.1 路徑一ControlNet——引入外部“設(shè)計藍圖”這是目前最流行且效果最直接的方案。ControlNet的核心思想是除了文本提示詞我再給模型輸入一個額外的“條件圖”這個圖以非常明確的形式規(guī)定了生成圖像的某些底層屬性比如線條草圖、人體姿態(tài)、深度圖、語義分割圖等。模型在生成時必須同時滿足文本描述和貼合這個條件圖的約束。應用場景線稿上色與細化你畫一個粗糙的人物線稿通過Canny邊緣檢測或Scribble涂鴉ControlNet讓AI在這個確定的造型框架內(nèi)進行上色和細節(jié)渲染保證輸出的人物不會畸變。姿勢控制使用OpenPose ControlNet輸入一個火柴人姿勢圖AI就能生成準確符合該姿勢的人物這對于角色設(shè)計、動畫分鏡至關(guān)重要。構(gòu)圖與景深控制使用深度圖ControlNet你可以預先規(guī)劃好畫面的前后景深度關(guān)系A(chǔ)I生成的內(nèi)容就會嚴格遵守這個空間布局避免前景物體和背景物體不合理地融合。精準換裝與場景重建使用語義分割ControlNet你可以給一張照片的每個區(qū)域打上標簽如天空、樹木、衣服、皮膚然后通過修改提示詞只針對“衣服”區(qū)域進行重繪實現(xiàn)精準換裝而保持人物姿態(tài)和背景不變。實操心得ControlNet不是萬能的它的控制強度需要仔細調(diào)節(jié)。Control Weight控制權(quán)重和Starting/Ending Control Step控制起止步數(shù)是兩個關(guān)鍵參數(shù)。權(quán)重太高會完全扼殺AI的創(chuàng)意導致結(jié)果僵硬像直接貼圖權(quán)重太低約束力不足AI還是會“亂跑”。通常對于需要嚴格遵循結(jié)構(gòu)的任務(wù)如建筑生成我會用較高的權(quán)重0.8-1.2對于只是需要引導風格和大致構(gòu)圖的中等權(quán)重0.5-0.7更合適?？刂撇綌?shù)決定了在去噪的哪個階段引入約束早期引入對構(gòu)圖影響大晚期引入則影響細節(jié)風格。3.2 路徑二模型微調(diào)與LoRA——灌輸“專業(yè)領(lǐng)域知識”如果通用模型在某個特定領(lǐng)域比如“嚴謹?shù)墓I(yè)設(shè)計”、“準確的中國古建筑”表現(xiàn)不佳我們可以通過微調(diào)向模型注入該領(lǐng)域的“專業(yè)知識”。全模型微調(diào)成本高昂而LoRA等低秩適配技術(shù)讓我們能夠以極小的代價通常是一個幾十到幾百MB的小文件教會大模型新的概念和風格。如何運作你可以收集一批高質(zhì)量、高可信度的專業(yè)圖片例如某個品牌汽車的官方三視圖、內(nèi)飾細節(jié)圖一套風格統(tǒng)一的科幻飛船設(shè)計稿為每張圖配上精確的描述文本。然后用這些數(shù)據(jù)對基礎(chǔ)模型進行LoRA訓練。訓練完成后這個LoRA模型就學會了“某某品牌汽車的設(shè)計語言”或“某種科幻飛船的結(jié)構(gòu)邏輯”。與ControlNet的互補LoRA是從“概念”和“風格”層面進行修正讓模型在生成“汽車”或“飛船”時自然傾向于更合理、更符合該系列設(shè)計語言的結(jié)構(gòu)。而ControlNet是從“具體形態(tài)”層面進行約束。兩者結(jié)合威力巨大先用LoRA確保生成物屬于“可信的A品牌家族”再用OpenPose或深度圖ControlNet精確控制其姿態(tài)或視角。踩坑記錄訓練LoRA時數(shù)據(jù)質(zhì)量遠大于數(shù)據(jù)數(shù)量。我曾用50張精心挑選、角度多樣、標注準確的產(chǎn)品圖訓練出的LoRA效果遠勝于用500張網(wǎng)絡(luò)爬取的、質(zhì)量參差不齊的圖片。描述文本Caption至關(guān)重要不能只寫“一張汽車圖片”而要詳細描述“銀色轎車45度前視角流線型車身五輻輪轂LED大燈細節(jié)地面陰影投射清晰”。這相當于在教AI認識每個部件的正確名稱和樣子。3.3 路徑三多模態(tài)與物理引擎反饋——邁向“可模擬”的生成這是更前沿的探索方向目標是讓AI不僅生成“看起來”對的圖還能生成“實際上”能用的數(shù)據(jù)。其中一個思路是結(jié)合其他模態(tài)的模型。文本-圖像-3D聯(lián)合生成先由文生圖模型生成一張多角度的概念圖然后利用如TripoSR、Stable Zero123等圖像轉(zhuǎn)3D模型生成一個粗略的3D網(wǎng)格。接著可以將這個3D模型導入Blender等軟件進行簡單的物理模擬比如重力、碰撞。如果這個模型連基本的站立都做不到重心離譜或者部件相互穿透那么就可以判定原2D概念圖在結(jié)構(gòu)上是“不可信”的。這個反饋可以用于篩選或迭代優(yōu)化2D生成。程序化生成結(jié)合對于規(guī)則性強的場景如建筑、機械可以先使用程序化生成工具如Houdini、Blender Geometry Nodes創(chuàng)建一個符合物理和建筑規(guī)范的基礎(chǔ)白模確定好比例、結(jié)構(gòu)、承重關(guān)系。然后將這個白模渲染成深度圖或法線圖作為ControlNet的輸入再讓AI去進行外觀風格的裝飾和細節(jié)的豐富。這樣保證了“骨架”的正確AI只負責“皮肉”的美化從根本上解決了結(jié)構(gòu)問題。4. 實戰(zhàn)工作流從“想法”到“可信的美麗”理論說再多不如一個實際的 pipeline 來得直觀。下面我分享一個自己常用的用于生成“既好看又可信”的科幻機械設(shè)定稿的工作流。這個工作流融合了上述多種技術(shù)工具以Stable Diffusion WebUIAUTOMATIC1111或ComfyUI為例。4.1 第一階段定義與規(guī)劃關(guān)鍵想清楚再畫明確需求不要一上來就打開AI。先問自己這個機械體是干什么的運輸、戰(zhàn)斗、工程它的動力源是什么蒸汽、電力、核能它處于什么環(huán)境沙漠、太空、深海這些因素將根本性決定其外觀和結(jié)構(gòu)。例如深海探測器需要有抗壓殼體、探照燈和機械臂而不是華麗的翅膀。收集參考與繪制簡圖在Pinterest、ArtStation上尋找真實的機械參考如工程機械、航空發(fā)動機和符合你審美風格的概念藝術(shù)。然后親手用數(shù)位板或紙筆畫一個最簡單的三視圖草圖或關(guān)鍵角度線稿。這一步至關(guān)重要它迫使你思考基本的結(jié)構(gòu)、比例和關(guān)節(jié)連接點。不用畫得多好幾條線框住大體塊就行。4.2 第二階段基礎(chǔ)形態(tài)生成核心用ControlNet鎖定結(jié)構(gòu)將草圖轉(zhuǎn)化為控制條件把你手繪的線稿掃描或拍照導入PS或簡單的繪圖軟件強化一下對比度讓它變成干凈的黑白線稿。保存為sketch.png。配置文生圖參數(shù)基礎(chǔ)模型選擇一個擅長機械、科幻風格的大模型如DreamShaper、Realistic Vision的衍生版本或?qū)ｉT針對設(shè)計訓練的Proteus。正面提示詞必須具體、結(jié)構(gòu)化。例如masterpiece, best quality, cinematic lighting, detailed sci-fi mech, walking robot, (heavy industrial design:1.2), hydraulic pistons, armored plates, exposed wiring and cables, functional joints, (concept art, white background:1.3)。注意括號和權(quán)重(xx:1.2)用來強調(diào)“工業(yè)設(shè)計”、“功能性關(guān)節(jié)”等可信度相關(guān)的概念。負面提示詞deformed, blurry, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, out of focus, long neck, long body, unrealistic。這里大量加入了與解剖、肢體錯誤相關(guān)的詞匯直接對抗“不可信”的生成結(jié)果。采樣器與步數(shù)DPM 2M Karras 或 Euler a步數(shù)20-30CFG Scale 7-9。啟用ControlNet單元1上傳sketch.png預處理器選invert如果你的線稿是黑底白線或none如果是白底黑線模型選control_v11p_sd15_scribble或control_v11p_sd15_lineart?？刂茩?quán)重設(shè)為0.8控制模式選Balanced或My prompt is more important。這一步確保生成的大體形態(tài)不偏離你的設(shè)計初衷。可選單元2如果你想進一步控制光影體積可以用深度圖。將同一張草圖用depth預處理器如depth_midas跑一遍生成深度圖然后用control_v11f1p_sd15_depth模型權(quán)重設(shè)低一些0.3-0.5主要用來塑造體積感。4.3 第三階段迭代與精修靈魂人工審查與局部重繪AI第一輪生成的結(jié)果通常在大結(jié)構(gòu)上沒問題了但細節(jié)處必然有瑕疵可能某個液壓桿看起來沒連接好或者某個裝甲板的厚度不一致。人工審查與標注把生成的圖放大仔細檢查每一個結(jié)構(gòu)連接處、透視關(guān)系、材質(zhì)轉(zhuǎn)折。用紅圈標出所有你覺得“不合理”的地方。局部重繪使用SD WebUI的“局部重繪”功能。將問題區(qū)域涂黑作為蒙版保持提示詞不變但可以稍微增加對具體部件的描述比如重繪一個連接件時提示詞改為detailed hydraulic piston connection, metal, bolts。重繪時務(wù)必也開啟ControlNet并上傳原始草圖或生成圖的邊緣檢測圖以確保重繪的部分不會破壞整體結(jié)構(gòu)。重繪幅度Denoising strength從0.4開始嘗試太高會引入新問題。多角度驗證如果這個設(shè)計很重要不要滿足于一個角度。用你生成的最滿意的一張圖通過img2img或者使用視角控制LoRA/模型嘗試生成其側(cè)視圖、后視圖。把三視圖擺在一起看檢查比例是否一致結(jié)構(gòu)是否連貫。這是檢驗“可信度”的試金石。4.4 第四階段專業(yè)化提升進階引入領(lǐng)域知識如果這是長期項目比如你要設(shè)計一個系列機器人。訓練專屬LoRA將前幾個階段中你通過人工修正后認為“既好看又可信”的成功圖例收集起來20-30張即可進行LoRA訓練。觸發(fā)詞可以設(shè)為[你的設(shè)計風格名]。以后生成時只需在提示詞中加入這個觸發(fā)詞AI就會自動向你定義的“可信”風格靠攏。建立資源庫整理一套常用的、結(jié)構(gòu)正確的機械零件圖螺絲、齒輪、管道、接頭等作為重繪時的參考圖庫或者用于ComfyUI工作流中的圖像拼接。5. 心法與展望AI是合作伙伴不是許愿機走完這套流程你會發(fā)現(xiàn)生成一張“好看又可信”的圖時間成本可能比單純追求“好看”要高出好幾倍。但這多花的時間正是“設(shè)計”的價值所在——從天馬行空的幻想到經(jīng)得起推敲的提案。AI在這里扮演的角色不是一個輸入咒語就吐出完美結(jié)果的“許愿機”而是一個能力超強的“合作伙伴”。它負責提供海量的創(chuàng)意可能性、快速完成繁重的渲染和細節(jié)鋪陳而“規(guī)劃、判斷、修正、把關(guān)”的職責必須牢牢掌握在作為創(chuàng)作者的你手中。對于“可信”的追求實際上也在倒逼提示詞工程向“精準設(shè)計說明”演變。未來的提示詞可能不再只是“史詩、絕美、大師之作”這樣的形容詞堆砌而會包含更多準工程語言的描述比如“對稱設(shè)計”、“模塊化接口”、“符合人體工學的握把”、“基于四連桿機構(gòu)的傳動系統(tǒng)”。同時工具層面更智能的、能理解物理約束的ControlNet以及能與3D軟件實時交互、進行可行性驗證的AI插件將是發(fā)展的重點。所以回到最初的問題AI畫圖要好看還是要可信我的答案依然是兩個都要而且必須都要。因為只有當AI生成的美麗扎根于合理的土壤它才能真正從屏幕上的像素走進我們的游戲、電影、產(chǎn)品乃至更廣闊的現(xiàn)實世界。這條路需要創(chuàng)作者和工具開發(fā)者共同努力而我們已經(jīng)看到了清晰的方向和可行的路徑。這個過程本身就是一場充滿挑戰(zhàn)和樂趣的創(chuàng)作探險。