)
【免費(fèi)下載鏈接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.項(xiàng)目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL點(diǎn)擊查看免費(fèi)下載PRISM-VL 是一個(gè)測量域視覺語言模型研究項(xiàng)目它把經(jīng)過 ISP 處理的 RGB 圖像替換為RAW 派生的 Meas.-XYZ加上相機(jī)元數(shù)據(jù)ISO、曝光時(shí)間、光圈作為視覺輸入讓 Qwen3-VL 基于傳感器原始測量而非面向顯示的渲染結(jié)果回答問題。項(xiàng)目同時(shí)發(fā)布了 MeasL-Bench-V1 評測基準(zhǔn)、MeasL-150K-V1 訓(xùn)練集和 Qwen3-VL 2B / 4B / 8B 的 LoRA 適配器。 先問一個(gè)問題RGB 渲染已經(jīng)丟了什么證據(jù)項(xiàng)目名取自洞穴寓言Allegory of the Cave我們習(xí)慣看到的 RGB 圖像更像是投射在洞穴墻上的影子——它是圖像信號處理器ISP生成的面向顯示的產(chǎn)品而不是相機(jī)傳感器最初記錄的東西。從傳感器到 RGB 之間ISP 會(huì)做一連串讓它對人眼更好看的操作裁剪Clipping過曝的高光區(qū)域直接變成純白細(xì)節(jié)歸零降噪Denoising傳感器的原始紋理和弱信號被平滑掉色調(diào)映射Tone mapping線性亮度關(guān)系被重寫成非線性曲線量化Quantization高位深傳感器數(shù)據(jù)壓縮成 8-bit。問題在于對于證據(jù)類問題讀文字、判斷明暗、區(qū)分顏色模型需要的信息可能恰好在這四步里被抹掉。只看 RGB 的模型只能對著影子猜。PRISM-VL 的做法是把相機(jī)測量當(dāng)作一等觀察對象在模型看到圖像之前先讓它看 RAW 派生的 Meas.-XYZ——一種保留原始測量線性關(guān)系的三通道表示——再配上拍攝元數(shù)據(jù)讓模型以更接近物理世界的方式獲取證據(jù)。上圖是 PRISM-VL 的整體框架左側(cè)將 RAW 派生 Meas.-XYZ 與相機(jī)元數(shù)據(jù)注入視覺編碼器右側(cè)由 Qwen3-VL 完成測量域視覺語言推理。 真實(shí)低照案例RGB 如何帶偏模型項(xiàng)目用兩個(gè)低照度文本案例LERLow-Illumination Evidence Recovery直觀展示兩種輸入的差異案例RGB 輸入下的回答Meas.-XYZ 輸入下的回答亮燈店鋪招牌答成Hua Tian Hua?答出正美口腔?黃色招牌文字答成diamond?答出BLACK?同一張場景兩種看法RGB 渲染暴露的是誤導(dǎo)性證據(jù)答案區(qū)域已經(jīng)不可恢復(fù)而 Meas.-XYZ 保留了該區(qū)域的線性測量關(guān)系模型仍能讀出正確答案。? 怎么訓(xùn)練、怎么衡量15萬訓(xùn)練樣本 2183條基準(zhǔn)PRISM-VL不改動(dòng) Qwen3-VL 的訓(xùn)練與推理流程只替換視覺接口。實(shí)現(xiàn)上用輕量的殘差注入相機(jī)元數(shù)據(jù)經(jīng)photographic_log歸一化后以殘差形式疊加進(jìn) ViT 隱藏層避免對主干模型做大手術(shù)。配置細(xì)節(jié)見 sft_qwen3_vl_2b_prsimvl_v1.yaml。材料內(nèi)容訓(xùn)練集 MeasL-150K-V1152,517 條指令微調(diào)樣本、48,000 張發(fā)布圖像由約 70 萬條自動(dòng)標(biāo)注候選經(jīng)打分過濾、來源平衡并對基準(zhǔn)做去污染后發(fā)布基準(zhǔn) MeasL-Bench-V12,183 條 held-out 匹配樣本覆蓋 LER、HER、STR、GVG 等 14 個(gè)測量敏感能力切片提供 Meas.-XYZ 與 RGB 兩套匹配 JSONL模型權(quán)重Qwen3-VL 2B / 4B / 8B 對應(yīng)的 PRSIMVL LoRA 適配器 主結(jié)果Meas.-XYZ 的提升來自哪里在 held-out MeasL-Bench 協(xié)議下同尺寸模型Meas.-XYZ 對比 RGB 輸入模型視覺輸入BLEUROUGE-LLLM-JudgeQwen3-VL-8BRGB0.50460.350078.20PRSIMVL-8BMeas.-XYZ 元數(shù)據(jù)0.61200.457182.66Qwen3-VL-2BRGB0.34070.317169.54PRSIMVL-2BMeas.-XYZ 元數(shù)據(jù)0.58650.424477.998B 版本相比同尺寸 RGB 版本提升0.1074 BLEU、0.1071 ROUGE-L、4.46 LLM-Judge 分2B 版本更是全面超越 4B / 8B 的 RGB 版本。增益集中在證據(jù)敏感型能力上能力切片RGB Qwen3-VL-8BBLEU / ROUGE-LPRSIMVL-2BBLEU / ROUGE-LLER 低照度證據(jù)恢復(fù)0.3470 / 0.28510.5174 / 0.4249STR 場景文字識別0.3719 / 0.36040.5084 / 0.4669HER HDR 證據(jù)恢復(fù)0.5343 / 0.36140.6066 / 0.4533 上手三步走本地問一張圖安裝 release 快照運(yùn)行 install_editable.sh用swift deploy加載基座模型 對應(yīng) PRSIMVL LoRA 適配器啟動(dòng) OpenAI 兼容服務(wù)用 inference/ask_service.py 發(fā)送本地圖像和問題——問題里帶上 ISO / 曝光 / 光圈格式的拍攝元數(shù)據(jù)與訓(xùn)練提示風(fēng)格保持一致。要復(fù)現(xiàn)完整基準(zhǔn)一條命令即可MODEL_SIZE2b CUDA_VISIBLE_DEVICES0 bash eval/run_infer_and_eval.sh評估入口會(huì)自動(dòng)校驗(yàn)question_type標(biāo)簽、檢查圖像存在性再經(jīng)由 scripts/test_raw_eval_pipeline_opt/pipeline.py 的共享管線完成推理與離線指標(biāo)計(jì)算結(jié)果寫入eval/output_benchmark/。全部參數(shù)說明見 eval/README.md 與 inference/README.md。 項(xiàng)目文件導(dǎo)讀路徑說明assets/框架圖、能力雷達(dá)圖、RGB 與 Meas.-XYZ 對比示例eval/基準(zhǔn)推理與離線評估入口inference/服務(wù)化 VQA 演示與 demo 數(shù)據(jù)configs/qwen3_vl_150k_llmmeta_vit_proxy/2B / 4B / 8B 的 SFT 訓(xùn)練配置與啟動(dòng)腳本scripts/test_raw_eval_pipeline_opt/共享推理 / 評估管線實(shí)現(xiàn)swift/訓(xùn)練與推理代碼快照LoRA、SFT、deploy一句話總結(jié) PRISM-VL 的回答是別讓模型對著影子猜把測量還給它。用 RAW 派生 Meas.-XYZ 相機(jī)元數(shù)據(jù)配合最小成本的 LoRA 微調(diào)即可顯著找回被 RGB 渲染抹掉的低照度文字、HDR 與場景識別等敏感證據(jù)。贊分享【免費(fèi)下載鏈接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.項(xiàng)目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL點(diǎn)擊查看免費(fèi)下載相關(guān)推薦為什么RT64能讓N64游戲煥發(fā)新生底層渲染原理詳解為什么RT64能讓N64游戲煥發(fā)新生底層渲染原理詳解 RT64是一款專為N64游戲打造的現(xiàn)代圖形渲染器它通過創(chuàng)新的底層技術(shù)和架構(gòu)設(shè)計(jì)為經(jīng)典游戲帶來畫質(zhì)增強(qiáng)為什么你的動(dòng)畫代碼會(huì)渲染失敗remocn 的確定性渲染原理深度剖析為什么你的動(dòng)畫代碼會(huì)渲染失敗remocn 的確定性渲染原理深度剖析 你是否遇到過這種情況Remotion 預(yù)覽里動(dòng)畫流暢完美一鍵渲染成 MP4 后卻出現(xiàn)閃為什么KnowStreaming是云原生Kafka管理的終極選擇7大核心優(yōu)勢詳解為什么KnowStreaming是云原生Kafka管理的終極選擇7大核心優(yōu)勢詳解 KnowStreaming作為一站式云原生實(shí)時(shí)流數(shù)據(jù)平臺(tái)通過0侵入、插件化后端消息隊(duì)列運(yùn)維可觀測性創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 PRISM-VL核心原理詳解：為什么RAW派生的Meas.-XYZ能找回RGB渲染丟失的證據(jù)
【免費(fèi)下載鏈接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.項(xiàng)目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL點(diǎn)擊查看免費(fèi)下載PRISM-VL 是一個(gè)測量域視覺語言模型研究項(xiàng)目它把經(jīng)過 ISP 處理的 RGB 圖像替換為RAW 派生的 Meas.-XYZ加上相機(jī)元數(shù)據(jù)ISO、曝光時(shí)間、光圈作為視覺輸入讓 Qwen3-VL 基于傳感器原始測量而非面向顯示的渲染結(jié)果回答問題。項(xiàng)目同時(shí)發(fā)布了 MeasL-Bench-V1 評測基準(zhǔn)、MeasL-150K-V1 訓(xùn)練集和 Qwen3-VL 2B / 4B / 8B 的 LoRA 適配器。 先問一個(gè)問題RGB 渲染已經(jīng)丟了什么證據(jù)項(xiàng)目名取自洞穴寓言Allegory of the Cave我們習(xí)慣看到的 RGB 圖像更像是投射在洞穴墻上的影子——它是圖像信號處理器ISP生成的面向顯示的產(chǎn)品而不是相機(jī)傳感器最初記錄的東西。從傳感器到 RGB 之間ISP 會(huì)做一連串讓它對人眼更好看的操作裁剪Clipping過曝的高光區(qū)域直接變成純白細(xì)節(jié)歸零降噪Denoising傳感器的原始紋理和弱信號被平滑掉色調(diào)映射Tone mapping線性亮度關(guān)系被重寫成非線性曲線量化Quantization高位深傳感器數(shù)據(jù)壓縮成 8-bit。問題在于對于證據(jù)類問題讀文字、判斷明暗、區(qū)分顏色模型需要的信息可能恰好在這四步里被抹掉。只看 RGB 的模型只能對著影子猜。PRISM-VL 的做法是把相機(jī)測量當(dāng)作一等觀察對象在模型看到圖像之前先讓它看 RAW 派生的 Meas.-XYZ——一種保留原始測量線性關(guān)系的三通道表示——再配上拍攝元數(shù)據(jù)讓模型以更接近物理世界的方式獲取證據(jù)。上圖是 PRISM-VL 的整體框架左側(cè)將 RAW 派生 Meas.-XYZ 與相機(jī)元數(shù)據(jù)注入視覺編碼器右側(cè)由 Qwen3-VL 完成測量域視覺語言推理。 真實(shí)低照案例RGB 如何帶偏模型項(xiàng)目用兩個(gè)低照度文本案例LERLow-Illumination Evidence Recovery直觀展示兩種輸入的差異案例RGB 輸入下的回答Meas.-XYZ 輸入下的回答亮燈店鋪招牌答成Hua Tian Hua?答出正美口腔?黃色招牌文字答成diamond?答出BLACK?同一張場景兩種看法RGB 渲染暴露的是誤導(dǎo)性證據(jù)答案區(qū)域已經(jīng)不可恢復(fù)而 Meas.-XYZ 保留了該區(qū)域的線性測量關(guān)系模型仍能讀出正確答案。? 怎么訓(xùn)練、怎么衡量15萬訓(xùn)練樣本 2183條基準(zhǔn)PRISM-VL不改動(dòng) Qwen3-VL 的訓(xùn)練與推理流程只替換視覺接口。實(shí)現(xiàn)上用輕量的殘差注入相機(jī)元數(shù)據(jù)經(jīng)photographic_log歸一化后以殘差形式疊加進(jìn) ViT 隱藏層避免對主干模型做大手術(shù)。配置細(xì)節(jié)見 sft_qwen3_vl_2b_prsimvl_v1.yaml。材料內(nèi)容訓(xùn)練集 MeasL-150K-V1152,517 條指令微調(diào)樣本、48,000 張發(fā)布圖像由約 70 萬條自動(dòng)標(biāo)注候選經(jīng)打分過濾、來源平衡并對基準(zhǔn)做去污染后發(fā)布基準(zhǔn) MeasL-Bench-V12,183 條 held-out 匹配樣本覆蓋 LER、HER、STR、GVG 等 14 個(gè)測量敏感能力切片提供 Meas.-XYZ 與 RGB 兩套匹配 JSONL模型權(quán)重Qwen3-VL 2B / 4B / 8B 對應(yīng)的 PRSIMVL LoRA 適配器 主結(jié)果Meas.-XYZ 的提升來自哪里在 held-out MeasL-Bench 協(xié)議下同尺寸模型Meas.-XYZ 對比 RGB 輸入模型視覺輸入BLEUROUGE-LLLM-JudgeQwen3-VL-8BRGB0.50460.350078.20PRSIMVL-8BMeas.-XYZ 元數(shù)據(jù)0.61200.457182.66Qwen3-VL-2BRGB0.34070.317169.54PRSIMVL-2BMeas.-XYZ 元數(shù)據(jù)0.58650.424477.998B 版本相比同尺寸 RGB 版本提升0.1074 BLEU、0.1071 ROUGE-L、4.46 LLM-Judge 分2B 版本更是全面超越 4B / 8B 的 RGB 版本。增益集中在證據(jù)敏感型能力上能力切片RGB Qwen3-VL-8BBLEU / ROUGE-LPRSIMVL-2BBLEU / ROUGE-LLER 低照度證據(jù)恢復(fù)0.3470 / 0.28510.5174 / 0.4249STR 場景文字識別0.3719 / 0.36040.5084 / 0.4669HER HDR 證據(jù)恢復(fù)0.5343 / 0.36140.6066 / 0.4533 上手三步走本地問一張圖安裝 release 快照運(yùn)行 install_editable.sh用swift deploy加載基座模型 對應(yīng) PRSIMVL LoRA 適配器啟動(dòng) OpenAI 兼容服務(wù)用 inference/ask_service.py 發(fā)送本地圖像和問題——問題里帶上 ISO / 曝光 / 光圈格式的拍攝元數(shù)據(jù)與訓(xùn)練提示風(fēng)格保持一致。要復(fù)現(xiàn)完整基準(zhǔn)一條命令即可MODEL_SIZE2b CUDA_VISIBLE_DEVICES0 bash eval/run_infer_and_eval.sh評估入口會(huì)自動(dòng)校驗(yàn)question_type標(biāo)簽、檢查圖像存在性再經(jīng)由 scripts/test_raw_eval_pipeline_opt/pipeline.py 的共享管線完成推理與離線指標(biāo)計(jì)算結(jié)果寫入eval/output_benchmark/。全部參數(shù)說明見 eval/README.md 與 inference/README.md。 項(xiàng)目文件導(dǎo)讀路徑說明assets/框架圖、能力雷達(dá)圖、RGB 與 Meas.-XYZ 對比示例eval/基準(zhǔn)推理與離線評估入口inference/服務(wù)化 VQA 演示與 demo 數(shù)據(jù)configs/qwen3_vl_150k_llmmeta_vit_proxy/2B / 4B / 8B 的 SFT 訓(xùn)練配置與啟動(dòng)腳本scripts/test_raw_eval_pipeline_opt/共享推理 / 評估管線實(shí)現(xiàn)swift/訓(xùn)練與推理代碼快照LoRA、SFT、deploy一句話總結(jié) PRISM-VL 的回答是別讓模型對著影子猜把測量還給它。用 RAW 派生 Meas.-XYZ 相機(jī)元數(shù)據(jù)配合最小成本的 LoRA 微調(diào)即可顯著找回被 RGB 渲染抹掉的低照度文字、HDR 與場景識別等敏感證據(jù)。贊分享【免費(fèi)下載鏈接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.項(xiàng)目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL點(diǎn)擊查看免費(fèi)下載相關(guān)推薦為什么RT64能讓N64游戲煥發(fā)新生底層渲染原理詳解為什么RT64能讓N64游戲煥發(fā)新生底層渲染原理詳解 RT64是一款專為N64游戲打造的現(xiàn)代圖形渲染器它通過創(chuàng)新的底層技術(shù)和架構(gòu)設(shè)計(jì)為經(jīng)典游戲帶來畫質(zhì)增強(qiáng)為什么你的動(dòng)畫代碼會(huì)渲染失敗remocn 的確定性渲染原理深度剖析為什么你的動(dòng)畫代碼會(huì)渲染失敗remocn 的確定性渲染原理深度剖析 你是否遇到過這種情況Remotion 預(yù)覽里動(dòng)畫流暢完美一鍵渲染成 MP4 后卻出現(xiàn)閃為什么KnowStreaming是云原生Kafka管理的終極選擇7大核心優(yōu)勢詳解為什么KnowStreaming是云原生Kafka管理的終極選擇7大核心優(yōu)勢詳解 KnowStreaming作為一站式云原生實(shí)時(shí)流數(shù)據(jù)平臺(tái)通過0侵入、插件化后端消息隊(duì)列運(yùn)維可觀測性創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考