有些產(chǎn)品功能需要模型判斷兩個(gè)人的關(guān)系會(huì)議軟件分析參會(huì)者是不是熟人社交產(chǎn)品判斷該不該推薦破冰話題客服系統(tǒng)識(shí)別用戶和客服之間是否已經(jīng)建立過(guò)溝通。過(guò)去這類判斷主要靠文本和語(yǔ)音現(xiàn)在多模態(tài)模型能同時(shí)看畫(huà)面了——一段 20 秒的視頻兩個(gè)人面對(duì)面聊天模型能不能看出他們是熟人還是陌生人FriendBench 這個(gè)基準(zhǔn)做的就是這件事而且結(jié)論比預(yù)想的有意思模型判斷的準(zhǔn)確率和人類沒(méi)有顯著差異但在回答傾向上模型和人類出現(xiàn)了系統(tǒng)性分歧。準(zhǔn)確率不輸人類傾向卻不一樣基準(zhǔn)用 20 秒的破冰對(duì)話視頻作為素材對(duì)比 26 個(gè)多模態(tài)大模型和人類群體在 96 個(gè)配對(duì)場(chǎng)景里的表現(xiàn)測(cè)試覆蓋文本、音頻、視頻三種模態(tài)。結(jié)果分成兩層看。準(zhǔn)確率層面模型和人類沒(méi)有顯著差異都能從對(duì)話里提取出熟不熟的線索。但第二層結(jié)果暴露了差異人類在回答時(shí)保持中立傾向而最強(qiáng)的模型傾向于給出陌生人這個(gè)答案。也就是說(shuō)模型在拿不準(zhǔn)的時(shí)候默認(rèn)往不認(rèn)識(shí)那邊靠。這個(gè)偏置不是推理能力的問(wèn)題。從測(cè)試設(shè)計(jì)來(lái)看模型面對(duì)的是同樣的信息輸出卻系統(tǒng)性偏向一側(cè)更像是訓(xùn)練數(shù)據(jù)里陌生人樣本占比更高或者模型學(xué)到了沒(méi)有明確熟悉證據(jù)就判斷為陌生的保守策略。視覺(jué)模態(tài)幫了人類沒(méi)幫模型更值得琢磨的是第三個(gè)發(fā)現(xiàn)多模態(tài)信息對(duì)人類的幫助比對(duì)模型大。人類在文本和音頻之外加上視覺(jué)行為信息后判斷準(zhǔn)確率明顯提升——兩個(gè)人說(shuō)話時(shí)的眼神、身體姿態(tài)、距離感這些畫(huà)面信息對(duì)人類有用。但同樣的視覺(jué)信息加給模型準(zhǔn)確率幾乎沒(méi)有變化。這說(shuō)明模型在處理社交場(chǎng)景時(shí)視覺(jué)通道的信息并沒(méi)有被真正利用起來(lái)。圖像特征可能被提取了但沒(méi)有和熟悉度這個(gè)任務(wù)目標(biāo)形成有效的映射。對(duì)做多模態(tài)產(chǎn)品的人來(lái)說(shuō)這是個(gè)提醒模型接了視頻輸入不等于它會(huì)用視頻信息——視覺(jué)模態(tài)的接入成本和它對(duì)最終判斷的實(shí)際貢獻(xiàn)可能是兩回事。對(duì)工程團(tuán)隊(duì)意味著什么這類基準(zhǔn)看起來(lái)偏研究但對(duì)做社交、會(huì)議、客服類產(chǎn)品的團(tuán)隊(duì)有實(shí)際參考價(jià)值。模型在不確定場(chǎng)景下系統(tǒng)性偏向陌生人在真實(shí)產(chǎn)品里會(huì)產(chǎn)生累積效應(yīng)如果一個(gè)推薦系統(tǒng)反復(fù)把熟人關(guān)系判斷成陌生人用戶感受到的就是功能失靈。而且這種偏置是隱性的——單次判斷看不出問(wèn)題只有統(tǒng)計(jì)大量輸出才能發(fā)現(xiàn)。從工程角度看緩解手段無(wú)非幾種在提示層面要求模型先判斷證據(jù)強(qiáng)度再作答或者在決策層面對(duì)陌生人結(jié)論設(shè)置更高的置信度門(mén)檻。但基準(zhǔn)里沒(méi)有給出模型訓(xùn)練數(shù)據(jù)的分布細(xì)節(jié)也沒(méi)有說(shuō)明人類的中立傾向是否可以被模型模仿這些手段能起多大作用目前沒(méi)有公開(kāi)數(shù)據(jù)支撐。一個(gè)值得跟蹤的問(wèn)題是模型為什么在視覺(jué)模態(tài)上沒(méi)有獲益。如果是訓(xùn)練數(shù)據(jù)里社交場(chǎng)景樣本太少那么隨著多模態(tài)訓(xùn)練數(shù)據(jù)的豐富這個(gè)短板可能自動(dòng)緩解如果是視覺(jué)特征和任務(wù)目標(biāo)之間的映射設(shè)計(jì)問(wèn)題那就需要架構(gòu)層面的調(diào)整。兩種情況對(duì)應(yīng)完全不同的投入方向。關(guān)于維基框架維基框架關(guān)注企業(yè)應(yīng)用開(kāi)發(fā)中的長(zhǎng)期維護(hù)問(wèn)題。在實(shí)際項(xiàng)目中業(yè)務(wù)系統(tǒng)往往同時(shí)涉及權(quán)限、微服務(wù)、接口協(xié)議、部署環(huán)境等復(fù)雜因素因此我們希望提供一套更容易擴(kuò)展和維護(hù)的基礎(chǔ)框架。官網(wǎng)framewiki.comGiteegitee.com/wiki-frameworkGitHubgithub.com/wiki-framework示例項(xiàng)目gitee.com/cdkjframework/framewiki-example 許可證MulanPSL-2.0木蘭寬松許可證第2版