1. 項(xiàng)目背景與核心價(jià)值為什么我們需要一個(gè)“計(jì)算機(jī)使用”智能體數(shù)據(jù)集如果你關(guān)注過(guò)近兩年AI領(lǐng)域的發(fā)展尤其是多模態(tài)和具身智能方向會(huì)發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象模型在理解圖像、生成文本、甚至操控機(jī)械臂方面都取得了長(zhǎng)足進(jìn)步但讓一個(gè)AI去操作我們每天最熟悉的Windows或macOS桌面完成諸如“打開瀏覽器搜索最近的咖啡店并把地址復(fù)制到記事本”這樣的任務(wù)卻依然是個(gè)巨大的挑戰(zhàn)。這背后缺失的關(guān)鍵一環(huán)就是一個(gè)高質(zhì)量、大規(guī)模、標(biāo)注精細(xì)的“計(jì)算機(jī)使用”行為數(shù)據(jù)集。這正是“CUA-Suite”項(xiàng)目試圖填補(bǔ)的空白。簡(jiǎn)單來(lái)說(shuō)CUA-Suite是一個(gè)海量的人工標(biāo)注視頻演示數(shù)據(jù)集專門用于訓(xùn)練和評(píng)估“計(jì)算機(jī)使用智能體”。這里的“計(jì)算機(jī)使用”特指通過(guò)圖形用戶界面與操作系統(tǒng)和應(yīng)用軟件進(jìn)行交互例如點(diǎn)擊按鈕、輸入文本、拖拽文件、使用菜單等。這個(gè)數(shù)據(jù)集的價(jià)值在于它將人類在電腦前完成復(fù)雜任務(wù)的“隱性知識(shí)”——包括鼠標(biāo)移動(dòng)軌跡、點(diǎn)擊時(shí)機(jī)、對(duì)復(fù)雜UI元素的認(rèn)知邏輯——轉(zhuǎn)化為了機(jī)器可學(xué)習(xí)的“顯性數(shù)據(jù)”。為什么這件事如此重要因?yàn)楝F(xiàn)代軟件生態(tài)極其復(fù)雜且動(dòng)態(tài)變化。一個(gè)成功的計(jì)算機(jī)使用智能體不能僅僅學(xué)會(huì)在某個(gè)特定版本的Photoshop里點(diǎn)某個(gè)固定按鈕它需要具備泛化能力理解“保存”這個(gè)概念可能對(duì)應(yīng)菜單欄的“文件-保存”、快捷鍵CtrlS或者工具欄上的磁盤圖標(biāo)。它還需要理解任務(wù)的目標(biāo)和步驟邏輯例如“整理文檔”可能涉及打開文件夾、按類型篩選、新建子文件夾、拖拽文件等一系列動(dòng)作。CUA-Suite通過(guò)提供大量真實(shí)、多樣的人類操作錄像及對(duì)應(yīng)的精細(xì)標(biāo)注為模型學(xué)習(xí)這種高級(jí)的、目標(biāo)導(dǎo)向的交互邏輯提供了燃料。2. CUA-Suite數(shù)據(jù)集的構(gòu)成與核心標(biāo)注維度要理解CUA-Suite如何解決上述問(wèn)題我們需要深入其數(shù)據(jù)內(nèi)部。根據(jù)其命名中的“Suite”套件和相關(guān)的技術(shù)熱詞如UI-Vision, GroundCUA我們可以推斷這并非一個(gè)單一格式的數(shù)據(jù)集而是一個(gè)包含多層次、多維度標(biāo)注的數(shù)據(jù)集合。一個(gè)高質(zhì)量的計(jì)算機(jī)交互數(shù)據(jù)集至少需要包含以下幾個(gè)核心維度CUA-Suite很可能在這些方面都做了系統(tǒng)性工作。2.1 視頻演示與屏幕錄制數(shù)據(jù)這是數(shù)據(jù)集最基礎(chǔ)的層。它包含了大量錄制的屏幕視頻記錄了真人用戶完成特定計(jì)算機(jī)任務(wù)的全過(guò)程。這些任務(wù)覆蓋了廣泛的日常和辦公場(chǎng)景例如基礎(chǔ)文件操作在文件資源管理器中創(chuàng)建、重命名、移動(dòng)、復(fù)制、刪除文件和文件夾。網(wǎng)頁(yè)瀏覽與信息檢索使用瀏覽器打開特定網(wǎng)頁(yè)在搜索框中輸入查詢點(diǎn)擊鏈接滾動(dòng)頁(yè)面提取文本或圖片信息。辦公軟件應(yīng)用在Word中格式化文檔、插入圖片在Excel中進(jìn)行數(shù)據(jù)排序、篩選和簡(jiǎn)單公式計(jì)算在PPT中調(diào)整幻燈片版式。軟件設(shè)置與配置更改系統(tǒng)顯示設(shè)置安裝或配置一個(gè)應(yīng)用程序?？鐟?yīng)用工作流將從網(wǎng)頁(yè)復(fù)制的文本粘貼到郵件客戶端并添加附件發(fā)送。這些視頻是原始的行為“痕跡”是模型學(xué)習(xí)的起點(diǎn)。視頻的分辨率、幀率以及是否同步錄制了操作者的外接攝像頭用于捕捉可能的物理交互或上下文都是關(guān)鍵質(zhì)量指標(biāo)。2.2 原子動(dòng)作與高層次任務(wù)標(biāo)注僅有視頻是不夠的。數(shù)據(jù)集必須對(duì)視頻中發(fā)生的每一個(gè)交互進(jìn)行結(jié)構(gòu)化標(biāo)注。這通常分為兩個(gè)層次原子動(dòng)作標(biāo)注這是最細(xì)粒度的標(biāo)注。每一個(gè)不可再分的基本交互事件都會(huì)被標(biāo)記出來(lái)通常包括動(dòng)作類型如click點(diǎn)擊、double_click雙擊、right_click右擊、drag拖拽、scroll滾動(dòng)、type輸入、hotkey快捷鍵等。動(dòng)作目標(biāo)精確指出動(dòng)作施加在哪個(gè)UI元素上。這不僅僅是屏幕坐標(biāo)更重要的是元素的語(yǔ)義信息例如element_type: “button”,element_text: “Submit”,element_id: “l(fā)ogin-btn”。這需要與UI的結(jié)構(gòu)化信息如可訪問(wèn)性樹對(duì)齊。動(dòng)作參數(shù)對(duì)于type動(dòng)作標(biāo)注輸入的文本對(duì)于drag動(dòng)作標(biāo)注起始和結(jié)束位置/元素。高層次任務(wù)標(biāo)注這是目標(biāo)的描述。每個(gè)視頻對(duì)應(yīng)一個(gè)高層次的自然語(yǔ)言指令例如“將下載文件夾中所有.jpg圖片移動(dòng)到‘旅行照片’文件夾內(nèi)”。同時(shí)任務(wù)會(huì)被分解為一系列的子目標(biāo)步驟。例如步驟1打開文件資源管理器導(dǎo)航至“下載”文件夾。步驟2篩選出所有.jpg文件。步驟3在側(cè)邊欄創(chuàng)建名為“旅行照片”的新文件夾如果不存在。步驟4選中所有.jpg文件將其拖拽至“旅行照片”文件夾。這種層級(jí)標(biāo)注將“做什么”任務(wù)和“怎么做”動(dòng)作序列關(guān)聯(lián)起來(lái)是訓(xùn)練模型進(jìn)行任務(wù)規(guī)劃和步驟分解的關(guān)鍵。2.3 UI狀態(tài)的結(jié)構(gòu)化表示與對(duì)齊這是計(jì)算機(jī)使用智能體區(qū)別于其他視覺任務(wù)的核心。模型不能只“看”到像素還必須“理解”屏幕的UI結(jié)構(gòu)。CUA-Suite很可能集成了類似UI-Vision這類技術(shù)或標(biāo)注。UI-Vision指的是對(duì)每一幀或關(guān)鍵幀的屏幕截圖進(jìn)行UI元素的檢測(cè)、識(shí)別和屬性解析。這會(huì)產(chǎn)生一個(gè)結(jié)構(gòu)化的文檔類似于HTML DOM樹或移動(dòng)端的視圖層次結(jié)構(gòu)包含了所有UI元素的邊界框、類型按鈕、文本框、下拉菜單、文本內(nèi)容、狀態(tài)是否啟用、是否選中等信息。這個(gè)結(jié)構(gòu)化表示與視頻中的原子動(dòng)作標(biāo)注必須精確對(duì)齊——即標(biāo)注的點(diǎn)擊動(dòng)作其目標(biāo)必須對(duì)應(yīng)到UI樹中的一個(gè)具體節(jié)點(diǎn)。這種對(duì)齊使得模型能夠?qū)W習(xí)從像素到語(yǔ)義的映射并理解“在‘搜索框’這個(gè)文本元素上執(zhí)行‘輸入’動(dòng)作”這種邏輯關(guān)系而不是簡(jiǎn)單地記憶“在屏幕坐標(biāo)(300, 150)處點(diǎn)擊”。2.4 基于自然語(yǔ)言的指令與 grounding“GroundCUA”這個(gè)熱詞暗示了數(shù)據(jù)集中可能包含基于自然語(yǔ)言的 grounding接地標(biāo)注。這比單純的任務(wù)描述更進(jìn)一步。它可能指在視頻播放的某個(gè)時(shí)間點(diǎn)給出一個(gè)自然語(yǔ)言查詢要求智能體定位到與之相關(guān)的UI元素或狀態(tài)。例如在用戶填寫表單的視頻中在某個(gè)時(shí)間點(diǎn)彈出問(wèn)題“用戶現(xiàn)在正在輸入什么信息” 答案需要 ground 到屏幕上特定的文本框及其已輸入的內(nèi)容如“電子郵件地址”?；蛘摺澳膫€(gè)按鈕可以提交當(dāng)前表單” 答案需要 ground 到“提交”按鈕這個(gè)UI元素。這種標(biāo)注對(duì)于訓(xùn)練模型理解自然語(yǔ)言指令與具體UI場(chǎng)景的關(guān)聯(lián)至關(guān)重要是實(shí)現(xiàn)“幫我點(diǎn)一下那個(gè)藍(lán)色的確定按鈕”這類交互的基礎(chǔ)。3. 數(shù)據(jù)采集、清洗與質(zhì)量保障的實(shí)戰(zhàn)挑戰(zhàn)構(gòu)建CUA-Suite這樣一個(gè)數(shù)據(jù)集絕非易事其過(guò)程充滿了工程和算法挑戰(zhàn)。從實(shí)踐角度看以下幾個(gè)環(huán)節(jié)是關(guān)鍵也決定了數(shù)據(jù)集最終的質(zhì)量。采集環(huán)境多樣性為了確保模型的泛化能力數(shù)據(jù)必須在多樣化的環(huán)境中采集。這包括操作系統(tǒng)Windows, macOS, Linux 的不同版本及桌面環(huán)境如GNOME, KDE。軟件版本同一軟件如Chrome, Word的不同版本其UI可能存在細(xì)微差別。屏幕分辨率與縮放不同的分辨率和DPI縮放設(shè)置會(huì)改變UI元素的絕對(duì)位置和相對(duì)大小。主題與個(gè)性化不同的系統(tǒng)主題、顏色模式深色/淺色和字體設(shè)置。采集平臺(tái)需要能穩(wěn)定錄制屏幕并同時(shí)以高頻率、低延遲捕獲精確的輸入事件鼠標(biāo)、鍵盤。通常需要開發(fā)專門的采集客戶端。標(biāo)注流水線與工具人工標(biāo)注海量視頻是不現(xiàn)實(shí)的必須采用“人機(jī)協(xié)同”的流水線。自動(dòng)預(yù)標(biāo)注首先利用UI解析工具如基于計(jì)算機(jī)視覺或操作系統(tǒng)API自動(dòng)提取每一幀的UI結(jié)構(gòu)樹。同時(shí)通過(guò)鉤子程序監(jiān)聽系統(tǒng)事件自動(dòng)記錄原子動(dòng)作如click at (x,y)。這能生成一份粗糙的初始標(biāo)注。人工校驗(yàn)與修正標(biāo)注員在專用工具中回放視頻工具同時(shí)展示自動(dòng)生成的UI樹和動(dòng)作序列。標(biāo)注員的任務(wù)是修正動(dòng)作目標(biāo)將自動(dòng)記錄的坐標(biāo)點(diǎn)擊關(guān)聯(lián)到正確的UI元素節(jié)點(diǎn)上。例如自動(dòng)記錄可能只記下了坐標(biāo)(305, 152)標(biāo)注員需要將其與UI樹中ID為search-input的文本框關(guān)聯(lián)。補(bǔ)充高層語(yǔ)義為任務(wù)編寫自然語(yǔ)言描述并將其分解為步驟。執(zhí)行Grounding任務(wù)回答針對(duì)特定幀的自然語(yǔ)言問(wèn)題。質(zhì)量控制設(shè)計(jì)交叉驗(yàn)證、抽樣審核等機(jī)制。例如讓不同的標(biāo)注員對(duì)同一段視頻進(jìn)行獨(dú)立標(biāo)注通過(guò)一致性來(lái)評(píng)估標(biāo)注質(zhì)量。隱私與安全脫敏屏幕錄像包含大量敏感信息個(gè)人文件、郵件內(nèi)容、登錄信息。必須在采集端或預(yù)處理階段進(jìn)行嚴(yán)格的脫敏處理例如自動(dòng)檢測(cè)并模糊含個(gè)人信息的區(qū)域如用戶名、地址。在輸入密碼時(shí)屏蔽鍵盤記錄和屏幕顯示。使用模擬數(shù)據(jù)或匿名賬戶執(zhí)行任務(wù)。注意在構(gòu)建此類數(shù)據(jù)集時(shí)法律合規(guī)和用戶隱私是紅線。所有采集必須獲得知情同意數(shù)據(jù)需經(jīng)過(guò)嚴(yán)格脫敏并制定明確的數(shù)據(jù)使用協(xié)議。4. 如何利用CUA-Suite訓(xùn)練與評(píng)估計(jì)算機(jī)使用智能體有了CUA-Suite這樣的數(shù)據(jù)集我們?nèi)绾螌⑵溆糜谥悄荏w的訓(xùn)練呢這涉及到模型架構(gòu)、訓(xùn)練范式和新穎的評(píng)估指標(biāo)。4.1 主流模型架構(gòu)與訓(xùn)練范式當(dāng)前處理此類任務(wù)的主流架構(gòu)是多模態(tài)大模型其輸入是“當(dāng)前屏幕截圖或最近幾幀的歷史截圖 自然語(yǔ)言任務(wù)指令”輸出是“下一個(gè)要執(zhí)行的動(dòng)作”。訓(xùn)練過(guò)程可以看作是一個(gè)序列決策問(wèn)題的監(jiān)督學(xué)習(xí)或強(qiáng)化學(xué)習(xí)?；诒O(jiān)督學(xué)習(xí)的行為克隆這是最直接的方法。將數(shù)據(jù)集中狀態(tài) 動(dòng)作對(duì)作為訓(xùn)練樣本。模型學(xué)習(xí)模仿專家人類標(biāo)注者在給定屏幕狀態(tài)下的動(dòng)作。這里的“狀態(tài)”是屏幕的視覺和UI結(jié)構(gòu)化信息的融合表示“動(dòng)作”是標(biāo)注好的原子動(dòng)作如click(element_id‘submit-btn’)。這種方法簡(jiǎn)單有效但容易累積誤差且難以處理訓(xùn)練數(shù)據(jù)中未見過(guò)的新狀態(tài)?；趶?qiáng)化學(xué)習(xí)將計(jì)算機(jī)環(huán)境視為一個(gè)馬爾可夫決策過(guò)程智能體通過(guò)試錯(cuò)來(lái)學(xué)習(xí)策略以最大化任務(wù)完成的獎(jiǎng)勵(lì)。CUA-Suite可以用于預(yù)訓(xùn)練一個(gè)世界模型或提供一個(gè)豐富的模擬環(huán)境。然而在真實(shí)的計(jì)算機(jī)環(huán)境中進(jìn)行在線RL探索成本極高且危險(xiǎn)可能刪除系統(tǒng)文件。因此更多研究集中在離線強(qiáng)化學(xué)習(xí)或在模擬器中使用CUA-Suite數(shù)據(jù)初始化策略。關(guān)鍵技術(shù)創(chuàng)新點(diǎn)如何有效融合視覺和UI結(jié)構(gòu)信息是一個(gè)核心問(wèn)題。一種常見做法是使用視覺編碼器如ViT處理屏幕截圖同時(shí)使用文本編碼器處理UI樹的文本化序列例如將UI樹轉(zhuǎn)化為類似HTML的文本描述然后將兩種表征進(jìn)行融合。另一種更端到端的方式是訓(xùn)練一個(gè)模型直接接收像素輸入但通過(guò)輔助任務(wù)如預(yù)測(cè)UI元素的邊界框和類型來(lái)隱式學(xué)習(xí)UI結(jié)構(gòu)。4.2 評(píng)估指標(biāo)超越簡(jiǎn)單的任務(wù)成功率評(píng)估一個(gè)計(jì)算機(jī)使用智能體不能只看“任務(wù)是否最終完成”。CUA-Suite支持的評(píng)估應(yīng)該是多維度的任務(wù)完成率最核心的指標(biāo)智能體在未見過(guò)的任務(wù)指令上能獨(dú)立正確完成的比例。步驟效率完成同一個(gè)任務(wù)智能體所花費(fèi)的步驟數(shù)與人類專家平均步驟數(shù)的比值。一個(gè)智能體如果繞了很多彎路才完成任務(wù)其效率是低下的。動(dòng)作精確度智能體預(yù)測(cè)的動(dòng)作如點(diǎn)擊是否精確地作用在正確的UI元素上。這可以通過(guò)動(dòng)作目標(biāo)的匹配度如元素ID是否一致來(lái)衡量。泛化能力跨應(yīng)用泛化在Word上訓(xùn)練的模型能否直接或經(jīng)少量調(diào)整后處理WPS的任務(wù)跨版本泛化針對(duì)Chrome 100訓(xùn)練的模型在Chrome 120上表現(xiàn)如何跨分辨率泛化在1080p屏幕上訓(xùn)練的模型在4K屏幕上能否準(zhǔn)確定位元素指令理解魯棒性對(duì)于同義但表述不同的指令如“保存文件”和“將文檔存盤”模型是否能執(zhí)行相同的正確動(dòng)作序列CUA-Suite數(shù)據(jù)集通過(guò)提供大量多樣化的任務(wù)和場(chǎng)景使得這些細(xì)致的評(píng)估成為可能。研究者可以在一個(gè)保留的測(cè)試集上系統(tǒng)性地衡量模型的各項(xiàng)能力。4.3 實(shí)操中的挑戰(zhàn)與應(yīng)對(duì)策略在實(shí)際訓(xùn)練中你會(huì)遇到一些預(yù)料之外的問(wèn)題長(zhǎng)序列依賴與信用分配一個(gè)復(fù)雜任務(wù)可能包含幾十甚至上百個(gè)原子動(dòng)作。模型在早期步驟的一個(gè)微小錯(cuò)誤如點(diǎn)錯(cuò)了一個(gè)菜單可能導(dǎo)致后續(xù)所有步驟失效。如何讓模型學(xué)習(xí)到長(zhǎng)期規(guī)劃一種策略是在訓(xùn)練時(shí)不僅使用當(dāng)前狀態(tài)還加入任務(wù)指令和已完成步驟的歷史作為上下文。另一種是采用分層強(qiáng)化學(xué)習(xí)思路讓一個(gè)高層模型規(guī)劃子目標(biāo)一個(gè)底層模型執(zhí)行原子動(dòng)作。動(dòng)態(tài)與異步UI的應(yīng)對(duì)真實(shí)軟件中UI狀態(tài)變化不是瞬時(shí)的。點(diǎn)擊一個(gè)按鈕后可能需要等待網(wǎng)絡(luò)請(qǐng)求、數(shù)據(jù)加載新界面才會(huì)出現(xiàn)。模型需要具備“等待”的能力或者能判斷當(dāng)前界面是否處于“加載中”的穩(wěn)定狀態(tài)。在數(shù)據(jù)標(biāo)注和模型訓(xùn)練中需要考慮動(dòng)作之間的時(shí)間間隔或者引入對(duì)屏幕“是否變化穩(wěn)定”的判斷模塊。處理模糊與歧義指令人類的指令常常是模糊的。例如“整理一下桌面”。這可能意味著按類型排列圖標(biāo)也可能意味著清理不需要的文件。在CUA-Suite的標(biāo)注中可能一個(gè)視頻對(duì)應(yīng)了“按類型排列”這個(gè)具體解釋。但在實(shí)際應(yīng)用中模型可能需要具備一定的常識(shí)或通過(guò)多輪對(duì)話來(lái)澄清用戶意圖。這提示我們未來(lái)的數(shù)據(jù)集可能需要包含更多對(duì)模糊指令的多種合理執(zhí)行路徑的標(biāo)注。我個(gè)人在嘗試構(gòu)建小型自動(dòng)化腳本時(shí)深有體會(huì)最脆弱的環(huán)節(jié)往往是對(duì)UI狀態(tài)變化的假設(shè)。你以為點(diǎn)擊后彈窗會(huì)立刻出現(xiàn)但實(shí)際上可能因?yàn)闄C(jī)器性能有半秒延遲。如果腳本不等候就直接執(zhí)行下一步肯定會(huì)失敗。因此在基于CUA-Suite訓(xùn)練模型時(shí)必須將“等待條件滿足”也作為一種重要的動(dòng)作或狀態(tài)來(lái)建模而不是簡(jiǎn)單地追求動(dòng)作序列的速度。