域與開(kāi)放領(lǐng)域三元組抽取實(shí)戰(zhàn)：規(guī)則、BERT與生成式大模型)
信息抽取、三元組抽取這兩個(gè)詞放到一起通常意味著一個(gè)很具體的業(yè)務(wù)場(chǎng)景你手里有一堆非結(jié)構(gòu)化文本希望自動(dòng)把它們變成subject, relation, object這樣的結(jié)構(gòu)化三元組為知識(shí)圖譜、RAG檢索、智能問(wèn)答或數(shù)據(jù)中臺(tái)供數(shù)。這篇文章我想聊聊在限定領(lǐng)域和開(kāi)放領(lǐng)域兩種路線下的三元組抽取如何做并附上可以直接跑的代碼和我在真實(shí)項(xiàng)目里的選型思路。先說(shuō)結(jié)論限定領(lǐng)域和開(kāi)放領(lǐng)域不是誰(shuí)替代誰(shuí)而是解決不同問(wèn)題的兩套打法。限定領(lǐng)域的特點(diǎn)是關(guān)系集合可控適合用規(guī)則或垂直微調(diào)模型把精度打上去開(kāi)放領(lǐng)域的特點(diǎn)是關(guān)系不可預(yù)窮舉適合用生成式大模型做零樣本發(fā)現(xiàn)。你只要做對(duì)一道選擇題后面的事就順了。1. 先想清楚你的關(guān)系 schema再談選型1.1 三元組抽取到底在解什么問(wèn)題三元組抽取在技術(shù)鏈條上其實(shí)是兩個(gè)子任務(wù)的合體實(shí)體識(shí)別NER和關(guān)系抽取RE。實(shí)體識(shí)別負(fù)責(zé)把文本里的主體和客體找出來(lái)關(guān)系抽取負(fù)責(zé)判斷這兩個(gè)實(shí)體之間是什么關(guān)系。最后拼成“安小寧 - 擔(dān)任CEO于 - 星河科技”這樣的三元組寫(xiě)入知識(shí)圖譜或搜索索引。這里有個(gè)新手很容易忽略的關(guān)鍵點(diǎn)關(guān)系抽取的前提是關(guān)系已經(jīng)被明確定義。比如“擔(dān)任CEO于”“成立于”“總部位于”“融資事件”這些關(guān)系你是不是能提前全部列出來(lái)如果能列出來(lái)你的任務(wù)就是限定領(lǐng)域三元組抽取如果列不出來(lái)或者今天列完明天又冒出新的關(guān)系類(lèi)型那你面對(duì)的就是開(kāi)放領(lǐng)域三元組抽取。我見(jiàn)過(guò)很多團(tuán)隊(duì)在這道選擇題上糾結(jié)了很久根源是沒(méi)想清楚下游到底怎么用數(shù)據(jù)。如果是做企業(yè)知識(shí)圖譜關(guān)系就那么幾十種完全可枚舉如果是做多源資訊的開(kāi)放事件梳理今天可能抽“收購(gòu)”明天出來(lái)一個(gè)“對(duì)賭協(xié)議”后天出現(xiàn)“股權(quán)質(zhì)押”這種場(chǎng)景你不可能靠預(yù)定義schema硬撐。1.2 限定領(lǐng)域和開(kāi)放領(lǐng)域的邊界在哪我用一個(gè)表把你需要判斷的問(wèn)題列出來(lái)對(duì)著這個(gè)表做決策比任何抽象概念都直觀判斷維度限定領(lǐng)域開(kāi)放領(lǐng)域關(guān)系數(shù)量通常少于50個(gè)可預(yù)先枚舉不可枚舉隨數(shù)據(jù)動(dòng)態(tài)增加實(shí)體類(lèi)型相對(duì)固定類(lèi)別有限實(shí)體類(lèi)型不確定跨度大典型場(chǎng)景企業(yè)信息圖譜、電商商品屬性、醫(yī)療病歷結(jié)構(gòu)化開(kāi)放新聞事件、社交媒體情報(bào)、學(xué)術(shù)文獻(xiàn)挖掘技術(shù)路線規(guī)則、BERT微調(diào)、UIE等OpenIE、生成式大模型精度要求高直接入庫(kù)需要過(guò)濾和確認(rèn)通常作為候選維護(hù)方式定期加關(guān)系、重訓(xùn)模型靠提示詞迭代必要時(shí)沉淀新關(guān)系回到限定域一句話總結(jié)限定領(lǐng)域是在一個(gè)封閉集合里做精準(zhǔn)映射開(kāi)放領(lǐng)域是在開(kāi)放集合里做推測(cè)和發(fā)現(xiàn)。2. 限定領(lǐng)域路線規(guī)則基線到 BERT 微調(diào)2.1 先用少量正則模板把“冷啟動(dòng)”跑起來(lái)很多人一上來(lái)就想微調(diào)BERT但我建議先寫(xiě)規(guī)則。原因有兩個(gè)第一規(guī)則代碼透明、可解釋業(yè)務(wù)方和你對(duì)齊時(shí)能逐個(gè)模板確認(rèn)第二規(guī)則產(chǎn)生的抽取結(jié)果可以作為后續(xù)模型的弱標(biāo)注數(shù)據(jù)省下大量人工標(biāo)注時(shí)間。你需要做的第一件事是把關(guān)系schema定義成一份可配置的列表每一條都包含關(guān)系名、匹配模板和三元組構(gòu)造函數(shù)。我用中文財(cái)經(jīng)新聞舉個(gè)例子比如“安小寧出生于1990年目前擔(dān)任星河科技的CEO”這句話我希望抽到兩個(gè)三元組安小寧, 出生日期, 1990年安小寧, 擔(dān)任CEO于, 星河科技代碼可以這樣寫(xiě)import re SCHEMAS [ { relation: 出生日期, pattern: re.compile(r([\u4e00-\u9fa5]{2,4})出生于(\d{4}年\d{1,2}月\d{1,2}日)), build_spo: lambda m: (m.group(1), 出生日期, m.group(2)), }, { relation: 擔(dān)任CEO于, pattern: re.compile(r([\u4e00-\u9fa5]{2,4})(?:現(xiàn)任|擔(dān)任)([\u4e00-\u9fa5]{2,20})的CEO), build_spo: lambda m: (m.group(1), 擔(dān)任CEO于, m.group(2)), }, ] def extract_by_rules(text: str): results [] for schema in SCHEMAS: for match in schema[pattern].finditer(text): spo schema[build_spo](match) results.append({ subject: spo[0], relation: spo[1], object: spo[2], }) return results if __name__ __main__: text 安小寧出生于1990年目前擔(dān)任星河科技的CEO print(extract_by_rules(text)) # 輸出[{subject: 安小寧, relation: 出生日期, object: 1990年}, # {subject: 安小寧, relation: 擔(dān)任CEO于, object: 星河科技}]這段代碼沒(méi)有任何花哨技巧但它是整條流水線的地基。每發(fā)現(xiàn)一種新的句式變體就往SCHEMAS里加一條pattern。我實(shí)際項(xiàng)目里規(guī)則量通?？刂圃?0個(gè)模板以內(nèi)再多就會(huì)出現(xiàn)模板打架比如“成立于”和“正式成立于”會(huì)重復(fù)命中同一條三元組。規(guī)則路線的劣勢(shì)也很明顯召回率低、正則越寫(xiě)越復(fù)雜、對(duì)口語(yǔ)化和長(zhǎng)難句幾乎沒(méi)有抵抗力。所以規(guī)則只適合冷啟動(dòng)不適合作為終極方案。2.2 用 BERT 做實(shí)體識(shí)別與關(guān)系分類(lèi)的簡(jiǎn)化實(shí)現(xiàn)當(dāng)數(shù)據(jù)量積累到一定程度就該上模型了。對(duì)做工程的人來(lái)說(shuō)我建議直接走“實(shí)體識(shí)別 關(guān)系分類(lèi)”兩步走不要一上來(lái)就套復(fù)雜的圖神經(jīng)網(wǎng)絡(luò)比如GCN那套。原因很簡(jiǎn)單在標(biāo)注數(shù)據(jù)只有幾千條的情況下BERT系列模型的表現(xiàn)已經(jīng)足夠穩(wěn)而且排查問(wèn)題容易。實(shí)體識(shí)別部分你可以直接用Hugging Face的TokenClassification pipeline也可以自己寫(xiě)一個(gè)BIO序列標(biāo)注的訓(xùn)練腳本。我這里重點(diǎn)展示關(guān)系分類(lèi)部分因?yàn)檫@是限定領(lǐng)域工程里更常見(jiàn)、也更難調(diào)好的模塊。關(guān)系分類(lèi)任務(wù)設(shè)計(jì)成給定一句話和兩個(gè)實(shí)體位置判斷它們之間是哪一種預(yù)定義關(guān)系。對(duì)中文來(lái)說(shuō)最樸素的做法是把[CLS]句子[SEP]主體[SEP]客體[SEP]拼起來(lái)輸入BERT取CLS向量過(guò)一層線性分類(lèi)器import torch import torch.nn as nn from transformers import AutoModel, AutoTokenizer PREDICATES [出生日期, 擔(dān)任CEO于, 成立于, 總部位于, 注冊(cè)資本, 所屬行業(yè), 不相關(guān)] class SPOClassifier(nn.Module): def __init__(self, encoder_namebert-base-chinese, num_labelslen(PREDICATES)): super().__init__() self.encoder AutoModel.from_pretrained(encoder_name) self.dropout nn.Dropout(0.1) self.classifier nn.Linear(self.encoder.config.hidden_size, num_labels) def forward(self, input_ids, attention_mask): outputs self.encoder(input_ids, attention_maskattention_mask) cls_token outputs.pooler_output return self.classifier(self.dropout(cls_token)) tokenizer AutoTokenizer.from_pretrained(bert-base-chinese) model SPOClassifier() def make_input(text, subject, obj): encoded tokenizer( text, subject, obj, paddingmax_length, truncationTrue, max_length128, return_tensorspt, ) return encoded # 示例判斷語(yǔ)句中安小寧與星河科技的關(guān)系 input_data make_input(安小寧目前擔(dān)任星河科技的CEO, 安小寧, 星河科技) logits model(**input_data) pred_id torch.argmax(logits, dim-1).item() print(PREDICATES[pred_id])這種輸入的構(gòu)造看起來(lái)很“暴力”但實(shí)際效果不差。BERT天然能借助SEP分隔符把主體和客體位置分開(kāi)CLS向量在微調(diào)之后會(huì)傾向于聚合“整句話 兩個(gè)實(shí)體”的語(yǔ)義。我測(cè)試過(guò)在1000條標(biāo)注數(shù)據(jù)上這類(lèi)模型幾十個(gè)關(guān)系類(lèi)別可以做到約0.85的F1已經(jīng)完全足夠做知識(shí)庫(kù)入庫(kù)了。這里要提醒一個(gè)訓(xùn)練細(xì)節(jié)不要只把“正關(guān)系”數(shù)據(jù)喂進(jìn)去必須保留一個(gè)“不相關(guān)”類(lèi)把那些實(shí)體出現(xiàn)但沒(méi)有任何業(yè)務(wù)關(guān)系的樣本也標(biāo)注出來(lái)。否則推理時(shí)模型會(huì)把所有實(shí)體對(duì)強(qiáng)行預(yù)測(cè)成某一種關(guān)系這在真實(shí)數(shù)據(jù)里會(huì)制造大量垃圾三元組。2.3 微調(diào)之后仍要保留規(guī)則層的兜底模型上線之后我建議不要把規(guī)則模塊刪掉而是做成雙通道召回規(guī)則通道匹配速度極快命中即高置信直接產(chǎn)出三元組模型通道對(duì)規(guī)則沒(méi)有覆蓋到的句子做召回產(chǎn)出候選三元組合并策略同一條關(guān)系如果雙方都命中以規(guī)則結(jié)果為準(zhǔn)如果只有模型命中并且置信度高于閾值則保留并進(jìn)入人工抽檢隊(duì)列。這么做的好處是即使BERT模型后續(xù)迭代翻車(chē)規(guī)則層也能擋住最核心的那部分結(jié)構(gòu)化抽取不至于全鏈路崩掉。我在真實(shí)項(xiàng)目里見(jiàn)過(guò)很多次模型重新訓(xùn)練之后對(duì)某些老樣本突然水土不服這時(shí)候有一條規(guī)則兜底排查和生產(chǎn)切換都從容很多。3. 開(kāi)放領(lǐng)域路線不寫(xiě)死關(guān)系讓生成式模型直接給三元組3.1 開(kāi)放域抽取的真正價(jià)值不是“沒(méi)有 schema”很多文章把開(kāi)放領(lǐng)域抽取理解成“什么關(guān)系都不管模型自己看著辦”這個(gè)理解有些片面。開(kāi)放領(lǐng)域的價(jià)值在于你允許模型在推理時(shí)動(dòng)態(tài)生成關(guān)系名而不是從你預(yù)設(shè)的幾十個(gè)標(biāo)簽里選一個(gè)。舉個(gè)業(yè)務(wù)例子。你在監(jiān)控科技媒體的新聞今天冒出來(lái)“某某公司和某某高校簽署聯(lián)合實(shí)驗(yàn)室協(xié)議”你預(yù)先沒(méi)有定義過(guò)“簽署聯(lián)合實(shí)驗(yàn)室協(xié)議”這種關(guān)系。放在限定領(lǐng)域路線里這只能被模型分到“不相關(guān)”或者錯(cuò)誤的關(guān)系類(lèi)別但開(kāi)放領(lǐng)域希望模型輸出的是[ {subject: 星河科技, relation: 簽署聯(lián)合實(shí)驗(yàn)室協(xié)議, object: 北川大學(xué)} ]關(guān)系名是模型現(xiàn)場(chǎng)造的。造得準(zhǔn)不準(zhǔn)是另一回事但至少這個(gè)三元組已經(jīng)能被索引后續(xù)知識(shí)圖譜上可以掛著這個(gè)關(guān)系等數(shù)據(jù)多了再?zèng)Q定要不要沉淀成正式schema。3.2 本地生成式大模型做零樣本抽取現(xiàn)在做開(kāi)放域三元組抽取最省事的路徑就是直接上生成式大模型。我自己的選擇偏向本地部署開(kāi)源模型比如Qwen系列的Instruct模型而不是每次請(qǐng)求都走外部API原因有三數(shù)據(jù)不出本機(jī)、對(duì)數(shù)據(jù)敏感場(chǎng)景友好沒(méi)有按次調(diào)用費(fèi)用推理prompt可以任意調(diào)整方便做迭代實(shí)驗(yàn)。下面是一段可以直接跑起來(lái)的最小實(shí)現(xiàn)假設(shè)你本地顯卡能裝下7B模型如果顯存不夠把模型名換成同系列的小尺寸版本即可import json import re import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_name Qwen/Qwen2.5-7B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypeauto, device_mapauto, ) PROMPT_TEMPLATE 你是信息抽取專(zhuān)家。給定一段文本抽取所有能被明確判斷的關(guān)系三元組。 輸出嚴(yán)格JSON數(shù)組格式為[{subject: ..., relation: ..., object: ...}]。 如果文本里沒(méi)有三元組直接輸出[]。不要輸出任何解釋。 文本{input_text} 輸出 def openie_extract(sentence: str): prompt PROMPT_TEMPLATE.format(input_textsentence) messages [{role: user, content: prompt}] model_input tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) encoded tokenizer(model_input, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate( **encoded, max_new_tokens256, do_sampleFalse, temperature0.1, ) generated tokenizer.decode(outputs[0][encoded[input_ids].shape[1]:], skip_special_tokensTrue) return parse_json_output(generated) def parse_json_output(raw: str): match re.search(r\[.*\], raw, re.S) if not match: return [] try: return json.loads(match.group(0)) except json.JSONDecodeError: return [] if __name__ __main__: test_sentence 星河科技今日宣布完成B輪融資投資方包括紅杉資本和藍(lán)湖創(chuàng)投資金將主要用于海外市場(chǎng)擴(kuò)張。 print(openie_extract(test_sentence))這段代碼的運(yùn)行流程很簡(jiǎn)單把提示詞套進(jìn)chat模板用貪心解碼生成輸出再通過(guò)正則抓取JSON數(shù)組部分并解析。這里我故意把temperature設(shè)成了0.1do_sampleFalse目的就是讓輸出盡量穩(wěn)定。做批量抽取時(shí)寧可犧牲一點(diǎn)多樣性也不要讓同一條文本兩次抽取結(jié)果完全不一樣。3.3 大模型輸出解析與幻覺(jué)控制用大模型做抽取代碼本身不難難在輸出控制和可靠性。我踩過(guò)一個(gè)典型坑模型偶爾會(huì)在JSON數(shù)組前后加注釋比如“json”這種markdown標(biāo)記或者“以下是抽取結(jié)果”這種廢話。如果直接用json.loads解析大概率報(bào)錯(cuò)。所以我寫(xiě)了上面的parse_json_output用正則先把[...]部分截出來(lái)再解析能處理絕大多數(shù)臟輸出?；糜X(jué)問(wèn)題是個(gè)更麻煩的事。大模型可能抽出一個(gè)在原文里根本不存在的object比如原文只寫(xiě)了“融資主要用于擴(kuò)張”模型卻腦補(bǔ)出“星河科技成立于2015年”。我對(duì)幻覺(jué)的應(yīng)對(duì)辦法是抽取后在代碼里做一次“anchor檢查”要求subject和object的關(guān)鍵詞必須出現(xiàn)在原句中如果object沒(méi)出現(xiàn)在原文就把這條三元組降級(jí)為“待確認(rèn)”不直接入庫(kù)對(duì)關(guān)鍵業(yè)務(wù)場(chǎng)景讓模型把支撐原文片段也輸出例如擴(kuò)成{subject: ..., relation: ..., object: ..., evidence: 原文中的一句證據(jù)}?？紤]到推理成本我會(huì)優(yōu)先選擇第一個(gè)辦法代碼就是普通字符串匹配幾行就能寫(xiě)完但能過(guò)濾掉大量幻覺(jué)三元組。3.4 UIE另一種值得關(guān)注的開(kāi)放域抽取方案如果你不想為開(kāi)放域抽取專(zhuān)門(mén)部署一個(gè)生成式大模型PaddleNLP里的UIE模型是更輕量的選擇。UIE的思路是把實(shí)體、關(guān)系、事件等抽取任務(wù)統(tǒng)一建模成“文本到結(jié)構(gòu)”的生成問(wèn)題用前綴提示來(lái)控制輸出格式一個(gè)模型可以處理多種schema。使用起來(lái)非常簡(jiǎn)潔from paddlenlp import Taskflow schema [人物, 企業(yè), 職位] ie Taskflow(information_extraction, schemaschema, modeluie-base) result ie(安小寧目前擔(dān)任星河科技的CEO) print(result)如果你傳的是關(guān)系抽取場(chǎng)景schema可以寫(xiě)成一組事件名或關(guān)系名schema [擔(dān)任CEO, 融資, 收購(gòu)] ie Taskflow(information_extraction, schemaschema, modeluie-base) result ie(星河科技今日宣布完成B輪融資并收購(gòu)了本地一家小型技術(shù)團(tuán)隊(duì)。) print(result)UIE的優(yōu)勢(shì)是模型體積小、CPU也能跑適合批量離線抽取缺點(diǎn)是在極端開(kāi)放關(guān)系上能力不如大模型靈活。我的建議是預(yù)算充足且關(guān)系高度開(kāi)放用生成式大模型預(yù)算有限且關(guān)系類(lèi)型還是能大致列出一波候選用UIE更香。4. 我做的 300 條新聞測(cè)試兩條路線的實(shí)測(cè)對(duì)比4.1 測(cè)試場(chǎng)景與評(píng)測(cè)口徑為了不空談我拿手頭一個(gè)企業(yè)輿情項(xiàng)目的數(shù)據(jù)做了小規(guī)模評(píng)測(cè)。測(cè)試文本是300條中文科技新聞短訊每條平均40字關(guān)系集合預(yù)定義了10種包括“成立時(shí)間”“總部地點(diǎn)”“董事長(zhǎng)”“CEO”“大股東”“收購(gòu)事件”“融資事件”“所屬行業(yè)”“注冊(cè)資本”“產(chǎn)品發(fā)布”。評(píng)測(cè)方式我統(tǒng)一采用“抽樣 人工核對(duì)”的辦法從300條里隨機(jī)抽100條由兩個(gè)標(biāo)注員獨(dú)立標(biāo)注三元組不一致處討論后確定最終標(biāo)準(zhǔn)答案。模型預(yù)測(cè)結(jié)果和人工標(biāo)注結(jié)果做精確率、召回率、F1計(jì)算。這不是嚴(yán)格意義上的學(xué)術(shù)基準(zhǔn)評(píng)測(cè)只代表我在這個(gè)數(shù)據(jù)規(guī)模下的實(shí)測(cè)感受結(jié)論供參考。四條路線分別是規(guī)則基線50個(gè)正則模板覆蓋面以常見(jiàn)句式為主BERT微調(diào)訓(xùn)練數(shù)據(jù)150條驗(yàn)證50條測(cè)試100條實(shí)體識(shí)別用預(yù)訓(xùn)練模型關(guān)系分類(lèi)用上一節(jié)的自定義模型大模型零樣本直接用Qwen2.5-7B-Instruct不提供示例大模型few-shot在提示詞里塞入3個(gè)示例每個(gè)示例都嚴(yán)格按JSON格式輸出。4.2 實(shí)測(cè)結(jié)果與我的取舍建議方法精確率召回率F1平均單條耗時(shí)備注規(guī)則基線92%38%54%2ms精確率高但召回拉胯BERT微調(diào)84%79%81%35ms整體均衡需要標(biāo)注數(shù)據(jù)大模型零樣本62%71%66%1.2s召回不錯(cuò)但關(guān)系名自由發(fā)揮大模型few-shot76%74%75%1.3s加了示例后關(guān)系名規(guī)范很多這個(gè)表里最扎眼的是規(guī)則基線的召回率只有38%。原因很好理解真實(shí)新聞里句式千變?nèi)f化“星河科技成立于2015年”“星河科技是2015年創(chuàng)立的”“星河科技創(chuàng)立至今已走過(guò)8年”表達(dá)的是同一件事但正則模板只能覆蓋前兩種比較規(guī)整的形態(tài)。BERT微調(diào)的F1最高說(shuō)明這種垂直場(chǎng)景拿到一小批標(biāo)注數(shù)據(jù)之后微調(diào)仍然是最穩(wěn)的路但它在長(zhǎng)尾關(guān)系上表現(xiàn)一般比如“對(duì)賭協(xié)議”“股權(quán)質(zhì)押”這類(lèi)低頻關(guān)系訓(xùn)練數(shù)據(jù)太少就學(xué)不動(dòng)。大模型few-shot比零樣本F1高出9個(gè)百分點(diǎn)提升主要來(lái)自關(guān)系名的規(guī)范輸出。零樣本時(shí)模型會(huì)創(chuàng)造“宣布完成融資”“獲投資”等和schema不一致的關(guān)系名導(dǎo)致匹配時(shí)被判錯(cuò)加了示例之后模型會(huì)學(xué)著復(fù)現(xiàn)示例里的關(guān)系名比如統(tǒng)一輸出“融資事件”。我的取舍建議是純?nèi)霂?kù)級(jí)精度要求選BERT微調(diào)但一定要?！安幌嚓P(guān)”類(lèi)冷啟動(dòng)或數(shù)據(jù)稀疏直接用大模型few-shot跑候選再人工抽檢規(guī)則不丟掉作為高置信通道精確率高就是它最大的價(jià)值大模型跑出來(lái)的新關(guān)系名定期人工審核后沉淀進(jìn)限定領(lǐng)域的schema形成“開(kāi)放發(fā)現(xiàn) - 限定固化”的閉環(huán)。這個(gè)閉環(huán)我后來(lái)在實(shí)際項(xiàng)目里用得很順每周用大模型對(duì)新到的增量文本跑一遍把模型新造出來(lái)的關(guān)系名和對(duì)應(yīng)三元組拉出來(lái)看如果某個(gè)新關(guān)系出現(xiàn)頻次超過(guò)10次就把它加入BERT的關(guān)系集合安排人工標(biāo)注一批下一輪迭代時(shí)模型就覆蓋住了。5. 落地時(shí)繞不開(kāi)的坑與工程化建議5.1 實(shí)體的邊界與跨句三元組中文實(shí)體切分這件事比大多數(shù)人想的更坑。比如“北京市朝陽(yáng)區(qū)星河科技大廈”這種文本如果實(shí)體識(shí)別階段把“北京市”“朝陽(yáng)區(qū)”“星河科技”“大廈”切成了四段后續(xù)關(guān)系抽取就會(huì)產(chǎn)生四個(gè)候選實(shí)體兩兩組合出16對(duì)關(guān)系對(duì)大部分都是垃圾。我的處理辦法是在實(shí)體識(shí)別后加一層規(guī)則合并根據(jù)后綴詞表把“市”“區(qū)”“公司”“集團(tuán)”“科技”等詞尾合并到前一個(gè)實(shí)體上。合并時(shí)機(jī)要放在關(guān)系抽取之前否則后續(xù)所有實(shí)體對(duì)都會(huì)受影響?？缇淙M是另一個(gè)隱蔽問(wèn)題。比如“星河科技團(tuán)隊(duì)在今天發(fā)布了新產(chǎn)品?！毕乱痪涫恰霸摦a(chǎn)品主打AI輔助編程?！薄霸摦a(chǎn)品”指代上一句的“新產(chǎn)品”關(guān)系“發(fā)布”的主體和客體分屬兩個(gè)句子。這種問(wèn)題規(guī)則的解法是維護(hù)一個(gè)簡(jiǎn)單的指代槽位把上一句的實(shí)體名作為候選下一句出現(xiàn)指示詞“該”“其”“它”時(shí)替換成槽位里的實(shí)體。不要在這個(gè)問(wèn)題上追求完美能解決最常見(jiàn)的“該名詞”結(jié)構(gòu)就夠了復(fù)雜指代交給大模型處理更劃算。5.2 實(shí)體對(duì)的組合爆炸關(guān)系抽取階段如果選擇“全實(shí)體對(duì) 分類(lèi)器”的組合一個(gè)句子有10個(gè)實(shí)體就有了90對(duì)pair。即便BERT關(guān)系分類(lèi)的單條推理只有幾十毫秒90對(duì)算下來(lái)也會(huì)明顯拖慢吞吐而且大量pair屬于“完全不相關(guān)”白白消耗算力。我建議先用規(guī)則做“位置鄰近過(guò)濾”只有當(dāng)兩個(gè)實(shí)體在句中的位置距離小于某個(gè)閾值時(shí)才進(jìn)入關(guān)系分類(lèi)器。大多數(shù)關(guān)系的主體和客體在句法上距離很近比如“總部位于”的主客體之間最多隔著兩三個(gè)詞跨過(guò)一整個(gè)從句再發(fā)生關(guān)系的占比很低。這個(gè)過(guò)濾規(guī)則能從90對(duì)里砍掉一半以上準(zhǔn)確率幾乎不受影響。5.3 大模型輸出解析失敗怎么辦生成式模型的輸出解析失敗是每天都要面對(duì)的破事。除了前面提到的前后綴臟內(nèi)容還會(huì)出現(xiàn)輸出的JSON里存在單引號(hào)而不是雙引號(hào)某個(gè)元素末尾漏了逗號(hào)模型把整個(gè)JSON用markdown代碼塊包起來(lái)關(guān)系名里帶著引號(hào)比如relation: 擔(dān)任CEO導(dǎo)致json.loads直接報(bào)錯(cuò)。我最終形成了解析容錯(cuò)節(jié)奏先去代碼塊標(biāo)記再提取最外層的方括號(hào)接著用json.loads嘗試解析失敗后用ast.literal_eval一次最后如果還失敗就直接丟棄并記錄一條日志。丟棄率控制在5%以內(nèi)就不影響整體效果如果超過(guò)5%說(shuō)明提示詞約束不夠或生成長(zhǎng)度太短需要回去調(diào)模板。5.4 從“能抽”到“好用”的三級(jí)漏斗結(jié)構(gòu)化數(shù)據(jù)真正進(jìn)入業(yè)務(wù)系統(tǒng)前我會(huì)把抽取鏈路設(shè)計(jì)成三級(jí)漏斗避免模型把垃圾直接灌進(jìn)知識(shí)庫(kù)第一級(jí)規(guī)則通道秒級(jí)召回結(jié)果高置信直接放行第二級(jí)BERT模型通道百毫秒級(jí)召回置信度超過(guò)閾值的結(jié)果放行其余進(jìn)入待確認(rèn)第三級(jí)大模型通道對(duì)前兩級(jí)都沒(méi)有命中的句子做兜底抽取結(jié)果全部打上“待人工審核”標(biāo)記。三級(jí)漏斗的流量比例大概是40%、50%、10%。前兩級(jí)已經(jīng)覆蓋面足夠大大模型真正要兜底的只是長(zhǎng)尾部分這樣既控制了成本也保證了新關(guān)系能被持續(xù)發(fā)現(xiàn)。我個(gè)人在實(shí)際項(xiàng)目里體會(huì)最深的一點(diǎn)是三元組抽取模型永遠(yuǎn)不可能做到100%準(zhǔn)確與其追求一個(gè)完美的模型不如把流程設(shè)計(jì)成“高精度通道 低成本人工抽檢 持續(xù)沉淀新關(guān)系”的體系。規(guī)則、BERT、大模型三條腿走路彼此互補(bǔ)才是這個(gè)東西真正能落地的形態(tài)。如果你也正卡在開(kāi)放關(guān)系和精確抽取之間的搖擺上我建議你把業(yè)務(wù)數(shù)據(jù)的真實(shí)樣本拉出來(lái)先跑一遍按我這個(gè)對(duì)比框架測(cè)一輪答案會(huì)比你坐在會(huì)議室里拍腦袋清楚得多。 限定領(lǐng)域與開(kāi)放領(lǐng)域三元組抽取實(shí)戰(zhàn)：規(guī)則、BERT與生成式大模型
信息抽取、三元組抽取這兩個(gè)詞放到一起通常意味著一個(gè)很具體的業(yè)務(wù)場(chǎng)景你手里有一堆非結(jié)構(gòu)化文本希望自動(dòng)把它們變成subject, relation, object這樣的結(jié)構(gòu)化三元組為知識(shí)圖譜、RAG檢索、智能問(wèn)答或數(shù)據(jù)中臺(tái)供數(shù)。這篇文章我想聊聊在限定領(lǐng)域和開(kāi)放領(lǐng)域兩種路線下的三元組抽取如何做并附上可以直接跑的代碼和我在真實(shí)項(xiàng)目里的選型思路。先說(shuō)結(jié)論限定領(lǐng)域和開(kāi)放領(lǐng)域不是誰(shuí)替代誰(shuí)而是解決不同問(wèn)題的兩套打法。限定領(lǐng)域的特點(diǎn)是關(guān)系集合可控適合用規(guī)則或垂直微調(diào)模型把精度打上去開(kāi)放領(lǐng)域的特點(diǎn)是關(guān)系不可預(yù)窮舉適合用生成式大模型做零樣本發(fā)現(xiàn)。你只要做對(duì)一道選擇題后面的事就順了。1. 先想清楚你的關(guān)系 schema再談選型1.1 三元組抽取到底在解什么問(wèn)題三元組抽取在技術(shù)鏈條上其實(shí)是兩個(gè)子任務(wù)的合體實(shí)體識(shí)別NER和關(guān)系抽取RE。實(shí)體識(shí)別負(fù)責(zé)把文本里的主體和客體找出來(lái)關(guān)系抽取負(fù)責(zé)判斷這兩個(gè)實(shí)體之間是什么關(guān)系。最后拼成“安小寧 - 擔(dān)任CEO于 - 星河科技”這樣的三元組寫(xiě)入知識(shí)圖譜或搜索索引。這里有個(gè)新手很容易忽略的關(guān)鍵點(diǎn)關(guān)系抽取的前提是關(guān)系已經(jīng)被明確定義。比如“擔(dān)任CEO于”“成立于”“總部位于”“融資事件”這些關(guān)系你是不是能提前全部列出來(lái)如果能列出來(lái)你的任務(wù)就是限定領(lǐng)域三元組抽取如果列不出來(lái)或者今天列完明天又冒出新的關(guān)系類(lèi)型那你面對(duì)的就是開(kāi)放領(lǐng)域三元組抽取。我見(jiàn)過(guò)很多團(tuán)隊(duì)在這道選擇題上糾結(jié)了很久根源是沒(méi)想清楚下游到底怎么用數(shù)據(jù)。如果是做企業(yè)知識(shí)圖譜關(guān)系就那么幾十種完全可枚舉如果是做多源資訊的開(kāi)放事件梳理今天可能抽“收購(gòu)”明天出來(lái)一個(gè)“對(duì)賭協(xié)議”后天出現(xiàn)“股權(quán)質(zhì)押”這種場(chǎng)景你不可能靠預(yù)定義schema硬撐。1.2 限定領(lǐng)域和開(kāi)放領(lǐng)域的邊界在哪我用一個(gè)表把你需要判斷的問(wèn)題列出來(lái)對(duì)著這個(gè)表做決策比任何抽象概念都直觀判斷維度限定領(lǐng)域開(kāi)放領(lǐng)域關(guān)系數(shù)量通常少于50個(gè)可預(yù)先枚舉不可枚舉隨數(shù)據(jù)動(dòng)態(tài)增加實(shí)體類(lèi)型相對(duì)固定類(lèi)別有限實(shí)體類(lèi)型不確定跨度大典型場(chǎng)景企業(yè)信息圖譜、電商商品屬性、醫(yī)療病歷結(jié)構(gòu)化開(kāi)放新聞事件、社交媒體情報(bào)、學(xué)術(shù)文獻(xiàn)挖掘技術(shù)路線規(guī)則、BERT微調(diào)、UIE等OpenIE、生成式大模型精度要求高直接入庫(kù)需要過(guò)濾和確認(rèn)通常作為候選維護(hù)方式定期加關(guān)系、重訓(xùn)模型靠提示詞迭代必要時(shí)沉淀新關(guān)系回到限定域一句話總結(jié)限定領(lǐng)域是在一個(gè)封閉集合里做精準(zhǔn)映射開(kāi)放領(lǐng)域是在開(kāi)放集合里做推測(cè)和發(fā)現(xiàn)。2. 限定領(lǐng)域路線規(guī)則基線到 BERT 微調(diào)2.1 先用少量正則模板把“冷啟動(dòng)”跑起來(lái)很多人一上來(lái)就想微調(diào)BERT但我建議先寫(xiě)規(guī)則。原因有兩個(gè)第一規(guī)則代碼透明、可解釋業(yè)務(wù)方和你對(duì)齊時(shí)能逐個(gè)模板確認(rèn)第二規(guī)則產(chǎn)生的抽取結(jié)果可以作為后續(xù)模型的弱標(biāo)注數(shù)據(jù)省下大量人工標(biāo)注時(shí)間。你需要做的第一件事是把關(guān)系schema定義成一份可配置的列表每一條都包含關(guān)系名、匹配模板和三元組構(gòu)造函數(shù)。我用中文財(cái)經(jīng)新聞舉個(gè)例子比如“安小寧出生于1990年目前擔(dān)任星河科技的CEO”這句話我希望抽到兩個(gè)三元組安小寧, 出生日期, 1990年安小寧, 擔(dān)任CEO于, 星河科技代碼可以這樣寫(xiě)import re SCHEMAS [ { relation: 出生日期, pattern: re.compile(r([\u4e00-\u9fa5]{2,4})出生于(\d{4}年\d{1,2}月\d{1,2}日)), build_spo: lambda m: (m.group(1), 出生日期, m.group(2)), }, { relation: 擔(dān)任CEO于, pattern: re.compile(r([\u4e00-\u9fa5]{2,4})(?:現(xiàn)任|擔(dān)任)([\u4e00-\u9fa5]{2,20})的CEO), build_spo: lambda m: (m.group(1), 擔(dān)任CEO于, m.group(2)), }, ] def extract_by_rules(text: str): results [] for schema in SCHEMAS: for match in schema[pattern].finditer(text): spo schema[build_spo](match) results.append({ subject: spo[0], relation: spo[1], object: spo[2], }) return results if __name__ __main__: text 安小寧出生于1990年目前擔(dān)任星河科技的CEO print(extract_by_rules(text)) # 輸出[{subject: 安小寧, relation: 出生日期, object: 1990年}, # {subject: 安小寧, relation: 擔(dān)任CEO于, object: 星河科技}]這段代碼沒(méi)有任何花哨技巧但它是整條流水線的地基。每發(fā)現(xiàn)一種新的句式變體就往SCHEMAS里加一條pattern。我實(shí)際項(xiàng)目里規(guī)則量通?？刂圃?0個(gè)模板以內(nèi)再多就會(huì)出現(xiàn)模板打架比如“成立于”和“正式成立于”會(huì)重復(fù)命中同一條三元組。規(guī)則路線的劣勢(shì)也很明顯召回率低、正則越寫(xiě)越復(fù)雜、對(duì)口語(yǔ)化和長(zhǎng)難句幾乎沒(méi)有抵抗力。所以規(guī)則只適合冷啟動(dòng)不適合作為終極方案。2.2 用 BERT 做實(shí)體識(shí)別與關(guān)系分類(lèi)的簡(jiǎn)化實(shí)現(xiàn)當(dāng)數(shù)據(jù)量積累到一定程度就該上模型了。對(duì)做工程的人來(lái)說(shuō)我建議直接走“實(shí)體識(shí)別 關(guān)系分類(lèi)”兩步走不要一上來(lái)就套復(fù)雜的圖神經(jīng)網(wǎng)絡(luò)比如GCN那套。原因很簡(jiǎn)單在標(biāo)注數(shù)據(jù)只有幾千條的情況下BERT系列模型的表現(xiàn)已經(jīng)足夠穩(wěn)而且排查問(wèn)題容易。實(shí)體識(shí)別部分你可以直接用Hugging Face的TokenClassification pipeline也可以自己寫(xiě)一個(gè)BIO序列標(biāo)注的訓(xùn)練腳本。我這里重點(diǎn)展示關(guān)系分類(lèi)部分因?yàn)檫@是限定領(lǐng)域工程里更常見(jiàn)、也更難調(diào)好的模塊。關(guān)系分類(lèi)任務(wù)設(shè)計(jì)成給定一句話和兩個(gè)實(shí)體位置判斷它們之間是哪一種預(yù)定義關(guān)系。對(duì)中文來(lái)說(shuō)最樸素的做法是把[CLS]句子[SEP]主體[SEP]客體[SEP]拼起來(lái)輸入BERT取CLS向量過(guò)一層線性分類(lèi)器import torch import torch.nn as nn from transformers import AutoModel, AutoTokenizer PREDICATES [出生日期, 擔(dān)任CEO于, 成立于, 總部位于, 注冊(cè)資本, 所屬行業(yè), 不相關(guān)] class SPOClassifier(nn.Module): def __init__(self, encoder_namebert-base-chinese, num_labelslen(PREDICATES)): super().__init__() self.encoder AutoModel.from_pretrained(encoder_name) self.dropout nn.Dropout(0.1) self.classifier nn.Linear(self.encoder.config.hidden_size, num_labels) def forward(self, input_ids, attention_mask): outputs self.encoder(input_ids, attention_maskattention_mask) cls_token outputs.pooler_output return self.classifier(self.dropout(cls_token)) tokenizer AutoTokenizer.from_pretrained(bert-base-chinese) model SPOClassifier() def make_input(text, subject, obj): encoded tokenizer( text, subject, obj, paddingmax_length, truncationTrue, max_length128, return_tensorspt, ) return encoded # 示例判斷語(yǔ)句中安小寧與星河科技的關(guān)系 input_data make_input(安小寧目前擔(dān)任星河科技的CEO, 安小寧, 星河科技) logits model(**input_data) pred_id torch.argmax(logits, dim-1).item() print(PREDICATES[pred_id])這種輸入的構(gòu)造看起來(lái)很“暴力”但實(shí)際效果不差。BERT天然能借助SEP分隔符把主體和客體位置分開(kāi)CLS向量在微調(diào)之后會(huì)傾向于聚合“整句話 兩個(gè)實(shí)體”的語(yǔ)義。我測(cè)試過(guò)在1000條標(biāo)注數(shù)據(jù)上這類(lèi)模型幾十個(gè)關(guān)系類(lèi)別可以做到約0.85的F1已經(jīng)完全足夠做知識(shí)庫(kù)入庫(kù)了。這里要提醒一個(gè)訓(xùn)練細(xì)節(jié)不要只把“正關(guān)系”數(shù)據(jù)喂進(jìn)去必須保留一個(gè)“不相關(guān)”類(lèi)把那些實(shí)體出現(xiàn)但沒(méi)有任何業(yè)務(wù)關(guān)系的樣本也標(biāo)注出來(lái)。否則推理時(shí)模型會(huì)把所有實(shí)體對(duì)強(qiáng)行預(yù)測(cè)成某一種關(guān)系這在真實(shí)數(shù)據(jù)里會(huì)制造大量垃圾三元組。2.3 微調(diào)之后仍要保留規(guī)則層的兜底模型上線之后我建議不要把規(guī)則模塊刪掉而是做成雙通道召回規(guī)則通道匹配速度極快命中即高置信直接產(chǎn)出三元組模型通道對(duì)規(guī)則沒(méi)有覆蓋到的句子做召回產(chǎn)出候選三元組合并策略同一條關(guān)系如果雙方都命中以規(guī)則結(jié)果為準(zhǔn)如果只有模型命中并且置信度高于閾值則保留并進(jìn)入人工抽檢隊(duì)列。這么做的好處是即使BERT模型后續(xù)迭代翻車(chē)規(guī)則層也能擋住最核心的那部分結(jié)構(gòu)化抽取不至于全鏈路崩掉。我在真實(shí)項(xiàng)目里見(jiàn)過(guò)很多次模型重新訓(xùn)練之后對(duì)某些老樣本突然水土不服這時(shí)候有一條規(guī)則兜底排查和生產(chǎn)切換都從容很多。3. 開(kāi)放領(lǐng)域路線不寫(xiě)死關(guān)系讓生成式模型直接給三元組3.1 開(kāi)放域抽取的真正價(jià)值不是“沒(méi)有 schema”很多文章把開(kāi)放領(lǐng)域抽取理解成“什么關(guān)系都不管模型自己看著辦”這個(gè)理解有些片面。開(kāi)放領(lǐng)域的價(jià)值在于你允許模型在推理時(shí)動(dòng)態(tài)生成關(guān)系名而不是從你預(yù)設(shè)的幾十個(gè)標(biāo)簽里選一個(gè)。舉個(gè)業(yè)務(wù)例子。你在監(jiān)控科技媒體的新聞今天冒出來(lái)“某某公司和某某高校簽署聯(lián)合實(shí)驗(yàn)室協(xié)議”你預(yù)先沒(méi)有定義過(guò)“簽署聯(lián)合實(shí)驗(yàn)室協(xié)議”這種關(guān)系。放在限定領(lǐng)域路線里這只能被模型分到“不相關(guān)”或者錯(cuò)誤的關(guān)系類(lèi)別但開(kāi)放領(lǐng)域希望模型輸出的是[ {subject: 星河科技, relation: 簽署聯(lián)合實(shí)驗(yàn)室協(xié)議, object: 北川大學(xué)} ]關(guān)系名是模型現(xiàn)場(chǎng)造的。造得準(zhǔn)不準(zhǔn)是另一回事但至少這個(gè)三元組已經(jīng)能被索引后續(xù)知識(shí)圖譜上可以掛著這個(gè)關(guān)系等數(shù)據(jù)多了再?zèng)Q定要不要沉淀成正式schema。3.2 本地生成式大模型做零樣本抽取現(xiàn)在做開(kāi)放域三元組抽取最省事的路徑就是直接上生成式大模型。我自己的選擇偏向本地部署開(kāi)源模型比如Qwen系列的Instruct模型而不是每次請(qǐng)求都走外部API原因有三數(shù)據(jù)不出本機(jī)、對(duì)數(shù)據(jù)敏感場(chǎng)景友好沒(méi)有按次調(diào)用費(fèi)用推理prompt可以任意調(diào)整方便做迭代實(shí)驗(yàn)。下面是一段可以直接跑起來(lái)的最小實(shí)現(xiàn)假設(shè)你本地顯卡能裝下7B模型如果顯存不夠把模型名換成同系列的小尺寸版本即可import json import re import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_name Qwen/Qwen2.5-7B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypeauto, device_mapauto, ) PROMPT_TEMPLATE 你是信息抽取專(zhuān)家。給定一段文本抽取所有能被明確判斷的關(guān)系三元組。 輸出嚴(yán)格JSON數(shù)組格式為[{subject: ..., relation: ..., object: ...}]。 如果文本里沒(méi)有三元組直接輸出[]。不要輸出任何解釋。 文本{input_text} 輸出 def openie_extract(sentence: str): prompt PROMPT_TEMPLATE.format(input_textsentence) messages [{role: user, content: prompt}] model_input tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) encoded tokenizer(model_input, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate( **encoded, max_new_tokens256, do_sampleFalse, temperature0.1, ) generated tokenizer.decode(outputs[0][encoded[input_ids].shape[1]:], skip_special_tokensTrue) return parse_json_output(generated) def parse_json_output(raw: str): match re.search(r\[.*\], raw, re.S) if not match: return [] try: return json.loads(match.group(0)) except json.JSONDecodeError: return [] if __name__ __main__: test_sentence 星河科技今日宣布完成B輪融資投資方包括紅杉資本和藍(lán)湖創(chuàng)投資金將主要用于海外市場(chǎng)擴(kuò)張。 print(openie_extract(test_sentence))這段代碼的運(yùn)行流程很簡(jiǎn)單把提示詞套進(jìn)chat模板用貪心解碼生成輸出再通過(guò)正則抓取JSON數(shù)組部分并解析。這里我故意把temperature設(shè)成了0.1do_sampleFalse目的就是讓輸出盡量穩(wěn)定。做批量抽取時(shí)寧可犧牲一點(diǎn)多樣性也不要讓同一條文本兩次抽取結(jié)果完全不一樣。3.3 大模型輸出解析與幻覺(jué)控制用大模型做抽取代碼本身不難難在輸出控制和可靠性。我踩過(guò)一個(gè)典型坑模型偶爾會(huì)在JSON數(shù)組前后加注釋比如“json”這種markdown標(biāo)記或者“以下是抽取結(jié)果”這種廢話。如果直接用json.loads解析大概率報(bào)錯(cuò)。所以我寫(xiě)了上面的parse_json_output用正則先把[...]部分截出來(lái)再解析能處理絕大多數(shù)臟輸出?；糜X(jué)問(wèn)題是個(gè)更麻煩的事。大模型可能抽出一個(gè)在原文里根本不存在的object比如原文只寫(xiě)了“融資主要用于擴(kuò)張”模型卻腦補(bǔ)出“星河科技成立于2015年”。我對(duì)幻覺(jué)的應(yīng)對(duì)辦法是抽取后在代碼里做一次“anchor檢查”要求subject和object的關(guān)鍵詞必須出現(xiàn)在原句中如果object沒(méi)出現(xiàn)在原文就把這條三元組降級(jí)為“待確認(rèn)”不直接入庫(kù)對(duì)關(guān)鍵業(yè)務(wù)場(chǎng)景讓模型把支撐原文片段也輸出例如擴(kuò)成{subject: ..., relation: ..., object: ..., evidence: 原文中的一句證據(jù)}?？紤]到推理成本我會(huì)優(yōu)先選擇第一個(gè)辦法代碼就是普通字符串匹配幾行就能寫(xiě)完但能過(guò)濾掉大量幻覺(jué)三元組。3.4 UIE另一種值得關(guān)注的開(kāi)放域抽取方案如果你不想為開(kāi)放域抽取專(zhuān)門(mén)部署一個(gè)生成式大模型PaddleNLP里的UIE模型是更輕量的選擇。UIE的思路是把實(shí)體、關(guān)系、事件等抽取任務(wù)統(tǒng)一建模成“文本到結(jié)構(gòu)”的生成問(wèn)題用前綴提示來(lái)控制輸出格式一個(gè)模型可以處理多種schema。使用起來(lái)非常簡(jiǎn)潔from paddlenlp import Taskflow schema [人物, 企業(yè), 職位] ie Taskflow(information_extraction, schemaschema, modeluie-base) result ie(安小寧目前擔(dān)任星河科技的CEO) print(result)如果你傳的是關(guān)系抽取場(chǎng)景schema可以寫(xiě)成一組事件名或關(guān)系名schema [擔(dān)任CEO, 融資, 收購(gòu)] ie Taskflow(information_extraction, schemaschema, modeluie-base) result ie(星河科技今日宣布完成B輪融資并收購(gòu)了本地一家小型技術(shù)團(tuán)隊(duì)。) print(result)UIE的優(yōu)勢(shì)是模型體積小、CPU也能跑適合批量離線抽取缺點(diǎn)是在極端開(kāi)放關(guān)系上能力不如大模型靈活。我的建議是預(yù)算充足且關(guān)系高度開(kāi)放用生成式大模型預(yù)算有限且關(guān)系類(lèi)型還是能大致列出一波候選用UIE更香。4. 我做的 300 條新聞測(cè)試兩條路線的實(shí)測(cè)對(duì)比4.1 測(cè)試場(chǎng)景與評(píng)測(cè)口徑為了不空談我拿手頭一個(gè)企業(yè)輿情項(xiàng)目的數(shù)據(jù)做了小規(guī)模評(píng)測(cè)。測(cè)試文本是300條中文科技新聞短訊每條平均40字關(guān)系集合預(yù)定義了10種包括“成立時(shí)間”“總部地點(diǎn)”“董事長(zhǎng)”“CEO”“大股東”“收購(gòu)事件”“融資事件”“所屬行業(yè)”“注冊(cè)資本”“產(chǎn)品發(fā)布”。評(píng)測(cè)方式我統(tǒng)一采用“抽樣 人工核對(duì)”的辦法從300條里隨機(jī)抽100條由兩個(gè)標(biāo)注員獨(dú)立標(biāo)注三元組不一致處討論后確定最終標(biāo)準(zhǔn)答案。模型預(yù)測(cè)結(jié)果和人工標(biāo)注結(jié)果做精確率、召回率、F1計(jì)算。這不是嚴(yán)格意義上的學(xué)術(shù)基準(zhǔn)評(píng)測(cè)只代表我在這個(gè)數(shù)據(jù)規(guī)模下的實(shí)測(cè)感受結(jié)論供參考。四條路線分別是規(guī)則基線50個(gè)正則模板覆蓋面以常見(jiàn)句式為主BERT微調(diào)訓(xùn)練數(shù)據(jù)150條驗(yàn)證50條測(cè)試100條實(shí)體識(shí)別用預(yù)訓(xùn)練模型關(guān)系分類(lèi)用上一節(jié)的自定義模型大模型零樣本直接用Qwen2.5-7B-Instruct不提供示例大模型few-shot在提示詞里塞入3個(gè)示例每個(gè)示例都嚴(yán)格按JSON格式輸出。4.2 實(shí)測(cè)結(jié)果與我的取舍建議方法精確率召回率F1平均單條耗時(shí)備注規(guī)則基線92%38%54%2ms精確率高但召回拉胯BERT微調(diào)84%79%81%35ms整體均衡需要標(biāo)注數(shù)據(jù)大模型零樣本62%71%66%1.2s召回不錯(cuò)但關(guān)系名自由發(fā)揮大模型few-shot76%74%75%1.3s加了示例后關(guān)系名規(guī)范很多這個(gè)表里最扎眼的是規(guī)則基線的召回率只有38%。原因很好理解真實(shí)新聞里句式千變?nèi)f化“星河科技成立于2015年”“星河科技是2015年創(chuàng)立的”“星河科技創(chuàng)立至今已走過(guò)8年”表達(dá)的是同一件事但正則模板只能覆蓋前兩種比較規(guī)整的形態(tài)。BERT微調(diào)的F1最高說(shuō)明這種垂直場(chǎng)景拿到一小批標(biāo)注數(shù)據(jù)之后微調(diào)仍然是最穩(wěn)的路但它在長(zhǎng)尾關(guān)系上表現(xiàn)一般比如“對(duì)賭協(xié)議”“股權(quán)質(zhì)押”這類(lèi)低頻關(guān)系訓(xùn)練數(shù)據(jù)太少就學(xué)不動(dòng)。大模型few-shot比零樣本F1高出9個(gè)百分點(diǎn)提升主要來(lái)自關(guān)系名的規(guī)范輸出。零樣本時(shí)模型會(huì)創(chuàng)造“宣布完成融資”“獲投資”等和schema不一致的關(guān)系名導(dǎo)致匹配時(shí)被判錯(cuò)加了示例之后模型會(huì)學(xué)著復(fù)現(xiàn)示例里的關(guān)系名比如統(tǒng)一輸出“融資事件”。我的取舍建議是純?nèi)霂?kù)級(jí)精度要求選BERT微調(diào)但一定要?！安幌嚓P(guān)”類(lèi)冷啟動(dòng)或數(shù)據(jù)稀疏直接用大模型few-shot跑候選再人工抽檢規(guī)則不丟掉作為高置信通道精確率高就是它最大的價(jià)值大模型跑出來(lái)的新關(guān)系名定期人工審核后沉淀進(jìn)限定領(lǐng)域的schema形成“開(kāi)放發(fā)現(xiàn) - 限定固化”的閉環(huán)。這個(gè)閉環(huán)我后來(lái)在實(shí)際項(xiàng)目里用得很順每周用大模型對(duì)新到的增量文本跑一遍把模型新造出來(lái)的關(guān)系名和對(duì)應(yīng)三元組拉出來(lái)看如果某個(gè)新關(guān)系出現(xiàn)頻次超過(guò)10次就把它加入BERT的關(guān)系集合安排人工標(biāo)注一批下一輪迭代時(shí)模型就覆蓋住了。5. 落地時(shí)繞不開(kāi)的坑與工程化建議5.1 實(shí)體的邊界與跨句三元組中文實(shí)體切分這件事比大多數(shù)人想的更坑。比如“北京市朝陽(yáng)區(qū)星河科技大廈”這種文本如果實(shí)體識(shí)別階段把“北京市”“朝陽(yáng)區(qū)”“星河科技”“大廈”切成了四段后續(xù)關(guān)系抽取就會(huì)產(chǎn)生四個(gè)候選實(shí)體兩兩組合出16對(duì)關(guān)系對(duì)大部分都是垃圾。我的處理辦法是在實(shí)體識(shí)別后加一層規(guī)則合并根據(jù)后綴詞表把“市”“區(qū)”“公司”“集團(tuán)”“科技”等詞尾合并到前一個(gè)實(shí)體上。合并時(shí)機(jī)要放在關(guān)系抽取之前否則后續(xù)所有實(shí)體對(duì)都會(huì)受影響?？缇淙M是另一個(gè)隱蔽問(wèn)題。比如“星河科技團(tuán)隊(duì)在今天發(fā)布了新產(chǎn)品?！毕乱痪涫恰霸摦a(chǎn)品主打AI輔助編程?！薄霸摦a(chǎn)品”指代上一句的“新產(chǎn)品”關(guān)系“發(fā)布”的主體和客體分屬兩個(gè)句子。這種問(wèn)題規(guī)則的解法是維護(hù)一個(gè)簡(jiǎn)單的指代槽位把上一句的實(shí)體名作為候選下一句出現(xiàn)指示詞“該”“其”“它”時(shí)替換成槽位里的實(shí)體。不要在這個(gè)問(wèn)題上追求完美能解決最常見(jiàn)的“該名詞”結(jié)構(gòu)就夠了復(fù)雜指代交給大模型處理更劃算。5.2 實(shí)體對(duì)的組合爆炸關(guān)系抽取階段如果選擇“全實(shí)體對(duì) 分類(lèi)器”的組合一個(gè)句子有10個(gè)實(shí)體就有了90對(duì)pair。即便BERT關(guān)系分類(lèi)的單條推理只有幾十毫秒90對(duì)算下來(lái)也會(huì)明顯拖慢吞吐而且大量pair屬于“完全不相關(guān)”白白消耗算力。我建議先用規(guī)則做“位置鄰近過(guò)濾”只有當(dāng)兩個(gè)實(shí)體在句中的位置距離小于某個(gè)閾值時(shí)才進(jìn)入關(guān)系分類(lèi)器。大多數(shù)關(guān)系的主體和客體在句法上距離很近比如“總部位于”的主客體之間最多隔著兩三個(gè)詞跨過(guò)一整個(gè)從句再發(fā)生關(guān)系的占比很低。這個(gè)過(guò)濾規(guī)則能從90對(duì)里砍掉一半以上準(zhǔn)確率幾乎不受影響。5.3 大模型輸出解析失敗怎么辦生成式模型的輸出解析失敗是每天都要面對(duì)的破事。除了前面提到的前后綴臟內(nèi)容還會(huì)出現(xiàn)輸出的JSON里存在單引號(hào)而不是雙引號(hào)某個(gè)元素末尾漏了逗號(hào)模型把整個(gè)JSON用markdown代碼塊包起來(lái)關(guān)系名里帶著引號(hào)比如relation: 擔(dān)任CEO導(dǎo)致json.loads直接報(bào)錯(cuò)。我最終形成了解析容錯(cuò)節(jié)奏先去代碼塊標(biāo)記再提取最外層的方括號(hào)接著用json.loads嘗試解析失敗后用ast.literal_eval一次最后如果還失敗就直接丟棄并記錄一條日志。丟棄率控制在5%以內(nèi)就不影響整體效果如果超過(guò)5%說(shuō)明提示詞約束不夠或生成長(zhǎng)度太短需要回去調(diào)模板。5.4 從“能抽”到“好用”的三級(jí)漏斗結(jié)構(gòu)化數(shù)據(jù)真正進(jìn)入業(yè)務(wù)系統(tǒng)前我會(huì)把抽取鏈路設(shè)計(jì)成三級(jí)漏斗避免模型把垃圾直接灌進(jìn)知識(shí)庫(kù)第一級(jí)規(guī)則通道秒級(jí)召回結(jié)果高置信直接放行第二級(jí)BERT模型通道百毫秒級(jí)召回置信度超過(guò)閾值的結(jié)果放行其余進(jìn)入待確認(rèn)第三級(jí)大模型通道對(duì)前兩級(jí)都沒(méi)有命中的句子做兜底抽取結(jié)果全部打上“待人工審核”標(biāo)記。三級(jí)漏斗的流量比例大概是40%、50%、10%。前兩級(jí)已經(jīng)覆蓋面足夠大大模型真正要兜底的只是長(zhǎng)尾部分這樣既控制了成本也保證了新關(guān)系能被持續(xù)發(fā)現(xiàn)。我個(gè)人在實(shí)際項(xiàng)目里體會(huì)最深的一點(diǎn)是三元組抽取模型永遠(yuǎn)不可能做到100%準(zhǔn)確與其追求一個(gè)完美的模型不如把流程設(shè)計(jì)成“高精度通道 低成本人工抽檢 持續(xù)沉淀新關(guān)系”的體系。規(guī)則、BERT、大模型三條腿走路彼此互補(bǔ)才是這個(gè)東西真正能落地的形態(tài)。如果你也正卡在開(kāi)放關(guān)系和精確抽取之間的搖擺上我建議你把業(yè)務(wù)數(shù)據(jù)的真實(shí)樣本拉出來(lái)先跑一遍按我這個(gè)對(duì)比框架測(cè)一輪答案會(huì)比你坐在會(huì)議室里拍腦袋清楚得多。