新智元報道

編輯：LRST

【新智元導(dǎo)讀】首個工程自動化任務(wù)評估基準(zhǔn)DrafterBench，可用于測試大語言模型在土木工程圖紙修改任務(wù)中的表現(xiàn)。通過模擬真實工程命令，全面考察模型的結(jié)構(gòu)化數(shù)據(jù)理解、工具調(diào)用、指令跟隨和批判性推理能力，研究結(jié)果發(fā)現(xiàn)當(dāng)前主流大模型雖有一定能力，但整體水平仍不足以滿足工程一線需求。

在AI競速的今天，大語言模型（LLM）早已不滿足只在象牙塔里「背書解題」。

當(dāng)GPT-4o刷題通過物理奧賽、DeepSeek熟練搭建網(wǎng)站之后，LLM必須直面一個更現(xiàn)實的問題：

這些號稱「專家級」的大模型，能不能真的下工地？能不能幫工程打工人減負(fù)？在鋼筋水泥的圖紙世界里，它們是得力助手，還是紙上談兵？

答案尚未揭曉，但DrafterBench邁出了評估的第一步。

來自加拿大麥吉爾大學(xué)AIS實驗室的研究團(tuán)隊與加州大學(xué)圣芭芭拉分校（UCSB）合作，正式推出面向工程自動化任務(wù)的大模型評估基準(zhǔn)——DrafterBench。

這是首個針對「一線工程圖紙修改任務(wù)」設(shè)計的大規(guī)模評測套件，旨在驗證和揭示現(xiàn)有LLMs能否勝任土木工程等領(lǐng)域中真實的「打工任務(wù)」。

論文鏈接：https://arxiv.org/abs/2507.11527

代碼鏈接：https://github.com/Eason-Li-AIS/DrafterBench

數(shù)據(jù)鏈接：https://huggingface.co/datasets/Eason666/DrafterBench

為什么需要DrafterBench？

工程圖紙修改，是土木工程、建筑設(shè)計等領(lǐng)域最耗時間、最高頻的任務(wù)之一，也是自動化改造迫切程度極高的一環(huán)。

每天成千上萬的一線工程師、制圖員在重復(fù)地處理「改一根梁的位置」「把這根管道直徑加粗一點」「為這個構(gòu)件增加標(biāo)注」這類十分瑣碎但又關(guān)系重大的任務(wù)。

這類工作往往工作量大、標(biāo)準(zhǔn)高、容錯低，但技術(shù)門檻不高，對工作者在「任務(wù)理解、細(xì)節(jié)處理、任務(wù)鏈配合」方面的綜合執(zhí)行力要求極強(qiáng)。

于是研究團(tuán)隊提出問題：

如果大模型能讀懂圖紙指令，調(diào)用工具鏈，精確修改圖元，它就不只是「寫PPT的高手」，更是「工程打工人福音」。

DrafterBench怎么做的？

DrafterBench以圖紙修改為核心任務(wù)，在20個真實項目中收集并設(shè)計了1920個高質(zhì)量任務(wù)，涵蓋12類指令類型，模擬了各種難度、不同風(fēng)格的真實工程命令。

DrafterBench不僅讓模型「按部就班」，而是全面考察以下四大任務(wù)能力維度。

結(jié)構(gòu)化數(shù)據(jù)理解能力：模型是否能從不同風(fēng)格語句中準(zhǔn)確提取出關(guān)鍵細(xì)節(jié)；

工具調(diào)用能力：模型能否組合多個工具形成有效的操作鏈，并正確調(diào)用順序與參數(shù)；

指令跟隨能力：面對一條包含多個修改目標(biāo)的長指令，是否能做到任務(wù)不漏項、執(zhí)行不斷鏈；

批判性推理能力：模型能否識別指令中的信息缺失、不合理內(nèi)容，并嘗試補(bǔ)全模糊的細(xì)節(jié)、完成修正。

這不是紙面作文，是工程實戰(zhàn)。

DrafterBench如何評估模型？

在DrafterBench中，模型要以「代碼調(diào)用工具」的方式完成任務(wù)。

這些工具涵蓋圖元編輯、標(biāo)注調(diào)整、繪圖邏輯等，彼此之間還有輸入輸出依賴，形成一個「工程任務(wù)鏈」。

但問題來了：

工具調(diào)用是否正確？是否合理組合？

中間步驟是否成功傳遞？是否使用了冗余或錯誤命令？

直接看圖紙輸出無法判斷。因此DrafterBench設(shè)計了一整套對偶工具系統(tǒng)（Dual function system）。

所有工具都有一份「替身」，不實際修改圖紙，但記錄調(diào)用順序、參數(shù)值、變量狀態(tài)，并以結(jié)構(gòu)化JSON形式輸出，清晰還原模型「行動路徑」。

DrafterBench不只看模型有沒有答對，而是看它「為什么答錯，哪一步出錯，錯在哪里」。

模型表現(xiàn)如何? 喜憂參半！

DrafterBench評測了主流SOTA大語言模型，分別為：OpenAI GPT-4o / o1系列、Claude 3.5 Sonnet、Deepseek-V3-685B、Qwen2.5-72B-Instruct、以及LLaMA3-70B-Instruct。

綜合來看，這些模型表現(xiàn)都達(dá)到一定水準(zhǔn)，得分普遍超過65分。

其中，OpenAI o1以79.9的綜合分領(lǐng)跑，Claude3.5 Sonnet和Deepseek-V3-685B表現(xiàn)也非常接近，分別為73.79和73.09。

這說明當(dāng)前主流大模型具備一定的工程任務(wù)處理能力，尤其在簡單指令執(zhí)行上表現(xiàn)穩(wěn)定。

但與此同時，模型整體水平仍遠(yuǎn)未達(dá)到工業(yè)一線對執(zhí)行精度、流程完整性的實際要求。

更重要的是，不同模型在四大能力維度上呈現(xiàn)出顯著差異。

比如，在結(jié)構(gòu)化數(shù)據(jù)理解任務(wù)中，模型整體表現(xiàn)穩(wěn)定，對語言風(fēng)格的魯棒性較強(qiáng)。

但在工具調(diào)用方面，準(zhǔn)確率波動明顯，平均可達(dá)9個百分點。對于指令跟隨能力，部分模型表現(xiàn)出較強(qiáng)的任務(wù)承載能力，如OpenAI o1和Claude3.5 Sonnet抗噪聲能力較好，能保持基本的任務(wù)完整性。

而在批判性推理任務(wù)中，模型間能力分化尤為顯著。

OpenAI o1在識別指令中信息缺失、篩選關(guān)鍵信息方面表現(xiàn)突出，而Qwen2.5則在細(xì)節(jié)補(bǔ)充上更具優(yōu)勢。

其余模型則在這兩個維度中存在大幅度波動，表現(xiàn)不一。

研究團(tuán)隊進(jìn)一步使用自動化錯誤分析工具，對每一個任務(wù)的失敗原因進(jìn)行結(jié)構(gòu)化溯源。

結(jié)果表明，模型常見錯誤類型包括參數(shù)定義不清、變量傳遞失敗、函數(shù)調(diào)用結(jié)構(gòu)錯亂、工具選擇偏差以及多工具組合邏輯混亂。

更關(guān)鍵的是，即便多個步驟執(zhí)行正確，只要某一關(guān)鍵環(huán)節(jié)出現(xiàn)偏差，就會導(dǎo)致最終圖紙修改失敗。

這也解釋了為何多數(shù)模型的單項能力準(zhǔn)確率維持在60%左右，但整體目標(biāo)修改完成度卻顯著偏低，僅在40%左右。

結(jié)論與展望

這些評估結(jié)果說明，盡管當(dāng)前的大模型已有一定能力拆解復(fù)雜任務(wù)結(jié)構(gòu)、調(diào)用工程工具，但它們?nèi)?strong>難以穩(wěn)健掌握完整任務(wù)鏈的所有細(xì)節(jié)，對實際場景的適應(yīng)能力尚不足以支撐工程一線需求。

如果說過去的大模型評測多數(shù)還停留在「會不會」，那么DrafterBench的貢獻(xiàn)在于首次讓模型接受了「干不干得好」的落地考核。

工程現(xiàn)場需要的是高容錯、強(qiáng)判斷、懂規(guī)則、能執(zhí)行的助手，而DrafterBench正是在為這一目標(biāo)提供數(shù)據(jù)支持與路徑驗證。

接下來，研究團(tuán)隊還將擴(kuò)展任務(wù)類型至圖紙校審、規(guī)范檢測、施工日志智能生成等更多工程應(yīng)用場景，持續(xù)拓展模型能力邊界。

你有模型，DrafterBench有任務(wù)。

看看你的模型，能不能真在圖紙上動真格。

參考資料：