國家知識產(chǎn)權(quán)局近日公布了深度求索公司的一項突破性專利——"廣度數(shù)據(jù)采集方法及其系統(tǒng)"。這項技術(shù)創(chuàng)新通過優(yōu)化數(shù)據(jù)采集流程，顯著降低了網(wǎng)絡(luò)資源消耗，為人工智能訓(xùn)練數(shù)據(jù)的獲取提供了更高效的解決方案。

該專利技術(shù)的核心在于其創(chuàng)新的分布式采集架構(gòu)。系統(tǒng)采用智能節(jié)點調(diào)度算法，能夠根據(jù)數(shù)據(jù)源特征自動選擇最優(yōu)采集路徑，避免傳統(tǒng)爬蟲技術(shù)的冗余訪問問題。測試數(shù)據(jù)顯示，新技術(shù)可將數(shù)據(jù)采集過程中的網(wǎng)絡(luò)帶寬占用降低40%以上，服務(wù)器負(fù)載減少35%，同時保持?jǐn)?shù)據(jù)完整性和時效性。

技術(shù)實現(xiàn)方面，深度求索團(tuán)隊攻克了多個關(guān)鍵難題。首先是開發(fā)了動態(tài)優(yōu)先級評估模型，實時判斷不同數(shù)據(jù)源的價值密度，優(yōu)先采集高價值信息；其次是設(shè)計了自適應(yīng)流量控制機制，根據(jù)網(wǎng)絡(luò)狀況智能調(diào)整采集強度；最重要的是創(chuàng)新性地引入邊緣計算架構(gòu)，將部分?jǐn)?shù)據(jù)處理任務(wù)下放到采集節(jié)點，大幅減少中心服務(wù)器的壓力。

與傳統(tǒng)數(shù)據(jù)采集方式相比，這項技術(shù)具有三大顯著優(yōu)勢：網(wǎng)絡(luò)資源利用率提升明顯，相同數(shù)據(jù)量的采集時間縮短30%；對目標(biāo)網(wǎng)站的影響降至最低，符合網(wǎng)絡(luò)倫理規(guī)范；系統(tǒng)擴展性更強，能夠快速適應(yīng)不同規(guī)模的數(shù)據(jù)采集需求。這些特點使其特別適合大規(guī)模AI訓(xùn)練數(shù)據(jù)的獲取。

專利文件顯示，該技術(shù)已成功應(yīng)用于DeepSeek多個產(chǎn)品的數(shù)據(jù)采集環(huán)節(jié)。在實際應(yīng)用中，系統(tǒng)展現(xiàn)出出色的穩(wěn)定性，即使在復(fù)雜網(wǎng)絡(luò)環(huán)境下也能保持90%以上的采集成功率。同時，其智能節(jié)流功能確保不會對數(shù)據(jù)源服務(wù)器造成過載風(fēng)險，體現(xiàn)了技術(shù)團(tuán)隊對網(wǎng)絡(luò)生態(tài)的責(zé)任意識。

行業(yè)專家指出，這項專利的取得標(biāo)志著中國AI企業(yè)在基礎(chǔ)技術(shù)領(lǐng)域的創(chuàng)新能力。隨著大模型訓(xùn)練對數(shù)據(jù)需求的爆發(fā)式增長，高效、合規(guī)的數(shù)據(jù)采集技術(shù)正成為核心競爭力。深度求索的這項突破，解決了自身發(fā)展需求，也為行業(yè)提供了可借鑒的技術(shù)方案。

從技術(shù)發(fā)展來看，這項專利反映了AI數(shù)據(jù)采集領(lǐng)域的幾個重要趨勢：從粗放式采集轉(zhuǎn)向精準(zhǔn)化獲取，從中心化處理轉(zhuǎn)向分布式計算，從單純追求數(shù)量轉(zhuǎn)向質(zhì)量與效率并重。這些轉(zhuǎn)變將推動AI數(shù)據(jù)基礎(chǔ)設(shè)施向更可持續(xù)的方向發(fā)展。

深度求索技術(shù)負(fù)責(zé)人表示，公司將持續(xù)優(yōu)化數(shù)據(jù)采集技術(shù)，下一步重點提升對多模態(tài)數(shù)據(jù)的支持能力，并進(jìn)一步降低能源消耗。隨著技術(shù)的迭代，未來有望實現(xiàn)數(shù)據(jù)采集過程的碳足跡降低50%以上，為綠色AI發(fā)展貢獻(xiàn)力量。

來源：科技蜜

▼ 往期熱文推薦 ▼

【溫馨提示】文中部分圖片來源網(wǎng)絡(luò)，版權(quán)歸屬原作者，若有不妥，請聯(lián)系告知修改或刪除。