北京
deepseek新專利可降低網絡資源消耗
天眼查財產線索信息顯示，近日，deepseek關聯公司杭州深度求索人工智能基礎技術研究有限公司申請的“一種廣度數據采集的方法及其系統”專利公布。
摘要顯示，本發明涉及數據采集領域，包括建立網頁元信息庫；確定每日調度單元下載配額及當日下載總額度；從網頁元信息庫中選取相應數量的鏈接，分配下載額度；下載過程控制；下載文本進行后處理及數據清洗后進入回灌隊列，通過信息回灌實現網頁元信息庫更新。本發明的有益效果在于：發現盡可能多的網頁鏈接，并減少對網站的流量沖擊；對已經下載的內容進行分析，對未下載的連接進行質量推斷，通過擇優下載分配額度的方式，減少低質量網頁下載和重復下載，提高數據質量及下載效率，減少在數據采集過程中網絡資源的消耗；采用單獨的信息回灌隊列，保證網頁元信息庫修改操作的原子性和穩定性。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
