小紅書突然發布——小而精的“黑馬”開源大模型
在當今人工智能領域,大模型的競爭已經白熱化。
從谷歌的Bard到百度的文心一言,再到阿里和華為的Qwen與PanGu,各大科技巨擘紛紛亮出自己的“殺手锏”。
然而,就在大家的目光都聚焦在這些“巨頭”時,小紅書突然發布了一款名為dots.llm1的開源大模型,以“小而精”的姿態,一舉成為了行業中的“黑馬”。
圖源:小紅書
小紅書的dots.llm1是由其內部的人文智能實驗室(Hi Lab)團隊研發的。這款模型雖然在參數量上并不是最大的,但它卻憑借獨特的架構設計和高質量的訓練數據,展現出了強大的性能。
具體而言dots.llm1采用了混合專家模型(MoE)架構,總參數量達到1420億,但在推理過程中僅需激活140億參數。
這種設計使得模型在保持高性能的同時,大幅降低了訓練和推理成本。相比之下,同級別的Qwen2.5-72B模型,其訓練成本是dots.llm1的四倍。
圖源:微博
在訓練數據方面,dots.llm1更是業內極其罕見地使用了11.2萬億token的非合成高質量數據。這些數據全部來源于自然場景,包括網頁內容、社區分享等,沒有使用任何人工合成的數據
并且為了保證數據的高質量,dots.llm1還采用了三級清洗流水線——先通過URL過濾技術屏蔽成人、賭博等有害域名,再利用trafilatura庫精準提取正文內容;接著,利用MinHash-LSH技術進行模糊去重,剔除約30%的低質內容;最后,通過200類分類器平衡數據分布,將百科、科普等知識性內容占比提升至60%,大幅減少小說和產品描述至15%。
這種對數據質量的嚴格把控,確保了模型在語言生成時的自然性和真實性。相信大家以往在使用大模型的過程中,往往會被其引用錯誤的數據而誤導,小紅書此舉就是在最大程度避免這種情況的發生。
圖源:小紅書
至于dots.llm1的性能表現,則更加讓人有些驚訝。作為一款2025年才剛上線的開源大模型,dots.llm1在中文任務上的表現格外亮眼。
其在CLUEWSC語義理解測試中得分92.6,C-Eval綜合知識評測得分92.2,均超越了DeepSeek-V3和Qwen2.5全系。
圖源:微博
在數學推理能力上,它在MATH500測試中得分84.8,接近當前第一梯隊水平。綜合來看,dots.llm1在中英任務中的平均得分達到了91.3分,意味著即使它的激活參數僅為同行的1/4,卻仍然能夠與72B的模型打平,真正意義上的“短小精悍”。
而據一些網友深扒,dots.llm1的如此表現與其優秀的架構設計有很大的關系。
它配備了128個路由專家,每次處理任務時,會動態選擇其中表現最佳的6個專家參與工作,另外還有2個共享專家負責通用任務。
這種設計不僅實現了任務的精準分工,還通過無輔助負載均衡策略,避免了專家資源的浪費。
此外,dots.llm1還支持32K的上下文長度,能夠處理更長的文本內容。支持中英雙語,并具備Function Call功能,這使得它在多語言和多任務場景中具有更廣泛的應用潛力。
可以說,小紅書的dots.llm1不僅在性能上超越了許多同級別對手,更在數據質量和訓練成本上展現了獨特的優勢。
隨著dots.llm1的發布,小紅書不僅在人工智能領域邁出了重要一步,也為其所在的整個行業提供了一個全新的發展方向。
實戰表現
在了解了dots.llm1的技術架構和性能優勢之后,我們不妨深入到實際應用層面,看看這款“黑馬”大模型在實戰中究竟表現如何。
畢竟,對于普通用戶和開發者來說,模型的實際應用效果才是最值得關注的。
從各大博主和部分動手能力強的網友反饋來看,在實際運用中,dots.llm1展現出了一些獨特的特點,尤其是在與同級別其他大模型的對比中,這些特點更加明顯。
比如,他具有強大的中文理解能力:當博主問了一個極其中文化的腦筋急轉彎時——大舅去二舅家找三舅說四舅被五舅騙去六舅家偷七舅放在八舅柜子里九舅借給十舅發給十一舅工資的 1000 元,請問誰才是小偷?
圖源:微信
盡管整個過程有些曲折,dots.llm1最終還是成功給出了正確答案【小偷是四舅】
相比之下,DeepSeek的雖然最終也得出了四舅是小偷的結論,但整個生成過程長達近5分鐘,效率實在是令人堪憂。
不過DeepSeek獨樹一幟的推理過程還是挺有意思的,這里給大家截取一些看看,感興趣的朋友可以復制關鍵詞自己去生成試一試。
圖源:DeepSeek
其次,在創意寫作方面,dots.llm1也展現出了獨特的優勢,特別是要求其寫一篇小紅書文案或者按照小紅書的風格創作時。
圖源:微信
dots.llm1生成的內容自帶兼容小紅書格式的各種表情和符號,甚至在最后還貼心的幫你選取了合適的tag(標簽),只能說喜歡發小紅書的朋友或者那些小紅書電商們有福了。
最后,在硬核知識方面,dots.llm1同樣表現出色。以高考數學為例,不管是2024年年高考全國甲卷數學(文)試題還是上周剛考的新課標I卷數學試卷,dots.llm1都輕松拿捏。
圖源:微信
當然,經歷多輪實測后,有的博主提出了自己的意見,認為dots.llm1生成的東西還是“小紅書”味兒太重,或者說擺脫不了小紅書的影子。
比如當要求dots.llm1“用貼吧嘴臭老哥的風格點評大模型套殼現象”,dots.llm1和DeepSeek生成的內容從風格到細節都有很大的差異,相比之下,還是DeepSeek更有貼吧老哥的味道。
圖源:微信
圖源:DeepSeek
這也說明,dots.llm1目前展現出來的優勢還是主要依靠小紅書上積累的海量用戶生成內容(UGC),對應著,如果大家在生活場景對話小紅書模板創意生活經驗答疑等方面有AI需求,dots.llm1絕對會是一個不錯的選擇。
小紅書估值2500億的“新引擎”
小紅書大模型的一鳴驚人并不是那么突如其來,在dots.llm1的背后,是整個小紅書的高速發展。
據近期多方媒體爆料,如今仍未上市的小紅書,估值已經突破至2500億人民幣。
此番估值大幅增長,涵蓋了小紅書從早期的購物攻略分享平臺,到如今涵蓋時尚、美妝、旅行、美食等多元生活領域社交巨頭的發展思想。
小紅書憑借其獨特的社區氛圍和海量的用戶生成內容(UGC),吸引了數億用戶的關注。而如今,隨著AI技術的飛速發展,小紅書敏銳地捕捉到了AI與電商結合的巨大潛力,開啟了“電商+AI”的雙輪驅動模式。
電商作為小紅書的近幾年的核心業務之一,一直是其收入的主要來源。AI技術的引入,更為小紅書的電商業務帶來了新的增長點。
如今的dots.llm1可以說僅僅只是個開始,用戶對小紅書AI也有著更多的期待。例如,AI幫忙人性化回復評論、AI自動抓取關鍵信息等。
未來,小紅書在AI領域的進一步發展方向也備受關注。
首先,持續優化現有的AI模型是小紅書的當務之急。dots.llm1雖然已經展現出了強大的性能,但在實際應用中仍有許多可以改進的地方。
其次,開發更多基于AI的新功能和服務也是小紅書的重要發展方向之一。此外還有在垂直領域通過AI技術構建更加專業的生活垂類模型等等。
最后總結成為一句話——開源dots.llm1只是起點。
當阿里騰訊爭奪通用大模型王座時,小紅書正用11萬億真實生活語料訓練出一個更懂“人”的AI——它知道如何描寫雪山晨光,也清楚布達拉宮排隊的最佳時段。
作者 | 劉峰
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.