要說這段時(shí)間,科技圈什么最火,那肯定是deepseek大模型了。
新出的DeepSeek R1模型,其中思維能力,已經(jīng)超過了Chatgpt O1的思考模型。
果核作為資深的AI愛好者,在DeepSeek出來的時(shí)候,就已經(jīng)體驗(yàn)了他們家的模型,當(dāng)時(shí)還是在用DeepSeek的Code模型,用起來還是挺不錯(cuò)的。
后面在Chatgpt出來O1以后,果核就開了高級套餐,每個(gè)月額度都不夠用。
自從DeepSeek R1出來以后,基本上給替代了。經(jīng)過對比,DeepSeek是能夠滿足日常使用的,并且還說免費(fèi),你說香不香
可能是全球爆火,用的人太多了,并且也經(jīng)常被攻擊,所以DeepSeek經(jīng)常出現(xiàn)用不了的情況。
好在官方知道這個(gè)情況,所以直接王炸開源,把模型丟給你,讓咱們自己來玩
那么既然這樣,今天的教程,果核就手把手教大家,如何本地部署大模型,實(shí)現(xiàn)大模型自由。
本教程直接使用最簡單的方案,圖形化程序一步一步的教大家完成。所有的資源,都在末尾下載地址給打包了。
1、可視化程序安裝
目前針對大模型,有很多的程序可以直接使用。本教程使用比較簡單的程序,LM Studio來做演示。
LM Studio是一款通用的模型調(diào)用工具,集成了環(huán)境,只要一個(gè)軟件,就能直接使用開源模型的文件。
下載安裝很簡單,并且果核上還有windows綠色版本,可以根據(jù)自己的環(huán)境來選擇。
下載以后,第一次打開是英文的。先點(diǎn)擊右上角的跳過介紹。
然后,點(diǎn)擊右下角的設(shè)置圖標(biāo)。
在語言里面,找到簡體中文即可將程序切換成中文。
軟件是一個(gè)空殼的,沒有任何模型,需要我們自己下載模型。
軟件的發(fā)現(xiàn)里面有模型選擇,但是需要代理的,速度非常慢。果核會(huì)給大家提供網(wǎng)盤和其他的下載地址。
2、模型選擇
雖然說都叫R1模型,但是模型也分成很多個(gè)版本。根據(jù)自己的電腦顯卡配置選擇。
其中,1.5B的模型,體積只有1.8G,基本上所有電腦都可以跑。可以先下載來體驗(yàn)一下。
下載好以后,選擇一個(gè)空間比較大的目錄,例如D盤根目錄,創(chuàng)建一個(gè)文件夾,不要有空格和中文。你可以像果核這樣,在D盤創(chuàng)建一個(gè)ai的文件夾,并且在ai目錄下,創(chuàng)建一個(gè)名為module的目錄。
然后,把下載的模型文件,按照名稱命名,1.5B的這個(gè)目錄下,果核就放的是模型“DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf”
接下來,點(diǎn)擊側(cè)邊的文件夾,然后更改一下模型目錄。這個(gè)時(shí)候,就選擇根目錄,D:\ai。
至于為什么要這么做,軟件是只能識別2級目錄,也就是說,你選擇的模型目錄,模型文件要有2級目錄,否則軟件不能正常識別。
設(shè)置好以后,就能在軟件里面,看到模型了
接下來,在聊天的頁面,選擇要用的模型即可。
可以根據(jù)需要,配置一些模型參數(shù),也可以直接點(diǎn)擊加載模型
至此,加載成功后,模型就能正常的使用了。
阿里做了一個(gè)模型站,上面有各種各樣的模型可以下載。大家可以根據(jù)自己的喜好,來選擇模型。
最后的最后,再B幾句,本地部署的大模型,只能將就用用,問一些常見的問題,如果不是怕泄露隱私,還是建議使用在線的版本。因?yàn)槲覀儽镜厥桥懿涣嗽诰€版本的大模型的,光顯存就可能要幾個(gè)T,一般家庭是玩不轉(zhuǎn)的,所以就沒那么聰明。
但是,話又說回來,一些小模型,用在開發(fā)上倒是非常舒服的,讓模型做個(gè)選擇,匹配個(gè)正則著一些的工作,很輕松就能勝任。再或者,搭建本地知識庫,用本地小模型,也可以完成。所以,就看自己的選擇了。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.