這兩天大家都被DeepSeek炸暈了吧,嘿嘿,其實(shí)DeepSeek也被大家炸暈了。
這是今天上午的情況↓
沒(méi)辦法,這潑天的流量一般人扛不住~
想高頻使用怎么辦呢?本地裝一個(gè)!
本地部署有兩個(gè)好處:?不聯(lián)網(wǎng),全私密,不擔(dān)心隱私泄露,還可以掛載本地知識(shí)庫(kù)?完全免費(fèi),徹底告別“服務(wù)器繁忙”。
如果你是蘋(píng)果Mac本——
我們需要用到兩個(gè)神器:
一個(gè)叫做Ollama,這是一個(gè)可以在本地運(yùn)行和管理大模型的軟件。
另一個(gè)叫做Page Assist,這是個(gè)瀏覽器插件,提供本地大模型的圖形化管理和對(duì)話界面。
一、下載Ollama,并拉取安裝DeepSeek
Ollama是一個(gè)可以在本地運(yùn)行和管理大模型的神器,完全本地運(yùn)行,而且支持多種模型,包括但不限于Llama、DeepSeek、Qwen、Gemma等等。
登錄網(wǎng)站,直接去下載頁(yè):
https://ollama.com/download
直接下載macOS版本的程序,其實(shí)從上圖你可以發(fā)現(xiàn),Linux和Windows也是OK(這個(gè)咱后面再講)。
下載后是一個(gè)壓縮包,二話不說(shuō),直接解壓,你會(huì)得到一個(gè)“草泥馬”頭像的程序
這個(gè)程序可以直接點(diǎn)擊運(yùn)行,但是建議你拖到「應(yīng)用程序」目錄下,便于用的時(shí)候以后好找。
好了,接下來(lái)直接運(yùn)行Ollama,然后進(jìn)入到終端窗口↓
接下來(lái)運(yùn)行命令,拉取對(duì)應(yīng)版本的模型即可。
目前DeepSeek-R1可選的模型有滿血版671B,和蒸餾版1.5B、7B、8B、14B、32B、70B:
滿血版?zhèn)€人電腦就別想了,其他蒸餾版大家根據(jù)電腦配置來(lái)選。
如果只是玩玩的話,建議不要選擇太大的,14B以下的嘗嘗鮮。
Mac配置高的話,比如64G以上的內(nèi)存,可以嘗試32B或者70B,畢竟參數(shù)越大,模型智商越高。
我的電腦是96G內(nèi)存,所以今天挑戰(zhàn)一下70B版本,運(yùn)行命令↓
ollamarundeepseek-r1:70B
前面命令都一樣,后面輸入對(duì)應(yīng)的模型參數(shù)即可
激動(dòng)人心的時(shí)刻開(kāi)始了,70B的模型有42G那么大,我這里的網(wǎng)絡(luò)需要下載大概40分鐘。
不急,泡杯咖啡慢慢等~
經(jīng)過(guò)一番漫長(zhǎng)的等待,42GB的大模型終于拉取完畢,并安裝成功(不知道為啥,最后3%的網(wǎng)速會(huì)非常慢,只有幾百K,據(jù)說(shuō)很多人和我一樣。)
安裝成功的界面是這樣的↓
在這個(gè)命令行下,就可以直接使用DeepSeek了↓
提問(wèn)就可以,在兩個(gè)之間是推理過(guò)程,也就是收到問(wèn)題以后,DeepSeek的內(nèi)心戲↓
完成推理后,DeepSeek就開(kāi)始輸出正題:一段詼諧幽默的自我介紹↓
怎么樣,這個(gè)回答還不錯(cuò)吧。
如果你覺(jué)得這個(gè)命令行界面跟玩文字mud似的,太土鱉了,沒(méi)關(guān)系,接下來(lái)我們安裝第二個(gè)神器,也就是Page Assist。
二、安裝Page Assist,開(kāi)始享用DeepSeek
Page Assist是一款Chrome瀏覽器插件,所以,你只需要打開(kāi)Chrome,點(diǎn)擊右上角“三個(gè)點(diǎn)”,然后“擴(kuò)展程序”、“訪問(wèn)Chrome應(yīng)用商店”。
然后在應(yīng)用商店中搜索“Page Assist”,第一個(gè)就是,點(diǎn)擊安裝即可。
安裝完成后,在瀏覽器右上角這個(gè)位置,點(diǎn)開(kāi)就可以找到,可以用釘住,方便以后隨時(shí)打開(kāi)使用
點(diǎn)擊圖標(biāo)就可以打開(kāi)UI界面,怎么樣,是不是界面舒服多了,可以選擇對(duì)應(yīng)的模型,然后開(kāi)始提問(wèn)了。
用法跟在線版的沒(méi)啥區(qū)別。
點(diǎn)擊模型下拉框,可以查看已經(jīng)安裝的模型,我之前已經(jīng)安裝了14B,剛剛又裝好了70B。
點(diǎn)擊右上角的齒輪,可以進(jìn)行基礎(chǔ)設(shè)置,比如更改語(yǔ)言、語(yǔ)音(默認(rèn)都是英文,可以修改為簡(jiǎn)體中文)。
還可以更改默認(rèn)搜索引擎,讓大模型在推理的同時(shí),開(kāi)啟聯(lián)網(wǎng)搜索功能。
還可以添加本地知識(shí)庫(kù),讓DeepSeek更具備個(gè)性化和專(zhuān)屬性。
至此,萬(wàn)事具備,讓我們來(lái)體驗(yàn)一下70B的本地DeepSeek,到底聰明不聰明?
先小試牛刀↓
接下來(lái),我讓它給IT技術(shù)從業(yè)者提出10點(diǎn)建議。
你來(lái)評(píng)評(píng),它說(shuō)的怎么樣?
單單運(yùn)行了這么點(diǎn)東西,我的本子散熱風(fēng)扇已經(jīng)開(kāi)始嗚嗚作響了。
看來(lái)想要運(yùn)行70B的模型,我這臺(tái)mac還是有點(diǎn)小馬拉大車(chē)了。
如果你是Windows PC——
對(duì)應(yīng)下載Windows版本的Ollama即可,其實(shí)安裝過(guò)程大差不差。
只是Windows版本的安裝程序比Mac版大多了。
安裝完成后,同樣打開(kāi)命令行窗口,拉取對(duì)應(yīng)的模型↓
這次我們低調(diào)一點(diǎn),拉取最小的1.5B模型(我是虛擬機(jī),跑不動(dòng)太大的。)
模型尺寸小還是好,瞬間搞定↓
簡(jiǎn)單調(diào)戲一下,不得不說(shuō),參數(shù)量小的模型就是蠢,只能當(dāng)玩具。
接下來(lái),可以繼續(xù)安裝Page Assist,進(jìn)行圖形化管理和對(duì)話,我就不重復(fù)了。
如果你用的是Linux——
我們?cè)赨bantu 22下玩一玩。(其實(shí)玩Linux的人不需要看教程)
打開(kāi)shell,直接運(yùn)行命令↓
curl -fsSL https://ollama.com/install.sh | sh
就可以完成Ollama的下載和安裝
后面拉取和運(yùn)行模型的步驟就一樣了,不再贅述。
如果你想用iPhone或安卓機(jī)——
其實(shí),在手機(jī)上跑一個(gè)DeepSeek 1.5B也是可以的,只是這樣干完全沒(méi)有必要。
首先,1.5B模型太小太弱智,基本沒(méi)什么用;第二,運(yùn)行這個(gè)模型太燒機(jī)了。
所以如果不是非常特殊的用途,我建議你完全可以去用市面上各種流行的大模型助手:豆包、通義、元寶、文小言、訊飛星火、Kimi…
讓他們賽馬,你來(lái)翻牌子,既節(jié)省資源,效率還高。
好啦,教程就分享到這里。
最后講講大家關(guān)注的電腦配置問(wèn)題,其實(shí)我測(cè)試下來(lái)感覺(jué)配置要求其實(shí)不高,丐版電腦你就裝小尺寸,豪版電腦你就裝大尺寸。
當(dāng)然從模型的可用性來(lái)講,我建議至少24G以上的內(nèi)存,運(yùn)行14B以上的模型,如果有獨(dú)立的N卡A卡更好,沒(méi)有的話CPU跑跑也沒(méi)關(guān)系。
大家也可以分別拉取不同尺寸的模型來(lái)測(cè)試(因?yàn)楹芎?jiǎn)單),達(dá)到性能和體驗(yàn)的平衡。
現(xiàn)在趕緊行動(dòng)起來(lái),在你的電腦上裝個(gè)DeepSeek吧,從此告別“服務(wù)器繁忙,請(qǐng)稍后再試”!
那么,如果是企業(yè)想要在本地部署一個(gè)DeepSeek,甚至是滿血版的,應(yīng)該怎么辦呢?我們下回分解
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.