99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

AI觀察|從萬元到百萬元,DeepSeek一體機江湖混戰

DeepSeek一體機江湖混戰

0
分享至

DeepSeek爆火讓模型平權,今年以來,市面上的DeepSeek一體機可謂五花八門,有的聲稱可以“跑滿血”,有的稱可以運行70B、32B模型;有的是量化版本,有的是全精度版本;價格也是相差甚遠,從幾萬元到上百萬元都在售賣。

澎湃科技記者日前調查發現,目前DeepSeek一體機市場魚龍混雜、打營銷擦邊球,降低性能就有套利空間,這也是為什么有人發現買回來的一體機變“笨”了。只要對模型進行量化或蒸餾,使用閹割版的模型,硬件資源就可以直接減半。“在這上面稍微 ‘偷’一點,價格就能看起來便宜很多,但實際使用體驗會打折。”多位業內人士向澎湃科技表示,目前一體機市場存在較多信息差,行業處于早期階段,市場秩序的建立仍需時間。

在業內人士看來,當前,大模型和業務場景結合仍處于試點階段,DeepSeek一體機是一個過渡產品。至于后續發展,則取決于大模型能力的持續提升以及與企業業務的結合程度。

一體機很火

“現在一體機很火,每家都有自己的產品。”在4月底的第八屆數字中國建設峰會的展臺上,參展商藺文強告訴澎湃科技,所有大模型都需要算力支持,算力來源無外乎向各大云廠商租賃和企業自建。如果數據不涉密,企業也不希望產生任何運維或硬件成本,上云就是一個好選擇。出于對數據安全的考慮,一些業務無法上云,必須部署在本地,因此催生了DeepSeek一體機需求。

DeepSeek一體機預先安裝軟硬件,主打“開箱即用”,這就好比用戶使用電腦做表格時,既可以選擇使用Office,也可以選擇使用WPS。從形態來看,有服務器級別的一體機,有臺式機級別的一體機,也有體型較小的終端級別一體機。

藺文強介紹,目前他所在的公司客戶主要采購滿血版DeepSeek一體機,譬如服裝企業采購DeepSeek一體機用于記賬和分析消費者喜好;基層鄉鎮會采購非滿血版一體機,“一個辦公室放一排,20并發就夠用。我們把服務預裝好,就像APP軟件一樣,一插電就能用。”

在另一家企業展臺上,澎湃科技記者看到,其展示的DeepSeek一體機集成了安全防護軟件。這些一體機面向政府、企業、高校等銷售。展臺工作人員介紹,以往閉源大模型使用成本高,DeepSeek開源讓模型成本驟降為0,模型平權后只需采購硬件,一體機成本更低、需求增長。“目前一二三線廠商都在提供DeepSeek一體機。”該工作人員同樣表示。大型計算中心承接訓練需求,一體機本地化部署滿足推理需求。服務器集群由多臺服務器組成,而DeepSeek一體機是一種最簡化配置。該企業生產的8卡滿血版DeepSeek一體機的典型應用是每秒2000token、200個用戶并發。“一所1萬人的學校,并發峰值10%,意味著1000個學生使用,一臺DeepSeek一體機就不夠用了。我們目前做了好幾個大項目,都是8-16臺一體機供一兩萬名高校學生和老師使用。”

硅基流動聯合創始人胡健告訴澎湃科技,DeepSeek的能力得到了驗證,企業對DeepSeek的認可度提高。考慮到私有化數據的安全性,企業若采用私有化集群使用DeepSeek,現階段算力成本仍然較高。在嘗鮮階段,輕量級的一體機對企業而言是更好的選擇。如果試水成功,未來再選擇上云。

滿血版未必真滿血

企業針對DeepSeek大模型不同參數的版本推出了不同型號的機型。一臺DeepSeek一體機的主要成本集中在GPU上。目前市面上的DeepSeek一體機價格有高有低。

有的展臺上,一臺供個人使用的滿血版DeepSeek一體機價格8.98萬元;有的展臺上兩臺滿血版671B一體機售價上百萬元。

所謂滿血版,即671B的DeepSeek模型。目前市面上的DeepSeek一體機中,有的稱可以“跑滿血”,有的稱可以運行70B、32B模型;有的是量化版本,有的是全精度版本。

一位AI領域創業者對澎湃科技表示,年后DeepSeek一體機隨著DeepSeek大模型的出圈而火爆,由于市場發展快,目前市場信息較為混亂。“有時候說的是跑DeepSeek,但實際可能只是一個70B或32B蒸餾之后的模型。有的70B模型本質上是拿著LLaMA模型,用DeepSeek生成的數據微調,最終說話效果和DeepSeek很像。32B的模型一般用通義千問的32B模型,結合DeepSeek生成的數據簡單訓練。”他表示,671B的模型和32B的模型對硬件的要求至少相差一個數量級,因此造成有的一體機只需幾萬元或幾十萬元,而有的價格需要上百萬元。

與此同時,業界對于“滿血”的標準并不統一。上述創業者介紹,有的滿血版是模型量化后的滿血。DeepSeek官方公布的參數精度是FP8,即8比特參數,一臺8卡A100的一體機運行原版模型尚顯吃力,需要兩臺才能流暢運行。一些廠家為了壓低成本,縮小參數,量化為4比特參數,導致用戶直接感受到模型變“笨”了。即便同樣是8比特參數,其中也有玄機。有的8比特參數是指INT8而非FP8。為了實現FP8的效果,必須使用諸如BF16等更寬的數據類型,這就導致對硬件的要求更高,需要4臺8卡一體機才能運行起來,一體機成本直接飆升到六七百萬元。

“除非專業人士,大多數人對于性能本身沒有很強的認知和理解力。”胡健同樣表示,滿血版一體機中,除了真正的原版模型,還存在量化版和蒸餾版,蒸餾版還可以分為32B、70B等。用千問模型和DeepSeek數據訓練得到的蒸餾版也帶有思維鏈,但智商比原版低。而將8比特變為4比特的量化版,其精度和性能同原版相比都有所下降,但強于蒸餾版。

一種過度需求

“現階段,用戶想嘗鮮,企業想賣一體機,就可能存在魚龍混雜。”胡健表示,模型版本、并發數、吞吐量都決定了DeepSeek一體機在企業內的適用程度。

并發數是影響DeepSeek一體機使用性能的關鍵因素。胡健介紹,一些價格10萬元的滿血版一體機只能做到一個并發,僅供單個用戶使用,首字延遲時間也長,影響使用體驗。一個100人左右的企業使用一體機檢索企業內部知識庫,至少要保證10個并發。滿血版DeepSeek一體機的并發數在200以內,“如果輸入特別長,并發會進一步降低。比如輸入一個長文檔,再加上一段很長的輸入,并發數就會下降。”

行云集成電路創始人兼CEO季宇則告訴澎湃科技,并發數越多,用戶體驗感越差。例如1000個并發之下,單個用戶每秒只能生成5個token,這樣的高并發是無意義的,因為輸入輸出速度也影響實際體驗。業界公認的臨界輸出速度是20 token/秒,這也是DeepSeek官網提供的體驗。10 token/秒的輸出速度較慢,6 token/秒易使人焦急等待輸出。但輸出速度慢,對硬件資源的要求就低。

多位業內人士對澎湃科技表示,當前DeepSeek一體機爆火甚至過熱,但挑戰在于持續維護升級,一體機的綜合使用成本仍然高昂。一體機是一種過度需求,無法滿足大規模使用,企業最終還是會上云。

胡健表示,一旦進入私有化環境,出于安全考慮,企業不會允許外部遠程訪問私有數據和系統進行迭代升級。對于銷售企業而言,“賣一臺幾十萬元的一體機,還要讓人帶硬盤飛過去安裝升級,也不現實。”對于服務器級別的一體機而言,機房、電力、溫度都要滿足使用條件,這些改善成本分攤下來,使得一體機的“嘗鮮價”并不低。

在胡健看來,當前大模型和業務場景結合仍處于試點階段,DeepSeek一體機是一個過渡性產品。一臺滿血版DeepSeek一體機可支持100-200個并發,可支持線上問答應用場景,“一旦真正和業務場景結合,一臺一體機的并發完全不夠。這時候要么建私有化機房,要么利用公有云或混合云解決高并發、多場景的使用問題。”對于DeepSeek一體機市場的可持續性,胡健認為,這取決于大模型能力的持續提升以及與企業業務的結合程度,一旦與企業內部流程和應用打通,就會出現混合云或私有云模式。“如果打通速度快,那就轉向上云,如果速度慢,一體機還會持續存在一段時間。”

“開箱即用”的條件

DeepSeek技術革新降低了AI大模型本地化部署的成本和門檻,促進了對于數據安全要求較高的央國企和金融類企業本地化部署DeepSeek等AI大模型。廣發證券計算機首席分析師劉雪峰今年3月在研報中提到,隨著DeepSeek本地化部署的廣泛開展,算力一體機有望放量。預安裝了DeepSeek大模型的算力一體機有望在各企業用戶側快速滲透。除了推出不同型號的機型,各家企業還搭載了用于模型微調、語料訓練、應用開發的AI基礎工具。

但CCF(中國計算機學會)數據發展委員會主任陸志鵬4月份表示,一些企業以為把DeepSeek模型部署到服務器上就是一體機,就可以“開箱即用”,結果客戶采購后發現并沒有達到說明書上的效果,反而引起法律糾紛。

胡健介紹,公文寫作一體機、合同審核一體機等結合使用場景的DeepSeek一體機,其開箱即用的概率更高。對于脫離場景的一體機,開箱即用的是模型調用,但打通業務流程仍需接入和治理數據,整理數據庫,二次開發或微調。

藺文強建議企業要根據自身使用需求采購DeepSeek一體機,明確是追求極致的性能還是極致的性價比、是否有國產化需求、是否需要滿血版的一體機,同時還要考慮服務調優的響應速度和支持方式,“采購一體機要考慮適不適合企業業務,如果不適合就需要調優,甚至需要二次訓練。”

對于采購建議,新華三展臺的工作人員表示,盡管當前一二三線廠商都在銷售一體機,但缺乏安全能力。“如果要有安全能力,就得找其他廠家再買一個服務器做開發和對接。”該工作人員表示,DeepSeek一體機要考慮數據安全問題。例如一些集團公司旗下多個子公司之間數據隔離,這些子公司之間甚至存在競爭關系,集團公司利用不同子公司的數據進行訓練就需要保證數據安全。與此同時,由于硬件成本和軟件開發成本有差異,一些小廠家的一體機價格反而更高。采購一體機時還需要考慮廠家的技術能力,尤其是當出現漏洞時能否及時提供修復服務。此外要識別DeepSeek版本,不同版本精度不同。

4月底,行云集成電路推出10萬元級的滿血版一體機,“很多客戶在五一期間跟我們對接,現在也有一些客戶已經下單。”季宇說,目前一體機行業處于早期階段,市場秩序的建立仍需時間。如果能夠降低新鮮事物的成本,就可以降低試錯成本,擴大體驗覆蓋面,讓行業成長起來。“相對于上百萬元的機器來講, 10萬元的價位已經便宜了很多,但實際上還是比較貴,我們希望能持續降低價格,讓大家能夠低成本體驗大模型帶來的價值。”

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
長春市寬城區蘭家鎮副鎮長宋越接受審查調查

長春市寬城區蘭家鎮副鎮長宋越接受審查調查

魯中晨報
2025-05-13 10:48:12
十號簽淪為交易籌碼!火箭將追求55+7超級巨星,輔助申京、阿門

十號簽淪為交易籌碼!火箭將追求55+7超級巨星,輔助申京、阿門

埃文凱爾
2025-05-14 03:13:46
油價正在大跌!油價調整最新消息:今日油價預計下調290元噸!

油價正在大跌!油價調整最新消息:今日油價預計下調290元噸!

藍色海邊
2025-05-14 04:58:11
大國全都不站印度這邊,三哥灰頭土臉,莫迪政治壓力爆表

大國全都不站印度這邊,三哥灰頭土臉,莫迪政治壓力爆表

可樂談情感
2025-05-14 05:00:17
42+8+4+4,不是我悲觀,塔圖姆今后很難再打出這樣的數據了

42+8+4+4,不是我悲觀,塔圖姆今后很難再打出這樣的數據了

雞丁侃球
2025-05-13 12:38:17
獨家 | 極致倒掛再現!中小銀行首現“存5年不如存1年”現象

獨家 | 極致倒掛再現!中小銀行首現“存5年不如存1年”現象

財聯社
2025-05-13 11:56:12
破防的國家又多了一個,那就是印度尼西亞。

破防的國家又多了一個,那就是印度尼西亞。

老友科普
2025-05-09 19:09:14
西方突然意識到:只要中國下狠手,美國可能連仗都沒法打下去

西方突然意識到:只要中國下狠手,美國可能連仗都沒法打下去

小lu侃侃而談
2025-04-15 20:16:36
一口爆汁!維生素C是藍莓的4倍,被譽為“21 世紀最佳保健水果”

一口爆汁!維生素C是藍莓的4倍,被譽為“21 世紀最佳保健水果”

科普中國
2025-05-13 22:54:20
25000畝國產榴蓮熟了,進口價格暴跌30%,泰國急了:1600噸運中國

25000畝國產榴蓮熟了,進口價格暴跌30%,泰國急了:1600噸運中國

削桐作琴
2025-05-11 17:32:52
男童失蹤第9天!搜救犬深夜出現反應緊急上山,腐臭味來源已查實

男童失蹤第9天!搜救犬深夜出現反應緊急上山,腐臭味來源已查實

趣文說娛
2025-05-13 13:59:00
俄軍事專家:“別再自欺欺人了,中國真實軍力早已讓人感到恐懼”

俄軍事專家:“別再自欺欺人了,中國真實軍力早已讓人感到恐懼”

荷蘭豆愛健康
2025-05-13 22:25:10
通知!事關常州中小學生

通知!事關常州中小學生

中吳網
2025-05-13 20:51:12
印巴沖突戛然而止,竟是因為美國截獲驚人情報?萬斯又來邀功請賞

印巴沖突戛然而止,竟是因為美國截獲驚人情報?萬斯又來邀功請賞

阿紿聊社會
2025-05-13 15:13:28
美國總統特朗普:股市將會大幅上漲!高盛:下調美國經濟衰退概率至35%,美投資者和企業管理層面臨重大挑戰

美國總統特朗普:股市將會大幅上漲!高盛:下調美國經濟衰退概率至35%,美投資者和企業管理層面臨重大挑戰

和訊網
2025-05-14 01:23:03
“母乳交易”亂象:成人1500元竟能躺在懷里喝,暗訪畫面不堪入目

“母乳交易”亂象:成人1500元竟能躺在懷里喝,暗訪畫面不堪入目

游古史
2025-01-03 13:43:05
楊毅曝山東硬漢陶漢林往事,在國家隊時曾嗆杜鋒,一句話斷送前程

楊毅曝山東硬漢陶漢林往事,在國家隊時曾嗆杜鋒,一句話斷送前程

萌蘭聊個球
2025-05-13 20:21:45
農村老房子要翻身了?2025宅基地新規落地,農村有房子的要樂了

農村老房子要翻身了?2025宅基地新規落地,農村有房子的要樂了

小談食刻美食
2025-05-13 16:37:24
李嘉誠不再沉默!長和正式回應港口交易,公開向祖國做出保證

李嘉誠不再沉默!長和正式回應港口交易,公開向祖國做出保證

一個有靈魂的作者
2025-05-13 12:40:28
汪峰試探問:你跟幾個男人回過家?章子怡一句話,讓他瞬間紅了臉

汪峰試探問:你跟幾個男人回過家?章子怡一句話,讓他瞬間紅了臉

火之文
2025-02-04 13:22:59
2025-05-14 06:12:49
澎湃新聞 incentive-icons
澎湃新聞
專注時政與思想的新聞平臺。
795500文章數 5071865關注度
往期回顧 全部

科技要聞

京東外賣首戰業績如何?創新業務狂攬57億

頭條要聞

退車車主談小米解決方案:20000的積分 好比歡樂豆

頭條要聞

退車車主談小米解決方案:20000的積分 好比歡樂豆

體育要聞

離開曼聯,他在馬拉多納的城市成為明星

娛樂要聞

張柏芝母親節上熱搜!3個兒子引熱議

財經要聞

老股民被收割670萬 殺豬盤牽出20億大案

汽車要聞

或2027年發布 全新寶馬1系假想圖曝光

態度原創

家居
本地
旅游
房產
公開課

家居要聞

簡潔純凈 空靈的東方妙境

本地新聞

春色滿城關不住|溪水浣青苔 鐘乳洞藏多少光陰

旅游要聞

熱聞|清明假期將至,熱門目的地有哪些?

房產要聞

58 萬人等哭了!老黃埔高端商圈為何難產20年?!

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 南京市| 威海市| 新密市| 永定县| 富源县| 全州县| 晋江市| 珠海市| 申扎县| 康平县| 辽源市| 周口市| 兴宁市| 旬邑县| 南投县| 林甸县| 平阴县| 宣恩县| 会同县| 贵港市| 田阳县| 泸西县| 德保县| 河源市| 六安市| 稷山县| 杭锦旗| 元氏县| 高台县| 垫江县| 衡阳县| 文成县| 阳高县| 尼玛县| 喀喇| 南郑县| 醴陵市| 酉阳| 阳朔县| 上饶市| 巴楚县|