作者 | Jessica
郵箱 | JessicaZhang@pingwest.com
2025年春,AI行業正步入一個新的階段。
Meta發布多模態模型Llama 4,OpenAI連續推出GPT-4.1、o3及o4-mini、計劃發布首個“開放”語言模型,并被曝正在打造一款“AI版Twitter”;與此同時,被譽為“AI界USB-C”的新興標準MCP悄然走紅——它讓AI Agent不只局限于回答問題,而是具備主動感知、任務規劃與工具調度的能力。系統范式的變革,比模型性能的迭代更引發從業者關注。
隨著“小模型+本地部署”“多模態+實時處理”成為新趨勢,AI底層基礎設施也被重新定義。尤其是非結構化數據的處理、語義檢索的效率,成為決定Agent能力邊界的關鍵。而向量數據庫,正在成為這類系統的“語義記憶中樞”。
在這一領域,Zilliz 是少數幾個走在前面的玩家。去年9月,Forrester發布首份向量數據庫Wave報告,Zilliz被評為“全球領導者”,領先于DataStax、Microsoft、Amazon和Oracle等老牌廠商。同年10月,其開源項目Milvus在GitHub上的Star數突破三萬,成為全球最受歡迎的向量數據庫之一。
近期,我們與Zilliz創始人兼CEO星爵進行了一場對話。聊了聊這家公司如何一路從“小眾賽道開拓者”成長為當下AI應用基礎設施的重要一環。
對話實錄如下:
“從2019開辟這個賽道迄今,zilliz沒有對手”
硅星人:先用一句話,向那些還不熟悉向量數據庫的人解釋一下它吧。
星爵:一句話太難了,我用三句話試試。
這是面向非結構化數據、和大模型時代專用的語義檢索數據庫;它用向量相似度檢索,讓機器學會了“類似”的概念;是AI時代搜索的正確打開方式。
硅星人:從 ChatGPT 帶火向量數據庫,至今已有兩年多了,行業都經歷了哪些關鍵變化?
星爵:“向量數據庫”從小眾概念變為行業剛需。認可你的伙伴變多了,但賽道中的對手也多了。
硅星人:你如何定義剛需?
星爵:我只有體感,說不上定義行業。
從體感來說,2022年上半年,大家都在問我什么是向量數據庫,以及和Oracle有什么區別、和PostgreSQL有什么區別。
2023年開始沒人再問我向量數據庫是什么,而是開始追問,你和Elasticsearch、和pgvector、Chroma相比,到底有什么優勢。
可以作為剛需佐證的,是第三方數據,MarketsandMarkerts 預測:2023年-2028年,全球向量數據庫市場規模預計將從15億美元增長到43億美元,預計年復合增長率為23.3%。
硅星人:這個數據比我想的要低。
星爵:我也同意,至少Zilliz的實際增速遠遠高于第三方的市場預測。而且我們內部對未來的增長預期也不止于此。2024年,我們的年度經常性收入實現了三倍增長。
硅星人:支撐你這么樂觀預期的源頭來自哪里?
星爵:一方面是產品真的成熟了,另一方面是外部的正向反饋。
產品上,我們提供的既有開源的Milvus,也有商業化的Zilliz Cloud。
其中Milvus2019年開源,到2024年下半年,我們的GitHub星標數已經突破 3 萬,累計下載量超過一億次,全球企業用已有超過 1 萬家采用。Zilliz Cloud則通過AWS、谷歌云、微軟Azure、阿里云和騰訊云,已經可以服務全球20多個國家和地區。
硅星人:這是一個高速線性擴張的過程?
星爵:我覺得目前階段應該是指數級擴張。
硅星人:擴張的動力來自哪里?
星爵:千行百業的需求。
從行業來看,AI初創企業、互聯網、電商、自動駕駛、金融、法律和教育多個領域,我們全都積累了成熟的方案。
從產品的功能和商業策略設計上,根據這些不同行業的特性,我們推出了多租戶和多種企業級安全合規,還有免費額度和彈性計費模式來降低試用門檻。此外,設計上,對一些有特殊合規需求的客戶,我們還發布了BYOC方案。
總結來說,就是從給客戶提供一個工具,變成了實際解決了客戶的問題。一個能幫你解決實際問題的產品,沒有人會拒絕。
硅星人:面對這么多行業做的這么深,那成本會變得更高嗎?
星爵:不會,因為Zilliz的全部收入基本都來自云產品,這也是我們一開始就定下的基本原則。
你可以理解為行業有特性,但這些特性——比如合規、高并發、多租等等,都是可以通過工具組合去解決的。我們的know how是幫助客戶找到最合適的工具,而不是換一個客戶,造一次輪子。
當然,這并不是說事無巨細的服務錯了,但既然都做基礎軟件了,那你的看家本領,就是總結共性需求。
硅星人:要是客戶給的實在太多了呢?
星爵:做企業就是不斷在天平的兩端做抉擇,但很多人沒有判斷天平砝碼真實重量的能力或者勇氣。
比如,一個私有化的單子三千萬。天平兩端,并不是賺這三千萬和不賺這三千萬,而是賺眼前的3000萬,和破壞長期商業模式,減少通往未來賺30億、300億,甚至3000億的可能。想清楚這些,你就知道,有些錢,即使送到門口,你也是不能賺的。
硅星人:所以你確認Zilliz是那個未來能賺300億、3000億的玩家嗎?
星爵:六年前,我們開源Milvus創造了向量數據庫這個賽道,到現在,我依然覺得我們沒有對手。不止我們自己這么認為,開發者口碑、外界最權威的三方也這么認為。
比如,Milvus在github三萬星,一直都是全球最大、且最具有影響力的開源向量數據庫產品。去年三季度,Forrester 還在其首份向量數據庫報告(2024年Q3)中將 Zilliz 評為領導者,在向量維度支持、向量索引、性能、可擴展性等多項關鍵指標上獲得了最高分。
硅星人:剛剛你提到,對手變多了,有Elasticsearch 、 pgvector還有Chroma。
星爵:我們之間的關系,可以理解為錯位競爭的“對手”?;蛘哒f,他們把zilliz當成了對手。
這兩年,zilliz的重點投入的方向之一,就是如何搞定大規模數據和高并發需求,為此做了很多分布式擴展與索引優化:比如通過橫向擴展集群來提升容量和容錯,通過高效索引算法加速等提高檢索吞吐。
但Elasticsearch 和pgvector還是傳統數據庫和搜索引擎增加了向量檢索插件,Chroma則是輕量級嵌入向量存儲庫。他們的門檻更低,甚至這兩年的增長也很快,但他們大多依托單機擴容方案,受限于單節點性能并存在單點故障風險,缺乏持久化和橫向擴展能力,相比分布式架構可靠性欠佳。
通俗點說,非結構化數據,占了數據總量的80%。在這個背景下,用傳統結構化數據庫時代的產品修修補補,就像是基于燃油車的架構,怎么改也不是新能源汽車。
硅星人:但對手的使用成本更低。
星爵:如果你說的是生產級場景,那這是錯覺。
針對向量檢索,我們在同等規模下,一定比非原生的向量數據庫方案更高效。
比如pgvector是在 PostgreSQL 之上通過插件方式支持向量檢索,上手難度的確比較低,但是它只適合小規模向量存儲和與結構化數據的簡單結合,在大規模和性能方面遠不及Milvus。
根據實際測試,Milvus 在處理大規模向量時的性能/成本效率比pgvector高出兩個數量級。Milvus 在底層針對向量算子做了深度優化,并采用近似算法和分布式架構,而pgvector還是傳統數據庫內核,只能采用精確搜索或簡單索引,算法效率不高。
此外,pgvector受限于 PostgreSQL 單機擴展能力,當數據量和并發升高時,性能會急劇下降并且難以水平擴展。Milvus 就可以輕松橫向擴容,多節點分擔查詢。
從功能完善度看,Milvus 支持豐富的向量索引類型、靈活的向量距離度量,以及對時間旅行、分區等高級特性的支持,這些都是pgvector尚不具備或不成熟的。
簡言之,pgvector是傳統數據庫的“附加組件”,而 Milvus 是為向量檢索“量身打造”的完整解決方案。
硅星人:那你怎么看Pinecone ,他們也是你說的云原生向量數據庫。
星爵:Pinecone 是閉源的云托管向量數據庫,以易用和全托管著稱。但和 Zilliz 相比,其部署靈活性和架構擴展性存在差異。
Pinecone 目前主要提供云上服務,沒有開源自托管版本,這對數據敏感或需本地部署的客戶并不友好。而 Zilliz 既有開源 Milvus 可自建,也有云服務,客戶選擇更多元。
另外,在架構上 Pinecone 采取“縱向擴展”為主的策略,即通過單節點高性能實例(稱為pod)來提升性能。這種模式下,每個pod仍然跑在單機上,受限于單機的CPU和內存上限。相較而言,Milvus 的橫向擴展架構可利用多機協同,避免了單節點瓶頸,并天然具備故障切換能力。
舉例來說,如果需要存儲萬億級向量,Pinecone 可能需要一臺超大型內存實例且難以保障不宕機,而 Milvus 可以分布到數十臺普通服務器,任一臺出問題不影響整體。這種架構優勢在超大規模應用下尤為明顯。
Qdrant也一樣,在包含1億條 768 維向量的數據集中,Zilliz Cloud 的 QPS 達到 Qdrant 的 7 倍,P99 延遲僅為 Qdrant 的 1/12。 Qdrant 主要作為單機服務存在,后來他們通過sharding技術支持集群,但其分布式架構相對Milvus仍不夠彈性,運維難度不小。
硅星人:換一種說法的遙遙領先?
星爵:準確說是各有所長吧。
比如,不少個人開發者的向量數據庫啟蒙產品,除了Milvus可能就是ES、pgvector。其他的,像Qdrant 更適合追求低成本基礎設施維護的開發人員,適用于對過濾查詢有需求但不追求極端性能的場景。Pinecone更像封裝好的云工具,適合快速驗證但伸縮性受限,不適合超大規模的復雜企業場景。
Zilliz 的優勢在于開放靈活、可線性擴展,非常適合企業長期演進和定制需求,還有對性能指標有嚴格要求的應用系統。
大模型時代,RAG始終是剛需,但應用范式與對向量數據庫的需求一直在變化
硅星人:DeepSeek火起來,對Zilliz有什么影響嗎?
星爵:模型進步降低了AI應用的部署門檻,擴大了向量數據庫的潛在市場。
其次,這些模型往往需要更高效的知識檢索機制來提升其能力,這正是向量數據庫的價值所在。開源模型的興起還推動了更多本地部署需求,增加了對高性能向量數據庫的需求。
硅星人:一邊是推理大模型爆火,一邊是落地中,從"大模型為王"逐漸向"小模型+本地部署"過渡。這對向量數據庫行業意味著什么?
星爵:小模型在知識廣度上不如超大模型,當AI應用從依賴超大模型API轉為使用本地小模型,企業就需要通過檢索自有數據來補足,向量數據庫也就從“可選項”變成了“必選項”。
硅星人:所以,在你看來,企業場景中,RAG始終是剛需嗎?
星爵:是的。但這個剛需在不同階段的表現形式不同。
硅星人:這個怎么說?
星爵:我認為傳統RAG始終有自己的局限性。因為傳統RAG只能基于提問,做一次語義檢索。但我們一句話背后,往往會對應好幾層潛在邏輯。
你想,多少男的因為女朋友讓自己洗碗,自己就真的只洗了個碗,沒有刷鍋、打掃廚房、檢查油煙機而挨罵?
人都不一定能一秒get你的話中話,AI檢索一次語義檢索,就能達到效果就就更不可能了。
硅星人:那要怎么辦?
星爵:今年我比較看好深度搜索(Deep Search)和深度研究(Deep Research)這兩個新的RAG范式,籠統來說就是Agentic RAG。
他們的共性是由開發者顯式調用向量數據庫變成大模型自發地發出檢索請求,并由大模型決定檢索的范圍、次數以及結果判定。過程中,向量數據庫將成為AI Agent的記憶中樞,支持其執行復雜任務。Agent在運行中生成的信息可實時向量化存儲,便于決策時快速檢索相關記憶。
面對復雜問題時,系統會先對問題進行拆解,然后檢索概覽信息,再基于初步理解再發起更精確的二次、三次檢索,甚至進行多路徑并行檢索,最終綜合各方結果形成更全面的回答,特別適合需要深入分析的專業領域應用。
例如,網絡安全Agent可在日志向量庫中搜索異常模式,科研Agent可檢索文獻Embedding庫。
硅星人:這對向量數據庫有什么要求?
星爵:向量數據庫需提供標準化API和結果摘要,支持Agent動態優化查詢策略。
此外,向量數據庫要與工作流引擎融合,成為數據處理自動化和語義智能的新模式。Zilliz正開發集成方案,如Serverless函數觸發器,連接云原生工作流。
硅星人:除了做的更深,RAG與Agent還有什么發展趨勢?
星爵:多模態實時檢索和動態數據更新。
當前的數據多是靜態文本,而未來需要支持視頻幀、圖像、音頻、傳感器數據流等實時處理,Agent需要在向量空間中檢索跨模態關聯,進行綜合分析。這方面的技術挑戰主要在于實現低延遲的混合檢索與高效的數據版本管理。Zilliz正在優化多模態向量支持,以應對這一趨勢。
硅星人:除此之外,向量數據庫領域還有哪些技術挑戰是你們正在積極解決的?
星爵:當前向量數據庫領域面臨的關鍵技術挑戰主要包括:海量數據的可擴展性、檢索性能與成本平衡、以及滿足企業級可靠性的能力。
挑戰一:千億級向量的存儲與查詢可擴展性。隨著應用積累的數據規模爆炸式增長,向量庫需要存儲千億甚至萬億向量并保持可用的查詢速度。這對架構提出巨大挑戰。Zilliz 的解決方案是采用分布式可橫向擴展架構。Milvus 從一開始就設計為無中心節點的分布式系統,可通過增加節點線性擴展存儲和計算能力。與只依賴單機擴容的方案相比,Milvus 的集群架構有效避免了單點瓶頸和故障風險。即使某一節點發生故障,只影響全局數據的1/256(假設256節點集群),通過副本機制可迅速恢復。這種架構使 Milvus 能夠輕松處理千億級的數據集并提供高可用性。此外,Milvus 還支持存儲計算分離和分片機制,將向量分布存儲在不同節點并并行檢索,從架構上保證了在數據規模增長時查詢性能線性可伸縮。
挑戰二:檢索性能與硬件加速。向量相似度計算本質上是高維算術運算,如何在毫秒級延遲下完成 Top-K 查詢是核心難題之一。為此 Zilliz 高度重視異構計算加速。Milvus 內部針對 Intel/AMD CPU、ARM 處理器和 NVIDIA GPU 等不同硬件分別優化了執行引擎算法。例如,對 CPU 利用SIMD指令并行計算,對GPU批量處理向量計算,充分發揮每種硬件的優勢。這使 Milvus 能夠在純CPU環境下達到極高吞吐,在有GPU的環境下進一步提升密集計算性能。我們自研的 Cardinal 引擎,通過緩存優化和底層代碼級別調整,把常用Top-K查詢的速度提升了一個數量級,同時保持精度在95%以上。綜合這些手段,Zilliz 在權衡性能與成本上取得突破。例如,據內部測試,Milvus 在相同規模數據上的檢索性能/成本比比pgvector、OpenSearch等通用數據庫方案高出數十倍以上。
挑戰三:企業級可靠性與安全。要成為“數據庫”,光有檢索性能還不夠,還必須提供如數據持久化、容災備份、權限控制等企業必需特性。Zilliz 針對這些痛點逐一攻克。Milvus 采用事務日志+快照機制保障數據持久一致,在系統崩潰或重啟后能夠恢復到最近一次快照狀態,實現類似ACID中的原子性和持久性保證。在高可用方面,通過多副本和分布式一致性 ,確保服務7x24不間斷。安全性上,最新版本 Milvus 引入了Role-Based Access Control (RBAC),支持多租戶和用戶權限管理。這使企業可以在同一集群內安全隔離不同應用的數據。此外,Zilliz Cloud 還通過虛擬私有云、加密存儲等手段,滿足嚴苛的安全合規要求??梢哉f,Zilliz 正將傳統數據庫數十年成熟的“幕后功能”逐步融入向量數據庫,使其真正達到企業生產可用級別。
向量數據庫不會取代誰,但未來的千行百業都會需要它
硅星人:你認為向量數據庫會成為"新一代數據基礎設施"嗎?未來它會逐步取代部分傳統數據庫,還是僅作為 AI 時代的一種補充?
星爵:準確說是互補關系。
不同類型數據庫有各自擅長領域,很難相互完全取代,就像我們不會用圖數據庫去記賬,也不會用關系數據庫做圖像搜索一樣。傳統關系型數據庫在事務處理、強一致性、結構化查詢上仍無可替代,未來企業依然需要它們來管理結構化業務數據。而向量數據庫更像是在原有數據架構旁新增了一條“語義通道”,專門處理非結構化數據的相似性和關聯性查詢。未來企業的IT體系中,傳統數據庫與向量數據庫將協同共存:前者管業務流水,后者管內容語義,兩者通過外鍵或者標識互相引用,共同為AI時代的應用提供全面支持。
硅星人:你如何看待Zilliz在AI生態中的位置?
星爵:Zilliz定位為AI時代的“數據連接器”、AI堆棧不可繞過的數據中間層。無論大模型還是小模型,處理非結構化數據必須經過向量化與檢索。
其中,開源的Milvus服務開發者創新,商業化的zilliz cloud支撐企業關鍵業務。
硅星人:這兩條產品線將如何協同發展?
星爵: 兩者相輔相成。DeepSeek降低大模型落地成本后,越來越多的開發者會首先選擇使用開源的 Milvus 來構建解決方案,而當項目進入生產階段或需要運維支持時,他們會轉向 Zilliz Cloud 的商業服務,尋求可靠的托管支持。
在這個過程中,我們專注于打造一個統一的生態系統,例如提供統一的 SDK 和工具鏈,以確保用戶在使用開源版本或云服務時都能享受到一致的開發體驗。
Milvus社區是這個產品線之間的重要橋梁,幫助我們將創新快速轉化為Zilliz Cloud 的企業功能,同時讓企業的需求更有效地反饋到開源產品中。
硅星人:這種開源用戶的反饋,在你看來,是zilliz的核心護城河之一嗎?
星爵:好的客戶,可以告訴你要去往何方,以及你到底是不是自嗨。
比如近幾年,生物醫藥領域開始廣泛采用向量表示來處理分子結構、蛋白序列等數據。過去傳統數據庫無法語義理解分子相似度,但向量數據庫可將分子結構編碼為向量,實現藥物篩選的高效相似搜索。
我們有個客戶,就用 Milvus 存儲數百萬分子指紋向量以發現結構相似的候選藥物,加速了新藥發現過程。
這一場景下還催生了對二進制向量支持的需求(用于表示分子指紋),也是因此,Zilliz在產品中增加了對二進制嵌入和自定義距離算法的支持,以提升在科研計算場景下的性能。這種反饋積累的多了,就變成了zilliz的隱形know how。
硅星人:今年你還看好向量數據庫在哪些場景爆發?
星爵:首先是AI Agent,現在越來越多企業開發類 ChatGPT 的AI Agent(智能體)用于對話客服、虛擬助手等。這類應用要求智能體能"記住"大量歷史交互和知識庫信息,而LLM自身短暫的上下文長度不足以勝任,相應的,向量數據庫正成為這類Agent的標配記憶大腦。
不過向量數據庫的潛力遠不止問答,而是延展到幾乎所有需要理解非結構化數據的AI應用。也是因此,Zilliz 在產品路線中更加注重通用性和靈活性,增加了 Range Search(自定義相似度閾值檢索)等功能,以適配"不確定結果數量"的查詢場景,滿足不同領域復雜多樣的需求。
比如,關于個性化推薦與多模態搜索,近兩年電商的“猜你喜歡”已經成為標配,該場景需要毫秒級延遲和按需過濾(如按尺碼、價格過濾商品),而且商品數據包含文本描述和圖片等多模態信息。為滿足這些需求,Zilliz Cloud 提供了動態模式(schema)和 JSON 字段支持,將結構化屬性與向量嵌入結合存儲,方便執行精細的屬性過濾;同時 Cardinal 引擎確保了在開啟多重過濾的情況下查詢仍可在10ms內返回結果。
除此之外,金融風控中的異常檢測(尋找最"離群"的向量而非最近鄰)、視頻內容索引、自動駕駛、網絡安全等領域也出現了新穎的向量檢索用例。
而在醫療健康領域,醫院和制藥公司開始利用向量檢索病歷、文獻和分子結構,提高診斷和新藥研發現率。
制造業和物聯網,也開始用海量傳感器數據先轉為向量(如機器聲音頻譜、設備振動信號等),再進行相似模式匹配,實現預測性維護。
總的來說,每一個行業的專業數據(圖像、時序、文本等)都有向量化需求,都將催生專門的向量解決方案市場。
硅星人:作為一家全球化公司,Zilliz 在不同市場(美國、亞太、歐洲等)的增長策略有哪些不同?目前哪個市場增長最快?
星爵:作為全球化公司,我們針對不同市場采取差異化策略。在美國市場,我們強調企業級安全性和與現有AI工具鏈的集成;在歐洲,我們特別關注數據隱私和合規;在亞太地區,我們強調性價比和技術支持。目前美國市場增長最快,特別是在企業SaaS領域。
硅星人:你現在的日常工作節奏是怎樣的?與一年前相比,現在什么問題讓你夜不能寐?
星爵:如今我的日常工作主要圍繞三個方面:戰略布局、高速增長和團隊建設。目前最讓我關注的問題是如何一方面確保開源社區保持活力與創新,另一方面加快商業化步伐,同時在這個競爭越來越白熱化的市場環境中,持續鞏固和強化Zilliz的獨特競爭優勢。
硅星人:希望十年后的你是什么樣子?
星爵:十年之后?希望愿景成真吧。我希望那時候所有人談起AI時代的數據基礎設施,都能想到Zilliz 是其中的佼佼者。我也期望自己能永遠有學習和創新的熱情,不斷擁抱變化,開拓新的領域。無論如何,都能始終保持一個極客的初心:用技術解決最有挑戰的問題。
點個“愛心”,再走吧
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.