AI私有化部署的破局者浮出水面。

作者｜田思奇??

編輯｜王博

AI推理需求的狂飆，從2024年延續到2025年春天。一個更緊迫的命題出現了：如何在保證性能的前提下，系統性降低千億級大模型的部署成本？

在AI Infra賽道，又一家“清華系” 明星公司登臺亮相，帶來了別具一格的破局方案。

「甲子光年」獲悉，趨境科技（Approaching.AI）近日已完成數千萬元天使輪融資，本輪融資由高瓴創投（GL Ventures）、Z基金領投，水木校友種子基金跟投，老股東真知創投繼續追投。

圖片來源：趨境科技

完成融資后，趨境科技將在研發投入上加大力度，加速大模型推理軟硬一體工作站和服務器等產品的迭代升級，同時全力推動更高性能的大模型推理引擎的研發與落地應用，助力更多企業在大模型領域實現落地實踐。

值得一提的是本輪融資的行業背景。今年春節過后，能源、通信、汽車、金融、建筑等多個領域的國央企相繼宣布完成DeepSeek大模型私有化部署。就連英偉達特供中國的“閹割版”AI芯片H20，也因 DeepSeek模型部署需求而翻紅。

不過，「甲子光年」留意到，千億參數模型私有化部署仍困難重重。成本高昂、推理耗時久，中小企業預算壓力巨大，部分企業無奈選用輕量化模型，這在一定程度上犧牲了模型的智能化水平。

也就是說，從 “能用” 到 “好用”，還有很長的路要走。

IDC數據顯示，中國AI算力市場將從2024年的190億美元增長到2028年的552億美元。未來五年，中國推理算力需求年復合增速將達190%。為了進一步幫企業減輕負擔，行業迫切需要高性價比的AI Infra解決方案。

趨境科技這家成立僅一年多的企業，憑借 “以存換算” 和全系統異構協同優化的創新路徑，成功突破了千億參數模型落地過程中的 “成本高企” 與 “性能折損” 雙重困境，成為AI Infra領域備受矚目的新興力量。

那么，它究竟是如何做到的？

1.以存換算與全系統異構協同，釋放推理潛能

清華系團隊是AI Infra賽道的中流砥柱，趨境科技也是其中的佼佼者。該公司成立于2023年底，由真知創投創始人任旭陽、清華大學計算機科學與技術系教授武永衛聯合發起，核心管理團隊，包括CEO艾智遠、首席戰略官陳超、研發負責人陳祥麟，均出身武永衛教授門下，創業前在業內知名企業主導關鍵產品的研發與交付。

清華大學的KVCache.AI團隊，也是趨境科技的長期深度技術合作伙伴。雙方的合作使趨境科技兼具領先的技術創新視角和產品實踐視角。雙方優勢互補，為突破效率、效果、成本所構成的“不可能三角”，提供了新的解決思路和探索方向。

早在去年7月，趨境科技與清華KVCache.AI團隊就前瞻性地提出GPU/CPU的異構協同推理架構，并合作開源 KTransformers項目。借助該項目，僅需單個消費級GPU配合CPU，就能完成數千億規模的高效稀疏大模型推理。

今年2月10日，更新后的KTransformers宣布支持DeepSeek-R1/V3 671B大模型，迅速在國內外社區引發強烈反響，GitHub星標在短短幾天內突破1萬，開發者們紛紛自行復現并發布部署教學視頻。有B站up主的教學視頻發布當天播放量超過20萬，登上全站熱搜榜第一名。

在個人用戶的單并發使用場景下，從開發者復現的數據來看，該更新實際內存占用約380G，顯存占用約14G，一些用戶計算發現，其成本不到7萬元。在開源社區里，甚至還有開發者用5000成本自行搭配硬件，復現了單并發在4-5tokens/s輸出速度的方案。

基于以存換算和全系統異構協同的核心技術，趨境科技近期還推出產品——AI大模型推理軟硬一體工作站，將DeepSeek大模型起步部署門檻降低90%。

工作站面向中低并發場景，單臺塔式機器即可支持DeepSeek 671B參數模型的流暢推理，還支持各主流大模型的推理，最多可同時支持3個大模型的并發服務。該工作站采用液冷散熱與軟硬一體設計，運行安靜無噪，內置AI辦公套件，做到了“開箱即用”，讓中小團隊以較低成本獲得強大的推理能力。

圖片來源：趨境科技

2.趨勢引領，重塑AI Infra價值

通過底層架構創新，趨境科技開創了軟硬協同的 “智算” 新范式。在行業落地過程中，這些創新技術也正在助力企業在大模型領域實現更多可能性，推動行業朝著更高效、更智能的方向發展。

目前，趨境科技的推理工作站已在政務、金融、法律等領域逐步落地應用，同時與領軍安全企業長亭科技、中國信創云先行者中國電子云等廠商建立了戰略合作關系。

「甲子光年」注意到，趨境科技的技術突破揭示了AI Infra領域的三大趨勢，為行業提供了新的發展范式。

首先，是從 “訓練自由” 走向 “推理自由”。隨著Scaling Law向推理階段轉移，算力基建需要從GPU單點優化轉向全系統協同。以往算力運用較為分散，而趨境科技的架構將這些算力整合起來，形成高效協同的 “作戰部隊”。通過 “以存換算” 技術，趨境科技將存力轉化為算力補充，降低對算力的過度依賴。

第二，助力國產算力生態發展。面對國產GPU性能與英偉達存在差距的現狀，趨境科技另辟蹊徑，通過異構協同優化技術，降低了對高端硬件的依賴。它將CPU、GPU等算力緊密整合，讓全系統異構設備實現高效聯動，成功突破了顯存容量的限制，充分釋放了全系統的存力和算力。這不僅推動了國產算力生態的發展，還大幅降低了大模型的落地成本。

同時，在趨境科技的助力下，企業在垂直領域實現 “輕量化” 部署成為可能。在中低并發場景下，企業無需再耗費巨資自建百萬級集群，能夠以更低的成本和更快的速度完成大模型的私有化部署。對于成本預算有限、急切期望將大模型應用于實際業務的企業而言，是極具價值的高效解決方案，也是實現數字化轉型的一條捷徑。

對于正在探索大模型落地的企業而言，與其在算力軍備競賽中苦苦掙扎，不妨也將目光聚焦于如何以更低成本、更高效率地釋放模型潛力。

在算力基礎設施重心從訓練轉向推理的趨勢下，趨境科技以 “技術 + 場景” 雙輪驅動，用技術創新詮釋了AI Infra的 “新基建” 價值。也為行業發展提供了可借鑒的思路。

正如該公司所言，AI民主化不是降低智力標準，而是重構技術邊界，讓每個勇于創新的團隊，都能平等獲取這個時代最頂尖的AI生產力。

（封面圖和文中未說明圖片由AI生成）