作者 | Tina

2014 年，伴隨全球科技公司涌現的“微服務化”浪潮，API 網關作為系統拆分的“守門人”（Facade Pattern）應運而生。它從最初簡單的請求路由，逐步發展到處理身份驗證、授權和速率限制等關鍵任務，如今更成為實時數據與 AI 模型交互的核心樞紐。這一演變歷程，映照出傳統技術架構從服務拆分走向大模型時代的深層邏輯。

我們所認知的 AI 和大模型，實際上背后都是由無數的 API 所驅動的。正如當 Kong 公司中國區負責人戴冠蘭在采訪中所說：“No AI without API”。大模型每一次智能應答、圖像生成乃至決策推理，本質上都是無數 API 的精密協作，大模型技術的快速發展將帶來 API 的指數級增長。

在 InfoQ 的專訪中，戴冠蘭回顧了 Kong 網關從 2015 年開源項目到如今演變為 API 和 AI 混合網關的歷程。現在，通過 Kong AI 網關 (AI Gateway)，我們能夠屏蔽不同大語言模型（LLM）提供商之間的差異，為用戶 / 客戶端提供統一的 API 接口。此外，由于所有的請求和響應都經過 Kong AI 網關，這使得在其中實現可觀測性、認證授權以及重試等治理能力變得非常便捷。未來，Kong AI 網關將持續集成與 AI 相關的核心能力，全面支持包括 MCP 協議、Google A2A 標準在內的新興技術體系。

采訪嘉賓簡介

戴冠蘭，現任 Kong 中國區總裁，并兼任全球網關核心研發總監，全面負責 Kong Gateway、服務網格等核心產品的研發戰略與全球技術布局。在加入 Kong 之前，戴冠蘭曾在 Cloudflare 擔任邊緣計算、Web 應用防火墻（WAF）和內容分發網絡（CDN）等關鍵技術的負責人，領導團隊處理每日超過萬億級別的請求，積累了豐富的大規模分布式系統的架構與運營經驗。

他擁有美國東北大學計算機科學碩士學位，具備堅實的技術背景和國際化視野。清華大學五道口金融學院、紀源資本創投研修班 OMEGA 項目的優秀學員。

2021 年主導成立 Kong 亞太區研發中心，從 0 到 1 搭建團隊，覆蓋多條產品線，如 API 網關、服務網格等。中國區研發團隊貢獻了超過半數的核心研發成果，顯著提升了 Kong 應對高并發、復雜流量場景的技術能力。推動 Kong 從單一 API 網關（Kong Gateway）擴展至全生命周期微服務管理平臺，形成“全家桶”式產品生態（如 Kong Mesh、Konnect 云服務等），支持企業在多云環境下的高效 API 管理。他在開源商業化、全球化產品戰略、AI 網關演進等方面具有深刻見解，致力于將 Kong 打造成全球領先的 API 管理平臺。

從微服務到大模型時代網關的演進

InfoQ：網關技術產生于微服務時代，那么它本身是如何隨著時間的推移而發展的？

戴冠蘭：API 網關技術經歷了從支持微服務架構到適應 AI 應用的演進。以下是 Kong 在不同階段的關鍵發展：

1. 微服務時代的起點（2015 年）：隨著企業從單體架構轉向微服務，Kong 于 2015 年推出了開源 API 網關，提供統一的流量入口、身份驗證、限流和監控等功能，幫助企業順利過渡到微服務架構。

2. 服務網格與 Serverless 的融合（2019 年）：微服務數量的增加帶來了服務間通信的復雜性。為此，Kong 推出了 Kuma 服務網格，并在企業級產品中集成為 Kong Mesh，增強了服務間的通信管理和安全性。同時，Kong 還支持 Serverless 架構，適應了無服務器計算的需求。

3. 云原生控制平臺的構建（2020 年）：為了統一管理南北向和東西向流量，Kong 推出了 Kong Konnect 云原生控制平臺，提供統一的可視化管理、策略控制和數據洞察，提升了微服務治理的效率。

4. AI 網關的引入（2023 年）：面對生成式 AI 的興起，Kong 于 2023 年推出了 AI 網關，支持多種大語言模型（LLMs）的集成，提供無代碼插件、語義緩存、提示詞防火墻等功能，幫助企業安全、高效地部署 AI 應用。

5. 持續的創新與發展（2024 年）：Kong 在 2024 年發布了 AI 網關 v3.8 版本，進一步增強了智能語義能力，引入了語義緩存、語義路由和語義提示詞防護等功能，提升了 AI 應用的性能、安全性和用戶體驗。

InfoQ：當網關用于基于 AI 的交互時，它與我們傳統的微服務程序交互有什么不同？

戴冠蘭：當 API 網關用于 AI 驅動的交互場景時，其與傳統微服務架構下的差異體現在計量方式、數據流處理和性能要求等方面：

1. 計量單位的轉變：在傳統微服務架構中，API 網關通常按請求次數進行計費和監控。然而，在 AI 應用中，尤其是涉及大型語言模型（如 OpenAI 的 GPT 系列）的場景中，計費和資源消耗的關鍵指標轉向了“token”（標記）。每個請求的成本和資源使用量取決于輸入和輸出的 token 數量，而非僅僅是請求的次數。這種轉變要求網關具備對 token 使用量的精確統計和控制能力，以實現成本管理和資源優化。

2. 數據流處理方式的變化：AI 應用，特別是生成式模型的交互，常常采用流式（streaming）響應方式，以提升用戶體驗。這意味著網關需要支持實時的數據流處理，能夠在接收到部分響應數據時立即轉發給客戶端，而不是等待完整響應生成后再進行轉發。這種處理方式對網關的并發處理能力和數據傳輸效率提出了更高要求。

3. 性能和穩定性的挑戰：AI 模型的推理過程通常計算密集，響應時間可能較長，且對系統資源的消耗較大。網關在處理此類請求時，必須具備高并發處理能力和穩定性，以防止因單個請求的延遲或失敗影響整體系統的性能。此外，網關還需具備智能的流量控制和異常檢測機制，以應對可能的請求激增或異常行為。

4. 安全性和合規性的增強需求：AI 應用可能涉及敏感數據的處理和傳輸，網關需要提供更強的安全控制措施，如細粒度的訪問控制、數據加密、敏感信息過濾等。同時，為滿足不同行業的合規要求，網關應支持多種認證和審計機制，確保數據處理過程的可追溯性和合規性。

總的來說，AI 驅動的應用對 API 網關提出了新的挑戰和要求，涉及計費方式的轉變、數據流處理的復雜性、系統性能的提升以及安全合規性的加強。為應對這些挑戰，API 網關需要不斷演進，集成更多智能化和自動化的功能，以適應 AI 時代的需求。

AI 網關：大模型時代的工程化中樞

InfoQ: Kong 在 AI/LLM 網關場景中通常會遇到哪些客戶需求？

戴冠蘭：最為常見的需求是多 LLM provider 代理，當企業計劃將 LLM 應用上線到生產環境時，一定是需要有 backup 的，這時候，很自然的就是當某一個 LLM provider 不可用的時候，能否在不做任何調整的時候，通過 Kong AI 網關繼續將請求自動的轉移到其他可用的 LLM provider。

其次就是基于 Token 的 ratelimit，這對于企業 LLM 應用控制成本等方面也是極其重要的。

當然除了這些，還有一些其他的，比如能否進行自動的 RAG，能否在 Kong AI 網關的層面進行 cache 以節約成本，以及是否可以通過 Kong AI 網關進行一些特定內容信息的過濾等。

InfoQ: 有很多工程師對 LLM 時代的網關會有疑問，比如“我為什么需要一個網關？我直接調用 API 就好了。”你如何解答這個問題？

戴冠蘭：正如前面提到的，通過 Kong AI 網關主要完成的是對于 LLM 請求的治理，這其中不只是包括對多個 LLM provider 的 fallback，也包括認證授權等能力。很多 LLM provider 其實會限制用戶可創建的認證密鑰的數量，而大多數情況下，我們希望可以知道我的 token 到底消耗在了哪里，是哪個應用發起的，在什么時間，消耗了多少。

通過 Kong AI 網關就很容易做到這些了，將 LLM provider 的認證密鑰進行中心化管理，然后為不同的用戶 / 應用創建各自的獨立的認證密鑰，這樣可以避免密鑰泄露的風險。借助于 Kong AI 網關強大的可觀測能力，還可以了解到這些用戶 / 應用的 Token 消耗情況等，這樣就會很方便。

此外，集成 Kong AI 網關的另一大優勢就是不需要自己額外開發重復的邏輯，將這些基礎能力都下沉到 Kong AI 網關中，開發者只需要專注于自己的業務邏輯即可。

InfoQ: 對于使用多個 LLM 提供商的企業，會有哪些技術挑戰，Kong 是如何解決這些挑戰的？

戴冠蘭：首先是如何保障始終有可用的 LLM provider。Kong AI 網關通過實現多種重試和負載均衡策略，在保障可用性的同時，兼顧了企業復雜場景下的多樣化需求，確保始終有可用的 LLM provider 提供服務。

其次，不同的 LLM provider 或者是不同的 LLM 盡管大體遵循統一的 API 接口格式，但也會有一些差異存在，通過使用 Kong AI 網關，我們在網關側屏蔽了這些差異，用戶可以使用無差別的統一接口進行連接，身份認證，以及通過 Kong AI 網關完成可觀測性相關的需求。

InfoQ: 典型的 LLM 網關應該具備哪些關鍵功能？ 這些功能在企業的 AI 工程中能帶來哪些具體優勢？

戴冠蘭：既然叫作 AI 網關， 最典型的能力自然是連接不同的 LLM provider，其次也包含對密鑰的中心化管理，分發給用戶不同的虛擬密鑰，以便實施不同的控制策略。

這樣的功能，可以避免密鑰的泄露，同時又可以根據企業的不同策略，來進行精準的控制。

還有，比如說基于 Prompt 對內容進行過濾的功能。對于企業而言，避免敏感數據泄露是很關鍵的，當然，另一方面是要避免企業 AI 應用返回“有害信息”，通過在 AI 網關上進行基于 Prompt 的內容過濾，就可以有效的保護數據安全，也可以避免影響企業形象或者避免一些安全合規問題。

InfoQ: 另外，網關是否會引入額外的延遲？如何保證網關既可靠又非常快速？

戴冠蘭：由于在整體的鏈路上多了一層，自然會引入一些額外的延遲。

Kong AI 網關主要做了兩方面的優化：一個是 Kong 本身就在持續的優化自身的性能，致力于打造高性能的網關；另一方面是 Kong AI 網關引入了語義化緩存的能力，通過 cache 來提升整體的性能，并降低 token 的消耗。

InfoQ: 舉例來說，如果一個企業使用了 M 個大模型，以及有 N 個用戶，同時會不同的任務指向不同的 LLM，那么這種情況下，其復雜性在哪里，Kong 如何簡化其開發和管理工作？

戴冠蘭：正如前面所說，這里的復雜性主要就是 LLM 治理和策略如何實施了。Kong AI 網關提供了多種不同的配置策略，同時 Kong AI 網關也支持多樣的 plugin 進行擴展，這樣就可以靈活的滿足企業多樣化的需求。

InfoQ: Kong 提供了哪些機制來確保與外部 AI 服務交互的安全性和效率？

戴冠蘭：提到安全性，首先就是密鑰管理的安全性，Kong AI 網關允許進行密鑰的中心化控制，這樣可以使用不同的虛擬密鑰分發給不同的用戶 /client，一次來確保其密鑰的安全性。當然 Kong AI 網關也支持多種不同的認證策略，可以使用不同的認證策略來完成認證。

此外就是 Kong AI 網關提供的限流策略，無論是基于請求，還是基于 token 的，都可以很好的包括后端實際的 LLM provider，避免因為過量的請求導致 LLM provider 的性能或者安全問題。

InfoQ: 如今大模型爬蟲給各網站帶來了很大的負荷，防范機制經常失效，那么網關層面可以如何解決這個問題？實現原理是什么？

戴冠蘭：對于 Kong AI 網關而言，由于我們已經在網關領域積累了很多經驗，更多的還是基于原有的經驗提供多種校驗和限制策略。無論是基于用戶身份，請求來源，或者是基于請求等要素，Kong AI 網關都有相關的 plugin 可以滿足對應的需求。

同時 Kong AI 網關也有基于 token 的限流限速插件，當然 Kong 也有類似 Bot Detection 之類的 Plugin，我們維護了一套規則集合，同時也允許用戶對該規則進行擴展，以此來防范一些爬蟲的大量抓取請求。

當然，網絡的攻防本就是此消彼長的一個過程，有時候我們也需要借助一些其他的手段才能更好的進行攔截，所以 Kong 也有很多合作方，同時 Kong 也有很好的擴展能力，這樣就可以更加靈活的來滿足客戶的具體需求了。

InfoQ: AI 工程通常涉及大量 API 調用，Kong 是否支持動態限流和訪問控制？這些功能如何幫助企業優化 API 使用？

戴冠蘭：是的，Kong AI 網關支持動態的限流限速和訪問控制。比如通過使用 Kong AI 網關的訪問控制能力，用戶可以為不同的應用分配各自專有的密鑰，并將限流能力附加到這些專有密鑰上，通過 Kong AI 網關提供的可觀測能力，企業就可以更好的了解到不同的應用對于 LLM token 的消耗情況，當然可觀測性也不僅僅是針對 LLM 而言的，對于一般的 API 請求， Kong 同樣也提供了完備的可觀測能力，讓企業可以對這些 API 的調用情況有非常直觀的了解，進而進行相對應的控制和處理。

InfoQ: Kong 如何幫助企業優化 LLM API 的調用成本和提升性能？你認為通過網關來管理 API 調用能夠為企業節省多少成本？

戴冠蘭：Kong AI 網關主要通過保護企業免受密鑰泄露，或者超量調用等方面來盡可能的避免企業遭受損失。并且通過提供語義化緩存和可觀測性來優化成本提升性能。

此外，由于通過 Kong AI 網關屏蔽了不同 LLM provider 的差異性，使得企業在開發 LLM 應用的過程中可以節約時間提升效率，以此來幫助企業節省成本。

InfoQ: Kong 產品在支持 LLM/AI 應用方面還有哪些特別的設計或新能力？這些功能的演進邏輯是什么？

戴冠蘭：我來介紹一個我們的最新功能， AutoRAG 這個功能可以減少 LLM 幻覺，并且可以提升開發者的體驗。通過 Kong AI 網關的 AutoRAG ，企業客戶可以直接將自己的內容信息交給 Kong AI 網關處理，以此來自動的構建一個 RAG 應用，整體流程相比于使用 Kong AI 網關之前，會簡化很多，能大大提升效率。

Kong AI Gateay 功能的整體演進邏輯，一方面來自于我們的全球客戶，不同行業的客戶會有不同的需求，我們需要持續滿足用戶的需求。另一方面來自于我們強力的產品和工程團隊，我們可以積極的發現和了解技術趨勢，并且將其轉換為真正的產品功能。

Kong 的發展和未來展望

InfoQ：Kong 從最初專注 API 網關起步，如今在 AI 工程領域有哪些新的布局和投入？

戴冠蘭：Kong 自成立以來一直專注于 API 管理領域，AI 時代下，盡管和之前存在一些差異，但終究還是 以 API 作為核心。隨著 AI 技術的迅猛發展，我們順勢推出了 Kong AI 網關，旨在為 AI 應用提供強大的基礎設施支持。

Kong AI 網關的核心優勢：

1. 多模型支持與無代碼集成：Kong AI 網關支持多種大型語言模型（LLM），包括 OpenAI、Anthropic、Cohere、Mistral 和 LLaMA 等。通過無代碼插件，開發者可以輕松集成這些模型，加速 AI 功能的部署。

2. 高級提示工程與安全控制：我們提供了豐富的插件，如 AI 提示模板、提示裝飾器和提示詞防火墻，幫助開發者構建更安全、可控的 AI 應用，確保提示的合規性和一致性。

3. 精細化資源管理：引入基于 token 的限流機制，使企業能夠更精確地管理和控制 AI 請求的資源消耗，優化成本結構。

4. 流式響應與動態路由：支持流式數據傳輸，提升用戶交互體驗；同時，基于 URL 的動態模型選擇功能，使得在不同場景下靈活調用合適的模型成為可能。

5. 與現有工具的無縫集成：Kong AI 網關與 OpenAI SDK 完全兼容，開發者可以無需修改現有代碼，直接接入多種 LLM，簡化了遷移和集成過程。

通過 Kong AI 網關，我們致力于為企業提供一個穩定、高效、安全的 AI 應用基礎設施，助力客戶在 AI 時代實現更快的創新和增長。

InfoQ：在你看來，Kong 在未來 AI 基礎設施棧中最具戰略意義的產品或能力是什么？為什么？

戴冠蘭：我們將與 AI 相關的核心能力高度集成在 Kong AI 網關中。無論是當前熱門的 MCP 協議，還是 Google 推出的 A2A 標準，都將在這一平臺上得到全面支持和體現。

很難定義哪一項能力最具戰略意義，一方面是因為 AI 技術迭代極快，新標準和新需求層出不窮；另一方面，不同行業和企業的 AI 應用場景高度多樣化，對能力的側重也有所不同。

因此，與其強調某一個具體功能，我們更看重的是 Kong AI 網關提供的可擴展性、開放性與演進能力 —— 這是在一個高速演變、標準未定的領域中，真正具備長期戰略價值的能力。

InfoQ：Kong 網關在中國市場的應用情況如何？有沒有一些本地化調整？

戴冠蘭：Kong 在中國市場的應用呈現出強勁的增長勢頭，尤其是在開源社區的推動下，已成為眾多企業的技術基石。根據 Kong 官方數據，其全球開源社區用戶超過 16 萬人，覆蓋 46 個國家的 80 個用戶組。在中國，Kong 社區的活躍度位居全球第二，顯示出其在本地開發者中的廣泛認可。

Kong 與本地云服務提供商和技術合作伙伴建立了緊密的合作關系，共同推動產品在中國市場的應用和發展。針對中國市場的特殊需求，在出海和國際公司在國內落地的場景，Kong 持續優化產品功能，增強對這些場景的支持。

InfoQ：如何看待 AI 網關的未來發展，有哪些計劃來增強其在 AI 時代的競爭力？

戴冠蘭：AI 網關正迅速成為大模型（LLM）和生成式 AI 系統中的關鍵基礎設施。它不僅統一了流量入口，還在安全、合規、性能和可觀察性方面提供了核心能力。Kong 正在積極推動這一演進，致力于打造一個高性能、可擴展且面向未來的 AI 網關平臺。

增強競爭力的計劃：

• 持續擴展模型支持：Kong 將根據用戶需求，持續增加對更多 LLM 的支持，包括最新的 Claude 3.7 等，確保平臺的前瞻性和兼容性。

• 更多語義智能驅動的功能：在 3.8 版本中，Kong 引入了語義緩存（Semantic Caching）和語義路由（Semantic Routing）等功能。這些功能通過理解用戶請求的語義含義，實現更高效的響應和更智能的模型選擇，提升了 AI 應用的性能和用戶體驗

• 優化開發者體驗：推出如 Insomnia AI Runner 等工具，簡化 AI 應用的開發、測試和部署流程，降低技術門檻，提升開發效率。

• 強化生態系統建設：通過開源社區的推動和與本地合作伙伴的協作，Kong 致力于構建一個開放、協同的 AI 網關生態系統，促進技術創新和應用落地。

AICon 2025 強勢來襲，5 月上海站、6 月北京站，雙城聯動，全覽 AI 技術前沿和行業落地。大會聚焦技術與應用深度融合，匯聚 AI Agent、多模態、場景應用、大模型架構創新、智能數據基建、AI 產品設計和出海策略等話題。即刻掃碼購票，一同探索 AI 應用邊界！