3 月 27 日，阿里云消息隊(duì)列 ApsaraMQ 與數(shù)據(jù)流平臺(tái)開(kāi)創(chuàng)者 Confluent 聯(lián)合舉辦“云原生 Kafka 線上沙龍”，在阿里云與 CSDN 相關(guān)平臺(tái)同步直播（查看回放：
https://live.csdn.net/room/programmer_editor/C0mn93Ug），重磅發(fā)布云原生 Kafka 10x 降本與 10x 無(wú)損彈性規(guī)格，深度解析 Confluent 亞太獨(dú)家合作版方案與實(shí)踐。旨在助力企業(yè)深入了解和高效使用經(jīng)濟(jì)、穩(wěn)定、彈性的云原生 Kafka 產(chǎn)品方案，在數(shù)字化與智能化轉(zhuǎn)型中實(shí)現(xiàn)業(yè)務(wù)的穩(wěn)定增長(zhǎng)與創(chuàng)新突破。

云消息隊(duì)列 Kafka 版是基于 Apache Kafka 構(gòu)建的高吞吐、高可擴(kuò)展的分布式消息隊(duì)列服務(wù)，廣泛應(yīng)用于日志收集、監(jiān)控?cái)?shù)據(jù)聚合、流式數(shù)據(jù)處理及在離線分析等場(chǎng)景，是 AI 與大數(shù)據(jù)時(shí)代企業(yè)數(shù)據(jù)處理的核心組件。其 Serverless 系列圍繞“經(jīng)濟(jì)、穩(wěn)定、彈性”三大核心方向，基于阿里云基礎(chǔ)設(shè)施深度重構(gòu) Apache Kafka，通過(guò)存算分離架構(gòu)等創(chuàng)新升級(jí)，構(gòu)建端到端競(jìng)爭(zhēng)力，實(shí)現(xiàn)彈性降本、穩(wěn)定可靠和高吞吐低延時(shí)等顯著優(yōu)勢(shì)。同時(shí)，阿里云作為 Confluent 在中國(guó)大陸地區(qū)唯一的合作商，推出云消息隊(duì)列 Confluent 版，為企業(yè)提供集成消息流式處理與大數(shù)據(jù)系統(tǒng)的一站式解決方案。

Kafka Serverless 新規(guī)格：10 倍降本、10 倍無(wú)損彈性

1、精準(zhǔn)選型，技術(shù)降本

云消息隊(duì)列 Kafka 版 Serverless 系列基礎(chǔ)版與專(zhuān)業(yè)版，與現(xiàn)有標(biāo)準(zhǔn)版共同構(gòu)建分層規(guī)格體系，精準(zhǔn)適配企業(yè)多樣化業(yè)務(wù)需求：

• 基礎(chǔ)版[new]SLA 99.5%，采用更大比例的低成本資源（包括 HDD、OSS、Spot 實(shí)例等），適合測(cè)試或流量穩(wěn)定的業(yè)務(wù)場(chǎng)景。
• 標(biāo)準(zhǔn)版：SLA 99.95%，2 倍無(wú)損彈性，兼顧性能與穩(wěn)定性，推薦用于生產(chǎn)環(huán)境。
• 專(zhuān)業(yè)版[new]SLA 99.99%，3AZ 環(huán)境容災(zāi)，RTO=數(shù)秒，RPO=0，10 倍無(wú)損彈性，是企業(yè)級(jí)場(chǎng)景的推薦版本。

以搭建一個(gè)吞吐量 1200MB/s，讀寫(xiě)比 1:1，SSD 云盤(pán)三副本的 Kafka 集群為例，云消息隊(duì)列 Kafka 版 Serverless 系列相比自建顯著降低成本：基礎(chǔ)版約降低90%，標(biāo)準(zhǔn)版約降低75%，專(zhuān)業(yè)版約降低60%。

2、架構(gòu)升級(jí)，超越開(kāi)源

云消息隊(duì)列 Kafka 版 Serverless 系列通過(guò)架構(gòu)升級(jí)實(shí)現(xiàn)以下核心特性，較開(kāi)源 Apache Kafka 具備顯著優(yōu)勢(shì)。

• 強(qiáng)兼容性：100% 協(xié)議兼容，廣泛適配開(kāi)源 Apache Kafka 生態(tài)工具與組件。
• 高吞吐：基于 盤(pán)古 DFS 跨數(shù)據(jù)中心容災(zāi)和單存儲(chǔ)節(jié)點(diǎn) 200 Gbps IOPS，讀寫(xiě)吞吐橫向擴(kuò)展，數(shù)據(jù)可靠性達(dá) 12個(gè)9，可用性高達(dá) 5個(gè)9。
• 低延時(shí)：存儲(chǔ)層通過(guò)用戶(hù)態(tài)協(xié)議棧、閃存介質(zhì)和高性能 RDMA 網(wǎng)絡(luò)，實(shí)現(xiàn)百微秒級(jí)平均延遲，毫秒級(jí)長(zhǎng)尾延遲。計(jì)算層，針對(duì)平均延遲，通過(guò)無(wú)復(fù)制流量充分降低網(wǎng)絡(luò)吞吐以避免擁塞；針對(duì)長(zhǎng)尾延遲，采用新一代分代無(wú)暫停 GC 和基于 eRDMA 的共享內(nèi)存，實(shí)現(xiàn)高性能內(nèi)核網(wǎng)絡(luò)協(xié)議棧，實(shí)現(xiàn)最高約 30% 時(shí)延減少和 5% CPU 資源節(jié)省。
• 高可用：采用輕量且安全的 HA 機(jī)制代替開(kāi)源傳統(tǒng)的 ISR 復(fù)制，支持跨 K8s 集群、跨可用區(qū)、跨 Region 的容災(zāi)能力，確保在 K8s 集群級(jí)和 AZ 級(jí)故障時(shí)，仍具備極高可用保障。
• 秒級(jí)彈性：通過(guò)存算分離架構(gòu)實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)無(wú)狀態(tài)，結(jié)合輕量級(jí) HA 機(jī)制保障秒級(jí)故障恢復(fù)，實(shí)現(xiàn)資源的秒級(jí)彈性。
• 低成本：采用按量付費(fèi)的計(jì)費(fèi)模型，結(jié)合資源彈性與存儲(chǔ)優(yōu)化技術(shù)，顯著降低使用成本。

3、規(guī)模化驗(yàn)證，多行業(yè)實(shí)踐

云消息隊(duì)列 Kafka 版 Serverless 系列經(jīng)互聯(lián)網(wǎng)、金融、汽車(chē)、制造等多行業(yè)實(shí)踐驗(yàn)證，充分彰顯其應(yīng)用價(jià)值。

• 曹操出行借助 ApsaraMQ for Kafka Serverless 提升效率，成本節(jié)省超 20%

隨著業(yè)務(wù)規(guī)模不斷擴(kuò)大，曹操出行面臨兩大核心挑戰(zhàn)：業(yè)務(wù)流量顯著波動(dòng)，突增流量對(duì)技術(shù)架構(gòu)造成壓力；數(shù)據(jù)來(lái)源廣泛且需要被采集、緩存及分發(fā)至不同數(shù)據(jù)系統(tǒng)處理。借助云消息隊(duì)列 Kafka 版 Serverless 系列秒級(jí)彈性擴(kuò)展和按量付費(fèi)等優(yōu)勢(shì)，實(shí)現(xiàn)技術(shù)架構(gòu)敏捷響應(yīng)，保障服務(wù)穩(wěn)定性，實(shí)現(xiàn)資源利用率優(yōu)化，節(jié)省成本超過(guò) 20%。

• 道旅科技借助云消息隊(duì)列 Kafka 版加速旅游大數(shù)據(jù)創(chuàng)新發(fā)展

道旅科技采用云消息隊(duì)列 Kafka 版 Serverless 系列作為實(shí)時(shí)流處理核心組件，滿(mǎn)足實(shí)時(shí)數(shù)據(jù)收集、傳輸及高并發(fā)消息處理需求。依托持久化與副本機(jī)制，確保數(shù)據(jù)可靠性及業(yè)務(wù)連續(xù)性，高負(fù)載場(chǎng)景下仍可穩(wěn)定傳輸消息，避免數(shù)據(jù)丟失，維護(hù)數(shù)據(jù)完整；基于存算分離架構(gòu)和動(dòng)態(tài)資源調(diào)整策略，實(shí)現(xiàn)業(yè)務(wù)負(fù)載自動(dòng)彈性伸縮，按量付費(fèi)模式無(wú)需預(yù)估和配置實(shí)例規(guī)格，顯著降低了運(yùn)維復(fù)雜度和使用成本。

ApsaraMQ for Confluent：企業(yè)級(jí)核心數(shù)據(jù)流處理平臺(tái)

1、強(qiáng)強(qiáng)聯(lián)合的產(chǎn)品方案

2021 年，阿里云與數(shù)據(jù)流平臺(tái)開(kāi)創(chuàng)者 Confluent 公司建立合作關(guān)系，在云市場(chǎng)聯(lián)合發(fā)布數(shù)據(jù)流服務(wù)。

2023 年，Confluent 升級(jí)為阿里云戰(zhàn)略合作伙伴，阿里云成為 Confluent 中國(guó)大陸地區(qū)唯一合作云廠商，聯(lián)合聚焦亞太市場(chǎng)，共同構(gòu)建更全面的 Kafka 消息流解決方案。

2024 年，阿里云與 Confluent 攜手發(fā)布云消息隊(duì)列 Confluent 版（ApsaraMQ for Confluent），為企業(yè)提供集成消息流式處理與大數(shù)據(jù)系統(tǒng)的一站式解決方案及專(zhuān)業(yè)化服務(wù)。

Confluent 服務(wù)于全球 5800+ 客戶(hù)，覆蓋各行業(yè)頭部企業(yè)。其核心始創(chuàng)團(tuán)隊(duì)為開(kāi)源 Apache Kafka? 的創(chuàng)造者，為項(xiàng)目貢獻(xiàn)了 70% 到 80% 代碼，并擁有超百萬(wàn)小時(shí) Kafka 技術(shù)經(jīng)驗(yàn)。

云消息隊(duì)列 Confluent 版（ApsaraMQ for Confluent）是阿里云基于 Confluent Platform 提供的全托管 SaaS 服務(wù)，開(kāi)箱即用，靈活彈性，具備 SLA 保障，支持無(wú)縫遷移，大幅降低遷移成本和技術(shù)風(fēng)險(xiǎn)，由阿里云與 Confluent 共同提供專(zhuān)業(yè)咨詢(xún)和技術(shù)支持。

產(chǎn)品核心能力涵蓋 Self-Balancing 等企業(yè)級(jí)特性，120+ 全托管 Connector 簡(jiǎn)化數(shù)據(jù)流入流出，支持輕量級(jí) SQL 實(shí)現(xiàn)實(shí)時(shí)流處理，具備行業(yè)領(lǐng)先的數(shù)據(jù)治理及版本兼容。其技術(shù)架構(gòu)深度融合開(kāi)源生態(tài)與云原生優(yōu)勢(shì)，為企業(yè)構(gòu)建實(shí)時(shí)數(shù)據(jù)流基礎(chǔ)設(shè)施，提供標(biāo)準(zhǔn)化、一站式的解決方案。

2、全球領(lǐng)先的技術(shù)優(yōu)勢(shì)

• 穩(wěn)定性和性能：ApsaraMQ for Confluent 提供完全自動(dòng)化的再平衡，避免人為錯(cuò)誤的風(fēng)險(xiǎn)；支持即時(shí)彈性伸縮，輕松應(yīng)對(duì)業(yè)務(wù)負(fù)載波動(dòng)；通過(guò)分層存儲(chǔ)架構(gòu)實(shí)現(xiàn)海量數(shù)據(jù)的彈性管理，存儲(chǔ)資源無(wú)限伸縮，無(wú)需新增代理節(jié)點(diǎn)，僅需配置熱存儲(chǔ)層容量，系統(tǒng)即自動(dòng)完成數(shù)據(jù)分層存儲(chǔ)與調(diào)度，無(wú)需修改代碼或額外開(kāi)發(fā)，顯著降低存儲(chǔ)擴(kuò)展的復(fù)雜度和存儲(chǔ)成本，同時(shí)確保業(yè)務(wù)連續(xù)性。

• 容災(zāi)：ApsaraMQ for Confluent 提供多種部署模式，包括單地域集群（默認(rèn)模式，跨可用區(qū)災(zāi)難恢復(fù)），雙地域雙集群（可選主從或雙主，Cluster Linking 跨地域數(shù)據(jù)同步）和跨地域擴(kuò)展集群（以單一邏輯集群簡(jiǎn)化多地域部署管理，無(wú)數(shù)據(jù)丟失的跨地域容災(zāi)，RPO 等于零，故障時(shí)可自動(dòng)恢復(fù)）。此外，通過(guò)自動(dòng)觀察者升級(jí) AOP 支持自動(dòng)恢復(fù)和 Min ISR，避免對(duì)單應(yīng)用開(kāi)發(fā)復(fù)雜的故障轉(zhuǎn)移邏輯，減少在災(zāi)難恢復(fù)規(guī)劃上花費(fèi)的時(shí)間。

• 集成和流處理：ApsaraMQ for Confluent 提供超過(guò) 120 個(gè)預(yù)構(gòu)建 Connector，通過(guò)簡(jiǎn)單配置即可實(shí)現(xiàn)零開(kāi)發(fā)運(yùn)維的數(shù)據(jù)集成，覆蓋各類(lèi)數(shù)據(jù)源，企業(yè)可快速將業(yè)務(wù)所需數(shù)據(jù)接入 Kafka 平臺(tái)，通過(guò)自動(dòng)化、智能化的流程把數(shù)據(jù)分發(fā)到目標(biāo)系統(tǒng)完成轉(zhuǎn)換與集成，實(shí)現(xiàn)業(yè)務(wù)需求的敏捷響應(yīng)。既支持 Java，Python，NodeJS，.Net等主流語(yǔ)言的客戶(hù)端，也支持僅用少量 SQL 語(yǔ)句即可構(gòu)建實(shí)時(shí)應(yīng)用，顯著提升開(kāi)發(fā)效率。此外，其 REST 代理可將應(yīng)用程序與常用數(shù)據(jù)源快速、無(wú)縫地連接到 Kafka 集群，提高整體架構(gòu)的靈活性與擴(kuò)展性。

• 安全、合規(guī)和管制：ApsaraMQ for Confluent 在認(rèn)證、授權(quán)、加密及審計(jì)方面，提供全面的安全保障。認(rèn)證方面，支持 OAuth 單點(diǎn)登錄實(shí)現(xiàn)統(tǒng)一身份驗(yàn)證；授權(quán)方面，支持基于角色（含預(yù)定義與自定義）對(duì)關(guān)鍵資源（Kafka 集群、Connector、模式注冊(cè)表、Rest 代理和控制中心等）的統(tǒng)一授權(quán)管理和細(xì)粒度訪問(wèn)控制；審計(jì)方面，覆蓋業(yè)務(wù)操作與管理行為；數(shù)據(jù)管制方面，提供模式注冊(cè)表和數(shù)據(jù)合同，若數(shù)據(jù)不符合預(yù)注冊(cè)模式則無(wú)法寫(xiě)入 Kafka Topic，還提供模式變更凈化政策，若不符合凈化政策會(huì)拒絕模式更改。數(shù)據(jù)合同還支持無(wú)代碼驗(yàn)證多源數(shù)據(jù)，提高數(shù)據(jù)之間的兼容性。

3、全球化與智能化場(chǎng)景最佳實(shí)踐

• 跨國(guó)業(yè)務(wù)場(chǎng)景 —— BMW 案例

寶馬集團(tuán)成立于 1916 年，在 15 個(gè)國(guó)家/地區(qū)經(jīng)營(yíng)著 31 家工廠，全球銷(xiāo)售網(wǎng)絡(luò)覆蓋 140 個(gè)國(guó)家/地區(qū)。其智能制造與業(yè)務(wù)運(yùn)營(yíng)依賴(lài)海量實(shí)時(shí) IoT 數(shù)據(jù)（如機(jī)器溫度、設(shè)備性能、裝配線零件位置），需要一個(gè)高度可靠且可擴(kuò)展的實(shí)時(shí)數(shù)據(jù)流中樞系統(tǒng)。

寶馬集團(tuán)早期采用開(kāi)源 Apache Kafka 取代舊的批處理模型，實(shí)現(xiàn)多應(yīng)用連接與集群統(tǒng)一，卻因架構(gòu)復(fù)雜性導(dǎo)致運(yùn)營(yíng)負(fù)擔(dān)加劇、成本攀升，且系統(tǒng)可靠性無(wú)法滿(mǎn)足全球業(yè)務(wù)全天候運(yùn)行的需求。

通過(guò)使用 Confluent，寶馬集團(tuán)將 Apache Kafka 的部署達(dá)到企業(yè)級(jí)標(biāo)準(zhǔn)，使整個(gè)組織能夠高效利用大規(guī)模實(shí)時(shí)數(shù)據(jù)，并構(gòu)建了一個(gè)支持創(chuàng)新用例的、面向未來(lái)的數(shù)據(jù)流架構(gòu)，為其全球化的智能制造與業(yè)務(wù)決策提供了關(guān)鍵支撐。

• GenAI 場(chǎng)景 —— GEP 案例

GEP 作為全球領(lǐng)先的供應(yīng)鏈咨詢(xún)公司，其原有 Kafka 架構(gòu)因批處理周期長(zhǎng)達(dá)三個(gè)月導(dǎo)致決策滯后，且 20 人團(tuán)隊(duì)難以支撐單集群每月多達(dá) 50 萬(wàn)條事件的規(guī)模。

GEP 通過(guò)采用 Confluent 實(shí)現(xiàn)架構(gòu)升級(jí)：利用預(yù)構(gòu)建連接器實(shí)現(xiàn)系統(tǒng)間（含SQL數(shù)據(jù)庫(kù)、Elasticsearch等）500+ 微服務(wù)無(wú)縫連接和數(shù)據(jù)流轉(zhuǎn)；免于管理基礎(chǔ)設(shè)施，使開(kāi)發(fā)團(tuán)隊(duì)得以專(zhuān)注 AI 產(chǎn)品創(chuàng)新，通過(guò)實(shí)時(shí)數(shù)據(jù)管道向集成 GPT 模型的 AI 堆棧持續(xù)傳輸背景化數(shù)據(jù)，成功開(kāi)發(fā)可為用戶(hù)提供實(shí)時(shí)情境化洞察的生成式 AI 聊天機(jī)器人；系統(tǒng)處理能力從單集群每月處理 50 萬(wàn)條事件，擴(kuò)展至跨多個(gè)集群每月處理超過(guò)十億條事件，并且實(shí)現(xiàn)零數(shù)據(jù)丟失；預(yù)測(cè)性 AI 性能提升 1400%，使設(shè)備故障預(yù)測(cè)窗口從原來(lái)的不足30分鐘，到能夠提前 30 分鐘預(yù)測(cè)故障。助力 GEP 通過(guò)實(shí)時(shí)數(shù)據(jù)流加速智能決策、優(yōu)化用戶(hù)體驗(yàn)并釋放業(yè)務(wù)創(chuàng)新潛力。

“過(guò)去幾年，越來(lái)越多涉及到金融、保險(xiǎn)、零售、游戲等領(lǐng)域的客戶(hù)，需要 Confluent 能在云上提供服務(wù)，這其中很多企業(yè)有國(guó)際業(yè)務(wù)。通過(guò)與阿里云的緊密合作，能夠加速這些企業(yè)的數(shù)字化進(jìn)程。”Confluent 聯(lián)合創(chuàng)始人饒軍曾在云消息隊(duì)列 Confluent 版的發(fā)布會(huì)上表示。

阿里云與 Confluent 將繼續(xù)深化技術(shù)協(xié)同與生態(tài)共建，攜手為企業(yè)提供集成消息流式處理與大數(shù)據(jù)系統(tǒng)的一站式解決方案，并持續(xù)探索與拓展數(shù)據(jù)湖和 AI 應(yīng)用構(gòu)建等場(chǎng)景，加速企業(yè)數(shù)字化與智能化進(jìn)程。