本文為順豐科技大數(shù)據(jù)分析平臺的架構(gòu)演進(jìn)實(shí)踐，其將原本使用的 Presto 查詢引擎替換成了 Doris，在內(nèi)部可視化數(shù)據(jù)自助分析工具豐景臺場景廣泛應(yīng)用。目前，順豐臨時(shí)查詢業(yè)務(wù)、豐景臺報(bào)表業(yè)務(wù)的 Presto 場景已經(jīng) 100% 切換到 Doris 集群中，日均查詢量 100W+。并實(shí)現(xiàn) P95 性能提升近 3 倍，硬件資源節(jié)省達(dá) 48% 的顯著收益。

而他們是怎么做的？我們將通過下文一探究竟。

本文為作者投稿，未經(jīng)允許，禁止轉(zhuǎn)載。

作者 | 唐尚文，順豐科技 大數(shù)據(jù)平臺研發(fā)高級工程師

出品 | CSDN（ID：CSDNnews）

豐景臺是順豐科技自主研發(fā)的一款可視化數(shù)據(jù)自助分析工具，旨在提升數(shù)據(jù)分析師的工作效率，助力自助分析和業(yè)務(wù)決策。該產(chǎn)品支持多種豐富的圖表類型，用戶只需通過拖拽操作即可快速進(jìn)行自助分析，實(shí)現(xiàn)數(shù)據(jù)可視化。目前，豐景臺已廣泛支撐順豐的物流收、轉(zhuǎn)、運(yùn)、派等各個(gè)環(huán)節(jié)，該平臺處理的數(shù)據(jù)規(guī)模龐大，用戶數(shù)量眾多，對實(shí)時(shí)響應(yīng)速度和穩(wěn)定性有著較高要求。

最初，豐景臺使用 Presto 作為查詢引擎，面臨查詢速度慢、服務(wù)穩(wěn)定性不足以及資源消耗成本高等問題。為解決這些問題，引入 Doris 替換 Presto，構(gòu)建統(tǒng)一的數(shù)據(jù)分析平臺。目前，順豐臨時(shí)查詢業(yè)務(wù)、豐景臺報(bào)表業(yè)務(wù)的 Presto 場景已經(jīng) 100% 切換到 Doris 集群中，日均查詢量 100W+。并實(shí)現(xiàn) P95 性能提升近 3 倍，硬件資源節(jié)省達(dá) 48%。

使用 Presto 面臨挑戰(zhàn)

起初，豐景臺使用 Presto 作為查詢引擎來支撐業(yè)務(wù)。基于自研的 Presto On Yarn 模式，可以在租戶級別根據(jù)業(yè)務(wù)負(fù)載情況自動(dòng)調(diào)整 Presto 集群的規(guī)模，或根據(jù)負(fù)載模式選擇不同的 Presto 子集群對查詢請求進(jìn)行路由。

因豐景臺支撐的業(yè)務(wù)線眾多，查詢模式多樣化，且高峰期的 QPS 較高，涉及到的數(shù)據(jù)量龐大。同時(shí)，系統(tǒng)對查詢延遲有嚴(yán)格的保證需求。在使用 Presto 時(shí)遇到了以下問題：

• 查詢速度慢：因 Presto 查詢優(yōu)化器能力有限，無法提供很好的規(guī)則優(yōu)化，尤其在處理復(fù)雜查詢時(shí)，查詢速度慢，無法滿足性能要求。

• 服務(wù)穩(wěn)定性差：Presto 缺乏內(nèi)置的緩存機(jī)制，容易受到 HDFS IO 抖動(dòng)的影響，影響服務(wù)的穩(wěn)定性。引入外部緩存組件雖然可以緩解這一問題，但同時(shí)也會(huì)增加系統(tǒng)的復(fù)雜性。

• 資源成本高：Presto 以萬核規(guī)模運(yùn)行，需要大量的計(jì)算資源和硬件支持，整體資源成本高昂。

• 適用場景有限：Presto 作為查詢引擎，但它不具備數(shù)據(jù)存儲的能力，當(dāng)前只能分析存儲在 Hive 中的數(shù)據(jù)。更加實(shí)時(shí)的場景、半結(jié)構(gòu)化分析的場景不好滿足。

• 查詢速度更快Doris 的查詢優(yōu)化器（CBO）可有效支持復(fù)雜查詢，尤其是多表關(guān)聯(lián)查詢的優(yōu)化，同時(shí)通過豐富的統(tǒng)計(jì)信息提升優(yōu)化規(guī)則的準(zhǔn)確性。此外，Doris 物化視圖能力能靈活應(yīng)對數(shù)據(jù)加工和湖倉透明加速等場景。
• 服務(wù)穩(wěn)定性高Doris 提供內(nèi)置的元數(shù)據(jù)和數(shù)據(jù)緩存能力，可有效降低遠(yuǎn)端存儲（如 HDFS）抖動(dòng)對查詢延遲的不穩(wěn)定影響，同時(shí)降低系統(tǒng)維護(hù)的復(fù)雜度。
• 湖倉統(tǒng)一及查詢加速Doris 作為湖倉加速引擎，可直接對 Hive、Iceberg 和 Paimon 在內(nèi)的主流湖倉格式進(jìn)行查詢加速，并能管理高性能的自有格式數(shù)據(jù)。憑借 Doris 單一引擎即可支撐日志分析、實(shí)時(shí)報(bào)表分析等多樣化場景的統(tǒng)一分析。
• 彈性資源隔離Doris 提供節(jié)點(diǎn)級別的物理隔離和進(jìn)程內(nèi)的線程級別隔離，利用計(jì)算節(jié)點(diǎn)和計(jì)算組等功能，滿足順豐對多業(yè)務(wù)、多租戶及彈性擴(kuò)縮容的需求。

• 無感升級由于是線上業(yè)務(wù)的升級，需保證整個(gè)過程業(yè)務(wù)側(cè)無明顯感知。因此，需完善對 Presto 的語法支持、SQL 行為的兼容、集群切換方案和監(jiān)控報(bào)警方面的能力。
• 性能提升和穩(wěn)定性保障基于 Doris 以更少的計(jì)算資源獲得更好的分析性能，同時(shí)保證整體服務(wù)的穩(wěn)定性。

Presto 和 Doris 兩套系統(tǒng)雖然都支持標(biāo)準(zhǔn) SQL，但是在部分語法、函數(shù)語義和執(zhí)行行為上存在細(xì)微差別。因此我們在前期涉及了周密的遷移驗(yàn)證流程，在平臺側(cè)通過以下方案來確保架構(gòu)的平滑升級：

• 開發(fā)線上查詢模擬工具，自動(dòng)收集線上查詢語句，并在測試環(huán)境進(jìn)行回放和結(jié)果比對，驗(yàn)證結(jié)果正確性。

• 開發(fā)壓力測試工具模擬真實(shí)線上流量負(fù)載，檢查高峰、低谷期 Doris 集群的資源開銷、查詢延遲等，用于驗(yàn)證穩(wěn)定性和性能預(yù)期。

• 搭建 Doris -> Presto 的雙跑和降級切換鏈路。可以按照比例將流量緩慢灰度到 Doris 集群。并且通過自定義路由規(guī)則，當(dāng)遇到 Doris 不支持的函數(shù)、語法、SQL 行為時(shí)，系統(tǒng)自動(dòng)將切換到 Presto 集群上，確保上游業(yè)務(wù)的平穩(wěn)運(yùn)行。
  

這些方案是整個(gè)升級和遷移項(xiàng)目的重要基石，為后續(xù)的性能表現(xiàn)、版本迭代提供了有力保障。

02 Presto SQL 方言兼容Doris 社區(qū)提供了 SQL Convertor 組件，靈活支持將 Hive、Trino/Presto、Spark、Clickhouse 等多種 SQL 方言轉(zhuǎn)換為 Doris SQL，幫助業(yè)務(wù)無感遷移到 Doris。在驗(yàn)證階段，飛輪科技與順豐合作，完成了大量方言適配工作，顯著提升了 Presto SQL 方言的兼容性。

• 語法改寫將 Presto SQL 語法等價(jià)改寫為 Doris SQL 語法。例如，在 Presto SQL 中，列名用雙引號包裹需轉(zhuǎn)換為反引號；或者為 Presto SQL 中的子查詢添加別名，以滿足 Doris SQL 對別名的強(qiáng)制要求等。
• 函數(shù)簽名改寫：將 Presto 中與 Doris 行為相同但簽名不同的函數(shù)進(jìn)行改寫。比如將 date_parse 函數(shù)改寫為 str_to_date 函數(shù)；或者調(diào)換 data_trunc 函數(shù)中的參數(shù)順序等。
• 函數(shù)行為改寫：Doris 的大部分函數(shù)行為兼容 MySQL，如對非法參數(shù)的處理和返回值的精度等。如果直接修改這些函數(shù)的行為，會(huì)對其他用戶造成影響。因此額外補(bǔ)充了一些符合 Presto 行為的新函數(shù)，并通過 SQL Convertor 改寫，或使用 cast 轉(zhuǎn)換類型，以不影響原函數(shù)行為的情況下提升對 Presto 函數(shù)行為的兼容度。
• 輸出格式改寫：針對 Array、Map、JSON 等復(fù)雜類型的字符串輸出，Doris 提供了相應(yīng)的改寫規(guī)則。比如將 Doris 對 Map 類型的字符串表示由{"k1":null, "k2":"v3"}改寫為 {k1=NULL, k2=v3}，確保用戶在進(jìn)一步處理時(shí)獲得正確的語義。
• 新增函數(shù)：新增大量 Doris 原本不支持的 Presto/Trino 函數(shù)，進(jìn)一步提升 SQL 兼容性。

目前在順豐業(yè)務(wù)場景下，Presto SQL 兼容度可以達(dá)到97%，僅有少部分 SQL 需要業(yè)務(wù)方配合調(diào)整，后續(xù)將進(jìn)一步加強(qiáng)兼容性，目標(biāo)達(dá)到 99% 以上。

03 Parquet/ORC 性能優(yōu)化

豐景臺場景存儲格式包括 Parquet、ORC 以及少量 Json 和 Text 數(shù)據(jù)格式。數(shù)據(jù)多樣性對優(yōu)化工作帶來了挑戰(zhàn)。順豐與飛輪科技在以下方面合作，顯著提升了 Doris 對不同文件格式的訪問性能：

• 復(fù)雜類型的延遲物化：針對包含 Map、Array、Struct 等復(fù)雜類型的查詢，在 Parquet/ORC 讀取過程中提供延遲物化能力，顯著降低 IO 數(shù)量。

  
  

• 小IO優(yōu)化：通過調(diào)整 Merge IO 的閾值，緩解在不同查詢模式下 Merge IO 引發(fā)的讀放大問題，并顯著降低 IO 次數(shù)。
  

• ORC Tiny Stripe 優(yōu)化：針對包含大量小 Stripe（小于 8MB）的 ORC 文件，提供跨 Stripe 合并讀取能力，降低 IO 次數(shù)并提升文件讀取吞吐。
  

• 數(shù)據(jù)格式兼容度提升：全面支持 Parquet/ORC/Text 在 snappy、lz4、zstd、gzip、lzo、bzip2、brotli 等多種壓縮格式下的讀取能力。并且提供enable_text_validate_utf8等可調(diào)選項(xiàng)，確保在非法值場景下（如非 UTF8 編碼的 Text 格式）行為和 Presto 一致。

這些優(yōu)化顯著改善了 Doris 在文件格式讀取性能、穩(wěn)定性和兼容性方面的表現(xiàn)。

04 HDFS IO 優(yōu)化

豐景臺的數(shù)據(jù)由科技提供的 HDFS 統(tǒng)一存儲。由于 HDFS 在多個(gè)業(yè)務(wù)共享，業(yè)務(wù)高峰期可能出現(xiàn) IO 抖動(dòng)、延遲增大甚至超時(shí)等問題。針對 HDFS 特性，制定了多種改善 IO 的措施：

• 文件對齊 Block 切分：Doris 將大文件切分為多個(gè)文件分片，通過并行讀取提升效率。針對 HDFS 文件，Doris 根據(jù) HDFS Block Size 對齊切分，避免分片任務(wù)跨 Block 讀取，降低對 Namenode 的訪問頻率，從而減少 HDFS 不穩(wěn)定的影響。

• HDFS Hedged Read 和 Read Timeout：HDFS 客戶端提供 Hedged Read 功能，當(dāng)數(shù)據(jù)塊的讀取請求在預(yù)設(shè)時(shí)間內(nèi)未響應(yīng)時(shí)，會(huì)向其他數(shù)據(jù)節(jié)點(diǎn)發(fā)送額外請求，使用最快返回的數(shù)據(jù)塊，減少讀取延遲。此外，通過 dfs.client.socket-timeout 降低讀取超時(shí)閾值，快速觸發(fā)重試，從而提升 IO 穩(wěn)定性。這些功能在部分順豐業(yè)務(wù)場景下顯著改善了訪問 HDFS 的 IO 響應(yīng)性能。

Hive 等湖倉外表數(shù)據(jù)的查詢執(zhí)行環(huán)境與內(nèi)表數(shù)據(jù)存在顯著差異，如元數(shù)據(jù)訪問延遲和網(wǎng)絡(luò) IO 開銷。因此，針對外表查詢特點(diǎn)優(yōu)化了執(zhí)行調(diào)度：

• 動(dòng)態(tài)優(yōu)先級調(diào)度：豐景臺場景查詢模式多樣，無法通過預(yù)定義 Workload Group 進(jìn)行資源分組和隔離。動(dòng)態(tài)優(yōu)先級調(diào)度策略通過任務(wù)分片執(zhí)行時(shí)間統(tǒng)計(jì)，實(shí)時(shí)識別大查詢和小查詢，動(dòng)態(tài)調(diào)整優(yōu)先級，顯著降低中小查詢在資源搶占場景下的延遲。

• 分片異步調(diào)度：Hive 集群中有大量分區(qū)數(shù)量在十萬級別的表。Doris 通過分片異步調(diào)度，讓文件列表的 List 操作與 BE 節(jié)點(diǎn)的文件讀取并行執(zhí)行，顯著改善了海量分區(qū)訪問時(shí)的查詢調(diào)度耗時(shí)。
  

• Limit 下推優(yōu)化：實(shí)際場景中存在大量由謂詞條件和 Limit 子句組成的查詢，通常用于快速探查符合條件的數(shù)據(jù)，但無需返回查詢結(jié)果，但要求探查完成后快速結(jié)束查詢。Doris 在查詢規(guī)劃時(shí)將 Limit 下推到數(shù)據(jù)掃描節(jié)點(diǎn)，并在掃描任務(wù)調(diào)度、跨節(jié)點(diǎn)數(shù)據(jù)傳輸、查詢快速熔斷方面進(jìn)行了優(yōu)化，顯著減少了 IO 開銷。

這些優(yōu)化降低了 Doris 對 CPU 和 IO 資源的開銷，在混合負(fù)載的 Hive 查詢場景中大幅提升了查詢的穩(wěn)定性和可預(yù)期性，尤其在長尾查詢和 95 分位以上的延遲上效果顯著。

06 緩存優(yōu)化

緩存功能降低了通過網(wǎng)絡(luò)訪問外部數(shù)據(jù)源的不可預(yù)測性，并提升了熱點(diǎn)數(shù)據(jù)的讀取性能。在豐景臺場景下，單集群磁盤緩存容量達(dá)到 10 TB。在使用 Doris 替換 Presto 的過程中，針對緩存的時(shí)效性和一致性進(jìn)行了優(yōu)化，這不僅提高了查詢性能和穩(wěn)定性，還有效降低了對 Hive Metastore 和 HDFS 的訪問壓力。

• 提升數(shù)據(jù)緩存命中率：Doris 數(shù)據(jù)緩存屬于本地緩存，采用一致性哈希算法確保對相同數(shù)據(jù)文件的請求被發(fā)送到同一個(gè)節(jié)點(diǎn)，從而提升緩存命中率。在豐景臺場景中，緩存命中率高達(dá)96%。

• 單查詢文件列表共享：在需要實(shí)時(shí)感知 Hive 分區(qū)文件變化的場景中，關(guān)閉了 Doris 的全局分區(qū)文件列表緩存，這意味著每次查詢需通過 List 操作從 HDFS 獲取文件列表。為此，Doris 進(jìn)行了優(yōu)化。例如在同一查詢中對同一張表的子查詢時(shí)，進(jìn)行 Union 或自關(guān)聯(lián)操作，子查詢間可以共享文件列表。這使得查詢規(guī)劃性能數(shù)倍提升，并降低了對 HDFS 的請求壓力。

基于 Doris 的云產(chǎn)品改造Doris 除了在豐景臺場景廣泛應(yīng)用之外，順豐科技正在基于 Doris 進(jìn)行內(nèi)部云產(chǎn)品改造，面向順豐內(nèi)部提供按需的 Doris 集群服務(wù)。當(dāng)前正進(jìn)行 Doris 容器化部署的實(shí)踐，通過容器化的方式， 提供更小規(guī)格的資源供業(yè)務(wù)選擇，實(shí)現(xiàn)按需使用。以下為內(nèi)部云上 Doris 產(chǎn)品圖以及部分管理頁面展示：

應(yīng)用層主要分為兩部分：

• 面向用戶：用戶能夠在頁面上進(jìn)行集群申請操作，該申請流程會(huì)自動(dòng)接入內(nèi)部計(jì)費(fèi)體系。在完成集群申請后，用戶可在頁面上進(jìn)行查詢以及查看監(jiān)控、日志，實(shí)施庫表授權(quán)等相關(guān)自助操作，還可通過頁面針對所在的慢查詢進(jìn)行分析等。

• 面向運(yùn)維：運(yùn)維人員可以對所有資源進(jìn)行管理，諸如存儲空間、集群等。同時(shí)，還能夠?qū)哼M(jìn)行版本升級以及通用模版配置修改等多種操作，從而便于運(yùn)維人員在線上對故障進(jìn)行快速處理，以保障云上集群的服務(wù)質(zhì)量。

順豐科技期望在 2025 年全面完成 Doris 的平臺化建設(shè)，推動(dòng) Doris 產(chǎn)品更廣泛在內(nèi)部應(yīng)用。

結(jié)束語01 業(yè)務(wù)收益

目前，順豐的臨時(shí)查詢業(yè)務(wù)、豐景臺報(bào)表業(yè)務(wù)場景已從 Presto 100% 切換到 Doris 集群中，日均查詢量超過 100W。

• 查詢性能提升 3 倍：P95 性能降低到 20 秒以內(nèi)，提升近 3 倍。大于 50s 的查詢由 8% 降低至 1.5%，小于 10s 的查詢比例由 72% 提升至 88%。

• 硬件資源節(jié)省 48%：將 Presto 的上萬核規(guī)模降低至 Doris 的數(shù)千核規(guī)模，實(shí)現(xiàn)了約 48% 的資源節(jié)省。

除了湖倉分析場景，Doris 在日志分析和實(shí)時(shí)報(bào)表分析中表現(xiàn)同樣出色。順豐科技正與 Doris 社區(qū)、飛輪科技團(tuán)隊(duì)合作，持續(xù)推進(jìn) Doris 在內(nèi)部的業(yè)務(wù)拓展。

• 完善穩(wěn)定性及兼容性：今年將全面下線 Presto 服務(wù)，繼續(xù)完善 Doris 集群穩(wěn)定性，并增強(qiáng)對 Presto SQL 的兼容性。同時(shí)引入 Delta Lake 替換 Hive 格式，驗(yàn)證 Doris 3.0 版本對 Delta Lake 的支持（Doris 計(jì)劃在 3.1 版本中增強(qiáng)對 Delta Lake 的讀取能力）。

• 日志及半結(jié)構(gòu)化場景應(yīng)用：Doris 當(dāng)前已在多個(gè)企業(yè)的日志及半結(jié)構(gòu)化數(shù)據(jù)分析場景成功落地，順豐也在嘗試用 Doris 替換 Elasticsearch，簡化更多數(shù)據(jù)平臺的組件，構(gòu)建統(tǒng)一數(shù)據(jù)分析技術(shù)棧。

• 嘗試存算分離架構(gòu)：計(jì)劃引入 Doris 3.0 版本所支持的存算分離架構(gòu)，不僅提升多租戶彈性能力，還能支持冷數(shù)據(jù)動(dòng)態(tài)備份，降低用戶存儲成本。

• Doris 集群運(yùn)維：隨著 Doris 在順豐內(nèi)部的逐漸鋪開，需要更完善的工具來運(yùn)維 Doris 集群或診斷線上問題。順豐正在推動(dòng) Doris 社區(qū)提供更加完善的 SQL 診斷工具，如可視化的 Query Profile 分析能力、慢 SQL 診斷優(yōu)化工具等。