《失控》作者K·K認為:未來的商業乃數據之商業,處理數據和處理客戶一樣重要。
的確,數據是所有企業在數字化時代的生命之源。隨著AI大模型和生成式AI的崛起,讓企業生產力范式迎來巨大變革,數據要素+人工智能技術已徹底重塑企業的流程、管理和服務等,成為企業在市場中形成差異化競爭優勢的關鍵。
這其中,如何讓Data+AI更好地融合正在成為當前產業界所面臨的首要挑戰。Data+AI融合不僅是企業實現數據價值持續釋放的關鍵,也是大規模應用AI技術的基礎前提,更直接決定著未來生產力范式的全面轉變。
近年來,無論是國外的AWS、Databricks、SAS等公司,還是國內的云大廠、StarRocks等初創公司,均將目標瞄準Data+AI ,旨在從產品上化繁為簡,推動Data+AI的全面融合,以滿足越來越多復雜的應用需求,幫助企業在AI時代打造新質生產力。
史上最大融資,Data+AI的勝利
幾年前機器學習流行之際,Data+AI融合的苗頭已開始顯現,像Cloudera、Databricks等大數據公司紛紛致力于集成TensorFlow等流行AI框架,支持機器學習工具的開發等;2023年初,AI大模型和生成式AI應用的爆發,則猶如一股強勁的催化劑,極大地推動了Data+AI走向融合。
例如,剛剛完成100億美元史上最大融資的獨角獸Databricks就動作頻頻,不僅打造出開源大模型Dolly,還收購大模型公司 MosaicML,并致力于構建數據分析與人工智能的統一平臺。
Data+AI融合趨勢之所以被產業界廣泛認可,實乃數據分析+人工智能平臺已經成長為企業數智轉型升級的核心底座,牽引著企業生產力范式的轉變和未來轉型升級。
一方面,在Scaling Law法則驅動下,形成通用大模型和垂直大模型并存發展的局面,AI大模型快速迭代與發展帶來極為復雜的數據處理需求,對于數據處理帶來一系列全新的挑戰。眾所周知,大模型的效果好壞與數據質量息息相關,而數據質量很大程度又依賴對海量數據的數據治理、處理和管理。例如,檢索增強生成(RAG)是生成式AI應用的關鍵技術,需要結合向量數據庫與傳統數據庫技術,提升數據檢索和生成的能力,對于數據處理帶來諸多挑戰。
另一方面,AI大模型和生成式AI也在推動數據處理與分析走向更加智能和便捷,有望持續降低數據消費和使用的門檻。例如,在查詢和檢索、數據清洗和準備、分析和可視化等諸多環節融入生成式AI能力,有效提高數據處理效率,徹底改變數據分析、數據使用與交互的方式,讓數據處理與分析走向簡單與便捷。
因此,面對日益復雜的數據環境,Data+AI融合勢在必行,構建靈活、高效和智能的數據分析與人工智能統一平臺成為大勢所趨。“大模型時代,企業的IT架構正在變成以數據為核心,大數據和大模型的融合,是形成新質IT生產力的關鍵。”騰訊云副總裁黃世飛在12月一場媒體溝通會上如是說。
那么,Data+AI在產品層面是如何實現的?什么樣的數據分析與人工智能平臺代表著未來Data+AI的融合趨勢?
Data+AI如何走向融合
Data+AI在產品層面上的融合,本質上是為了簡化數據處理和提升人工智能開發應用效率。
在目前市場中,國內外眾多巨頭、獨角獸均瞄準了Data+AI的融合。Databricks是推動Data+AI融合的代表。作為數據分析與人工智能領域的獨角獸,Databricks雖然有花費巨資收購大模型初創公司MosaicML這樣的大手筆,但始終堅持統一架構的產品模式,致力于將數據湖倉、數據工具和AI工具集成為統一的數據分析與人工智能平臺,近年來基于統一架構下更是開發出Lakehouse IQ、LakehouseAI、AI Gateway、Unity Catalog等一系列新功能。
同樣,AWS也在致力于簡化數據處理與人工智能的技術堆棧。在今年12月的re:Invent大會上,AWS直言數據、分析和AI結合在全新的平臺是重要的趨勢。為此,AWS正在整合SQL Analytics、Data Processing、Machine learning、生成式AI開發、BI等諸多功能,并且通過一站式的平臺提供給用戶使用。
無獨有偶,騰訊云也是推動Data+AI融合的突出代表,其最新一代數據智能平臺TChouse-X采用一體化的架構設計,一份數據即可支持在線分析、離線處理、數據湖探索和機器學習等多種業務負載,實現AI、BI和Data在一個平臺上開發和共建。
如果仔細分析上述三家公司在Data+AI融合方面的動作,會發現一體化、智能化、高性能和云原生是Data+AI在產品層面最為關鍵的四個趨勢。
首先是一體化。一體化的架構與產品無疑是簡化技術棧、推動各種產品功能融合和提升AI應用開發效率的關鍵方式。事實上,像Databricks、騰訊云等公司是一體化產品策略的堅定支持者。騰訊云大數據基礎產品中心總經理程彬直言,AI大模型時代,數據分析與人工智能平臺需要在產品體驗和運營層面減少復雜性,回歸到減法模式,太多的選擇意味著效率會降低。
其次是智能化。眾所周知,當前所有產品都迎來一次重要的重塑,AI大模型和生成式AI正在深刻改變各種軟件產品的設計、開發和體驗,數據分析與人工智能平臺產品也不例外,甚至需要走在智能化的最前面,在數據治理、數據管理、模型訓練、應用開發等方面更加智能化,降低數據分析與AI開發的門檻,推動AI應用的普及。
第三是高性能。當前,企業面臨的數據棧環境復雜程度遠勝以往,數據分析與人工智能平臺從過去單一的數據倉庫迅速走向囊括指標平臺、交互式分析、實時分析、流計算、機器學習等在內的綜合平臺,對于各項工作負載的性能要求也是水漲船高,“Data+AI融合的趨勢下,追求高性能將成本平臺產品的基本訴求。計算范式延伸到二維表+分布式ML計算+AI搜索,需要面向多種工作負載的高性能計算引擎來支撐。”程彬如是說。
最后則是云原生。事實上,無論AWS、騰訊云這些云服務商,還是Databricks、Snowflake、StarRocks等,他們的數據平臺類產品無一例外從誕生伊始與云強相關,生于云、長于云,充分利用云原生的特性,實現資源的彈性伸縮,以適應不同的工作負載需求。
“在AI大模型時代,數據平臺不僅僅需要云原生,還需要AI原生,讓整個數據分析與人工智能平臺自身更加聰明、更加自治。”程彬補充道。
中國Data+AI浪潮來襲,誰有備而來?
無疑,中國市場正迎來Data+AI融合浪潮的全面來襲。
隨著中國千行百業數字化轉型的深入,中國正成為當之無愧的數據大國。IDC預測,中國在2024年預計生成38.6ZB數據,未來五年,中國的數據量年復合增長率(CAGR)將達到25.7%,中國有望成為全球最大數據圈,為生成式AI應用帶來豐富的數據資源。
另一方面,中國AI大模型領域發展迅速,AI大模型正加速進入到各大垂直行業之中。同時,中國行業豐富、產業布局完整,有著極為豐富多樣的行業應用場景,是生成式AI等技術天然優良的“試驗土壤”和“培育基地”。沙利文頭豹《2024年中國行業大模型市場報告》顯示,中國行業大模型市場2024年有望達165億元,同比增長57%,行業智能化轉型需求是市場爆發性增長的主要驅動力。
顯然,在“數據要素X”三年行動計劃”、“人工智能+”等政策的驅動下,數據分析與人工智能平臺將成為企業未來轉型升級的核心抓手。IDC《數據智能市場趨勢分析,2024》報告認為,在生成式AI的驅動下,未來5年中國企業在數據管理和數據分析基礎設施建設的投資將持續高增長。
事實上,巨大的市場潛力也吸引到眾多市場參與者,并且涌現出一批數據分析、人工智能相關的產品。這其中,騰訊云可謂是有備而來,其最新的TCHouse-X采用一體化的架構設計,徹底打破傳統數據平臺在離線計算、在線計算和AI開發之間的壁壘,成為數據分析與人工智能一站式平臺的代表。
除了采用一體化的架構設計之外,騰訊云TCHouse-X在優化器、計算引擎、存儲引擎等核心引擎是全部自研,能夠為用戶提供全鏈路極致性能;同時,騰訊云TCHouse-X實現系統交互、資源管理和運維管理的智能化,并能夠實時感知負載并智能規劃資源;此外,TCHouse-X支持多種彈性策略,擅長支撐突發流量高峰、大規模查詢等場景。
騰訊云副總裁黃世飛直言:“從架構層面來看,騰訊云TCHouse-X從一開始就是圍繞AI相關來考慮的,這有別于之前一些較早的數據分析與人工智能平臺。另外,騰訊云擁有強大的基礎設施,從端到端的的維度來確保TCHouse-X在性能上更加出色。”
綜合來看,騰訊云TCHouse-X作為數據分析與人工智能一體化平臺產品,已經展現出極強的產品力。例如,在在線查詢方面,騰訊云TCHouse-X性能優于Snowflake 50%,離線批處理綜合性價比優于Snowflake 10倍以上。
據悉,針對TCHouse-X,騰訊云目前推出了公有云版本。“騰訊云的產品策略是公有云與私有云并重。TCHouse-X會最先在公有云上為用戶提供服務,后續會逐漸進入到私有云,去適配私有云環境中的各種IT環境。”黃世飛最后表示道。
大數據在線是聚焦人工智能、大數據、云計算等前沿科技領域深度觀察的深度媒體。目前,大數據在線在微信公眾號、今日頭條號、新浪財經、36氪、雪球號、觀察號等主流自媒體平臺均有入駐,積累粉絲超過20W;并榮獲今日頭條十大科技新銳媒體、商業新知十大人工智能媒體等多項殊榮。商務聯系請添加微信:Owen_Inter,添加請備注具體信息。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.