當很多企業還在受困于VUCA或是BANI的時候,亞馬遜云科技似乎已經找到了這類復雜性在AI時代的破解之道。在2024亞馬遜云科技re:Invent全球大會的一個主題演講中,亞馬遜副總裁兼首席技術官Werner Vogels博士發表了題為“繁簡之道”(The Way of Simplexity)的演講,闡釋了亞馬遜云科技20年構建架構以應對復雜性的六條關鍵經驗。Werner Vogels博士認為“復雜性”并不是問題,而“預見和管理復雜性”才是個問題。
2024亞馬遜云科技re:Invent全球大會
亞馬遜副總裁兼CTO Dr. Werner Vogels主題演講《The Way of Simplexity,繁簡之道》
復雜性挑戰與Cynefin框架的局限
如果要用一個詞來形容當下時代的特征,這個詞一定會是“復雜性”。從復雜性的特點來看,其涉及大量不同元素,這些元素之間存在著眾多不同的聯系。這種多元性和關聯性使得系統變得錯綜復雜,在企業所處的環境中,內部不同部門、技術、人員和業務之間相互交織,外部合作伙伴、供應商及渠道,還有各種利益相關者,形成一個龐大而復雜的網絡,他們各自的工作和決策相互影響,任何一個環節的變動都可能引發連鎖反應,反應的路徑獨特且難以預測。
這種復雜性帶來了一系列嚴峻挑戰,在認知方面常超出我們認知極限,決策者面對復雜組織架構與業務流程時難以把握內在聯系,致使決策缺乏全面性與準確性。管理上,系統可理解性降低,難以確定單個元素價值功能,像大型企業 IT 系統故障時難以定位解決。此外,還引發不可預測性,系統會有自發意外行為,干預也可能產生意外影響,這使得預測系統行為結果困難,增加決策風險與不確定性。
1999年,大衛·斯諾登(David J. Snowden)等人開發了一個用來認知復雜性的框架Cynefin 框架。這是一個基于復雜性科學的領導力和決策框架。他們將領導者面臨問題所處環境分為五類:簡單環境,因果關系是明顯的,問題有明確的解決方案;繁雜環境,因果關系依舊存在,但需要專家才能有效處理;復雜環境:會有解決方案,但通常事后才能準確理解;混亂環境先建立秩序;無序環境分解后決策。這個分析框架被許多決策者奉為圭臬。
Cynefin 框架以提供清晰情境分類體系,幫助領導者快速判斷情境并采取合適行動。但這個框架的局限也非常明顯,那就是它對簡單環境和繁雜環境可能有效,但面對復雜性問題,它幾乎是束手無策,只能等事件演進到了一個相對清晰的階段,或者等事件塵埃落定,才能理解作用的大致邏輯。如今的環境比1999年要更加復雜,且更加動態,決策需要面對的變量,以及處理的信息量,呈現幾何級數的增加——這已經超出了即便是天才級的管理者的決策能力范圍。
而今,針對Cynefin 框架的這個缺陷,AI,尤其是生產式AI,提供了另外一種可能。可以看看亞馬遜云科技這些年積累的經驗。
亞馬遜云科技的六條核心經驗
Werner Vogels博士梳理了亞馬遜的20年構建架構以應對復雜性的經驗:
將可演化性作為要求。可演化性是應對復雜性的一種預判。亞馬遜云科技在架構構建初期便深刻認識到系統隨時間演變的必然性并將可演化性理念植入其中。早期,Amazon S3 (是亞馬遜云科技于2006年成立后推出的首款服務)專注于基礎存儲功能,如可靠的數據存儲、高可用性及版本控制。雖然亞馬遜云科技一直在為Amazon S3增加新功能,但是客戶幾乎無感,正是因為亞馬遜云科技通過可控演進的架構為Amazon S3不斷拓展新需求,且不影響其核心功能。隨著市場的動態演進,Amazon S3推出跨區域復制功能,為跨國企業全球數據管理帶來了革命性突破,實現了數據的低延遲訪問和高冗余性,以有力地支持了企業全球化業務拓展。
亞馬遜云科技的這種策略要求企業管理者具備長遠的戰略眼光,不能僅僅滿足于當下的業務需求。他們需要鼓勵團隊密切關注行業趨勢和技術前沿,提前規劃架構的演進路徑,確保系統能夠在不中斷業務的情況下平滑升級。這意味著企業要在資源分配上給予一定的靈活性,支持團隊對架構進行持續優化,避免因短期利益而忽視長期可演化性,從而有效應對市場和技術變革帶來的復雜性挑戰。
拆解復雜性為構建模塊。面對日益復雜的系統,亞馬遜云科技采用了將其拆分為多個功能明確、內聚性高且相互獨立模塊的策略。Amazon CloudWatch是實時監控亞馬遜云科技資源運行的應用程序,隨著系統不斷擴展,Amazon CloudWatch作為亞馬遜云科技關鍵基礎服務之一,每天有成百上千億的指標,復雜性也達到了新的高度。亞馬遜云科技通過將Amazon CloudWatch拆分為一系列低耦合、高內聚的小組件,并定義良好的API接口,提供非常簡單的前端服務。該服務經過一次次重寫,在為客戶提供新功能的同時,并不會帶來中斷。
清晰的API定義促進了模塊間的松散耦合,使得團隊能夠獨立工作。這種架構方式為企業帶來了諸多顯著益處。以作為全球設計平臺的Canva為例,在從單體架構向微服務架構轉變過程中,充分利用了模塊化解構的優勢。他們在單體架構設計時就為未來擴展精心規劃,圍繞關鍵功能設計構建模塊,封裝服務接口,并通過嚴格規則確保接口一致性。當業務增長需要擴展時,這些接口能夠順利轉換為微服務的樁,實現了架構的平穩過渡。
組織與架構匹配。亞馬遜云科技構建了與架構高度契合的組織架構,采用著名的“兩個披薩團隊” 模式組建小團隊。小規模團隊使成員能夠深入理解系統,迅速把握系統各部分之間的關系。在面對不斷增長的數據存儲需求和復雜的技術挑戰時,Amazon S3團隊成員積極主動地探索新的存儲技術和優化方案,勇于突破傳統思維,挑戰既有模式。
這種組織模式營造了積極創新的文化氛圍。小規模團隊專注于特定功能模塊開發,團隊成員對所負責部分有強烈歸屬感和責任感,能夠充分發揮自身創造力,積極提出創新想法并付諸實踐。管理者通過賦予團隊自主權,鼓勵員工像企業主人一樣思考和行動,激發員工的主人翁意識。員工在這種環境下,不僅能夠充分發揮自身創造力,還能積極承擔責任,在復雜多變的市場環境中迅速適應變化,提升應對復雜性的能力。
組織成單元形式。亞馬遜云科技認為在復雜系統中必須縮小單元的影響范圍,從而將復雜系統依客戶或區域等因素劃分為獨立單元,單元化架構使每個單元能夠獨立運行、測試、部署和擴展。當某個單元出現問題時,例如某個區域的存儲節點發生故障,故障影響范圍被有效限制在該單元內,不會擴散至整個系統,從而確保了系統整體的穩定性和可靠性。
單元化架構為管理者提供了精細化管理的有效手段。在全球電商業務場景下,依地域或業務線精準劃分單元,憑借哈希算法或客戶ID精準分發請求,確保請求精準抵達對應單元,依據業務負載變化靈活調控單元數量與資源配置,如遇購物節流量高峰,可智能擴充單元資源應對峰值需求;業務淡季則適當收縮,優化資源利用,保障系統在復雜多變業務場景下始終穩定、高效、可靠運行。單元化架構還為系統迭代升級提供了便利,降低了升級過程對整體業務的干擾,使得企業能夠更加從容地應對復雜環境下的各種變化,保障業務的連續性和穩定性。
設計可預測系統。這么做可以減少不確定性因素對系統的干擾。Amazon S3里配置文件采用的定期拉取文件策略,有效確保系統在配置更新時不受外部事件隨機影響,按照預定時間間隔獲取最新配置,從而保證系統行為的穩定性和一致性。無論是在網絡波動還是高并發訪問等復雜情況下,Amazon S3都能為用戶提供可靠的數據存儲服務。
當然,這也要求在系統規劃和設計階段要充分考慮各種不確定性因素。在架構設計時,管理者需要充分考慮不確定因素,制定清晰明確的規則和流程,確保系統在不同場景下都能按照預期運行,提前識別可能影響系統可預測性的潛在風險。
使復雜性自動化。亞馬遜云科技積極運用自動化技術處理系統中重復性高、規律性強且無需復雜判斷的任務。自動化的健康檢查系統可以實時監測存儲節點狀態,及時發現并處理潛在問題,確保系統穩定運行。數據備份和容量擴展依據預設規則自動執行,不僅提高了工作效率,還減少了人工干預可能導致的錯誤,保障了數據安全和服務可用性。
Too Good To Go在應對全球食品浪費問題的業務中,利用亞馬遜云科技提供的自動化技術優化了基礎設施管理。他們通過自動化手段實現了對基礎設施的優化,利用亞馬遜云科技的云數據庫Amazon Aurora、搜索和數據分析服務Amazon OpenSearch、消息隊列服務Amazon SQS等產品,提升了系統性能和跨區域拓展能力。另一方面,管理者注重對員工的培訓,使其掌握與自動化系統協作的技能,將人力資源從繁瑣和重復性的工作中解放出來,投入到更具創造性和價值的工作中。
從重新定義到底層重構
和過往經常被提及的“重新定義”不同,亞馬遜云科技的re:Invent不僅包含對產品或服務功能的創新,更強調從根本上對業務模式、技術架構、運營方式以及企業文化等進行全面的重塑和再造。亞馬遜云科技不僅僅是提供云計算資源,通過不斷創新,推出了各種先進的存儲服務(Amazon S3的跨區域復制、智能分層存儲)、計算服務(多種實例類型、自研芯片)以及數據庫服務(Amazon Aurora的跨區域強一致性等),重新塑造了企業的IT基礎設施架構和運營模式,讓企業能夠以全新的方式構建和運營業務系統,有效應對技術架構層面的復雜性。
相比之下,re:Invent是注重企業自身核心能力的構建和持續進化,以適應不斷變化的市場需求和復雜環境。例如,在電商領域,一些企業可能通過重新定義物流配送速度(如當日達、次日達等服務)來吸引客戶,但亞馬遜在電商業務中除了在配送等方面進行創新外,還通過持續改進其底層技術架構、優化供應鏈管理系統、利用大數據分析提升推薦精準度等多方面的努力,從整體上重新發明了電商業務模式,實現了業務的全方位優化和創新發展,適應市場需求和技術發展趨勢帶來的復雜變化。
亞馬遜云科技的re:Invent從企業戰略層面出發,深入到技術研發、組織架構、企業文化等各個層面進行系統性變革。正如前面所提到的,亞馬遜云科技在組織架構上采用小團隊模式,鼓勵團隊自主決策、快速迭代,在面對復雜業務時,這種模式使團隊能夠專注于特定任務,迅速響應市場變化和技術需求。這一變革與AI技術相互作用,AI在團隊協作、數據分析、智能決策等方面提供助力,進一步推動企業在應對復雜性時的創新——這或許將加速正在發生的管理范式變革,這種變革,受益于AI的驅動,也正在 “重塑” 一種新的行業格局。
鄧勇兵、鄒群英|文
AD
《哈佛商業評論》中文版 聯系方式
投稿、廣告、內容和商務合作
newmedia@hbrchina.org
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.