技術深度是指這項技術的根基是否扎實,護城河是否夠寬夠深,是否很容易被其他技術所替代。通俗的來說就是這項技術是否解決了其他技術所不能解決的有重要價值的問題。這里有兩個要點:
1、這個問題沒有人能解,是這項技術首先解決了這個問題。
2、解決這個問題能夠帶來重大價值。
拿我職業生涯開始階段學習的 Hadoop 為例。當時 Hadoop 剛出來的時候是一項革命性的技術,因為當時除了 Google 宣稱自己內部有一套 GFS 和 MapReduce 系統外,業界其他公司都沒有一套完整的海量數據解決方案。而隨著互聯網技術的發展,數據量與日俱增,處理海量數據的能力迫在眉睫。Hadoop 的誕生正好解決了這一燃眉之急。
隨著技術的發展, Hadoop 的處理海量數據能力的優勢慢慢被人習慣,相反 Hadoop 存在的缺陷被人不斷詬?。ㄐ阅懿睿琈apReduce 編寫復雜等等)。而這時候 Spark 應運而生,解決了 Hadoop MapReduce 計算引擎的頑疾。Spark 遠超過 Hadoop 的計算性能以及極其優雅簡單的 API 迎合了當時用戶的需求,受到了廣大大數據工程師的熱捧。
現在我在阿里巴巴從事的是關于 Flink 的研發工作,主要原因是我看到了工業界對實時性的需求以及 Flink 在實時計算這個領域的霸主地位。之前大數據遇到的最大挑戰在于數據規模大(所以大家會稱之為 “大數據”),經過工業界多年的努力和實踐,規模大這個問題基本已經解決了。接下來幾年,更大的挑戰在于速度,也就是實時性。而大數據的實時性并不是指簡單的傳輸數據或者處理數據的實時性,而是從端到端的實時,任何一個步驟速度慢了,就影響整個大數據系統的實時性。
在 Flink 看來, Everything is stream 。Flink 的以 Stream 為核心的架構是業界獨一無二的,由此而產生的性能優越,高擴展性,端到端 Exactly Once 等特性,更是使得 Flink 在流計算領域是當之無愧的王者。
目前主流的流計算引擎有 3 個:Flink、Storm 和 SparkStreaming 。
注:Spark Streaming 只能選擇搜索字詞,理論上這樣的對比是不嚴謹的。但作為趨勢,我們更關注的是其變化曲線,實際影響應該不大。
從上面的 Google trends 曲線可以看出,Flink 處在一個快速增長期, Storm 的熱度在逐年下降,而 Spark Streaming 幾乎進入了平臺期。這就證明了 Flink 在流計算領域的根基之深,目前來看還沒有誰可以超越 Flink 在流計算領域的霸主地位。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.