認識這隻「黃色大象」嗎?這可是 Hadoop 官網上的代表吉祥物喔,也是 Hadoop 的 Logo。

  •  Hadoop 是個新造的字,也象徵了一個新時代的來臨

「Hadoop」是其原創者 Doug Cutting 新造的名詞,字典裡並沒有這個英文單字。Doug Cutting 曾表示,Hadoop 這個名稱的由來,是來自於自己小孩所擁有的一隻絨毛填充黃色大象玩具。

Doug 不只開發了 Hadoop ,還包括 Lucene 和 Nutch。 Doug 曾在媒體訪談中表示,自己開始撰寫開放原始碼軟體至今超過 10 年了,第一個參與的就是 Lucene 專案,後來,Lucene 隨著 Doug 離開 Yahoo 被帶進 Apache 軟體基金會(Apache Software Foundation,ASF),此後,又參與了 Nutch 專案,同樣負責 Web 搜索技術;再來就是 Hadoop 。而過去幾年來,Doug 一直都在做跟 Big Data 相關的應用。

Doug 在主導 Nutch 專案開發時,遭遇了處理 Big Data 的問題,而此時 Google 正好對外發佈了自家搜尋引擎的 3 大關鍵技術:Google File System、BigTable 與 MapReduce 演算法。(讀者可參閱:〈Google 為什麼能在 0.15 秒找到數十萬筆資料?認識搜尋霸主的核心技術 〉一文)。

Doug 參考了這 3 項技術,並利用 Java,發展出自己的 DFS 檔案系統和 MapReduce 演算法,來解決 Nutch 所遭遇的問題,而 Doug 的技術也讓同為搜尋引擎一方之霸的 Yahoo 看上,進而延聘了 Doug。

不過,當時的 Yahoo 並不需要 DFS 和 MapReduce 等技術,所以,Hadoop 就此誕生了。(真的很想知道,Yahoo 如果在當時沒有忽略這兩項技術,搜尋引擎霸主之爭的結果是否就不相同了呢?)。

  • Hadoop 到底是什麼?

綜合以上說明可知,Hadoop 是 ASF 所發展的雲端運算技術,可以藉由平行運算架構同時運算大量資料,目標是以低成本、高效率的方式來處理資料。其主要核心技術使用 Java 開發因此具備跨平台的功能,並免費開放原始碼,目前可執行於 Linux、Mac OS/X、Windows 和 Solaris 等作業系統,以及一般商用等級的伺服器上。優點在於有良好的擴充性,部署 (Deploy) 迅速,同時能自動分散系統的負荷。

Hadoop 技術,多被應用於建立搜尋索引以及對處理記錄進行分析,主要由 3 個子系統所組成,其技術分別來自 Google 所發表的 BigTable、MapReduce 和 Google File System。

1. Hadoop Distributed File System:

技術來自 Google File System,是一種儲存系統。儲存的資料量相當龐大,而且被分散到數個不同的伺服器上,但透過特殊技術的處理,讓使用者在操作系統時,完全感受不到資料來源其實是分散在不同的地方。

2. HBase:

技術來自 Google 的 BigTable。其功用與 BigTable 相同,是一種分散式儲存系統,其類似 RDBM 資料表的資料結構 (Multi-Dimensional Map),並具備高可用性、高效能,以及容易擴充容量等特性。其會將外來的網頁資料在經過分析之後,以欄位格式儲存在許多被稱為「節點」(Node) 的伺服器中。

3. Hadoop MapReduce:

技術來自 Google MapReduce,是一個分散式運算環境; Map 是「劃分」也就是把一個任務拆成多個子任務進行運算,Reduce 是「化簡」,是指將運算結果重新組合、建立索引後再送回節點。

另外值得一提的是,大型主機架構屬於垂直擴充(Vertical Scaling)方式,如果要提升運算能力,通常是讓單一伺服器新增更多的運算核心,也就是直接提高現有伺服器的運算能力;但是,像 Hadoop 是採取水平擴充(Horizontal scaling)架構,它是透過增加伺服器的數量,就能提高應用程式可以處理的資料量,這種架構不但可以節省成本,系統的容錯能力也更好。

目前已經採用 Hadoop 運算平台的知名企業有 Adobe、Amazon、eBay、AOL、Facebook、The New York Times、Twitter、JP Morgan Chase 和 Yahoo 等。

國內也有不少科技大廠大舉延聘 Hadoop 工程師,像是趨勢科技、神通電腦、廣達電腦、台達電等等。其主要的工作內容是針對大量資料的運算或儲存需求,進行相關資訊架構及平台的設計、開發、測試等。

最後,還是要提醒一點,如果企業所要處理的資料並不複雜也不龐大,那麼採用 Hadoop 其實是多餘的,還是要視實際的需求與問題判斷才能讓系統發揮最大的效能。

  • 延伸閱讀:

Hadoop 不是萬能,破除七大迷思讓你做好 Big Data/Cloud Analysis

Big Data 時代,我們需要有超越 Hadoop 和 MapReduce 的殺手級技術

(資料來源:圖說雲端運算wikipediaApache Hadoop;圖片來源: IntelFreePress, CC Licensed)