二維碼
        企資網

        掃一掃關注

        當前位置: 首頁 » 企業資訊 » 經驗 » 正文

        大數據教程--Hadoop教程(三)《Hado

        放大字體  縮小字體 發布日期:2021-09-01 03:24:52    作者:企資小編    瀏覽次數:37
        導讀

        hadoop是什么?Hadoop是使用Java編寫,允許分布在集群,使用簡單的編程模型的計算機大型數據集處理的Apache的開源框架。 Hadoop框架應用工程提供跨計算機集群的分布式存儲和計算的環境。 Hadoop是專為從單一服務器到

        hadoop是什么?

        Hadoop是使用Java編寫,允許分布在集群,使用簡單的編程模型的計算機大型數據集處理的Apache的開源框架。 Hadoop框架應用工程提供跨計算機集群的分布式存儲和計算的環境。 Hadoop是專為從單一服務器到上千臺機器擴展,每個機器都可以提供本地計算和存儲。

        Hadoop的架構

        在其核心,Hadoop主要有兩個層次,即_

      1. 加工/計算層(MapReduce),以及
      2. 存儲層(Hadoop分布式文件系統)。


        MapReduce
        MapReduce是一種并行編程模型,用于編寫普通硬件的設計,谷歌對大量數據的高效處理(多TB數據集)的分布式應用在大型集群(數千個節點)以及可靠的容錯方式。 MapReduce程序可在Apache的開源框架Hadoop上運行。
        Hadoop分布式文件系統

        Hadoop分布式文件系統(HDFS)是基于谷歌文件系統(GFS),并提供了一個設計在普通硬件上運行的分布式文件系統。她與現有的分布式文件系統有許多相似之處。來自其他分布式文件系統的差別是顯著。她高度容錯并設計成部署在低成本的硬件。提供了高吞吐量的應用數據訪問,并且適用于具有大數據集的應用程序。

        除了上面提到的兩個核心組件,Hadoop的框架還包括以下兩個模塊_

      3. Hadoop通用_這是Java庫和其他Hadoop組件所需的實用工具。
      4. Hadoop YARN _這是作業調度和集群資源管理的框架。

        Hadoop如何工作?
        建立重配置,處理大規模處理服務器這是相當昂貴的,但是作為替代,可以聯系許多普通電腦采用單CPU在一起,作為一個單一功能的分布式系統,實際上,集群機可以平行讀取數據集,并提供一個高得多的吞吐量。此外,這樣便宜不到一個高端服務器價格。因此使用Hadoop跨越集群和低成本的機器上運行是一個不錯的選擇。
        Hadoop運行整個計算機集群代碼。這個過程包括以下核心任務由 Hadoop 執行_

        數據最初分為目錄和文件。文件分為128M和64M(128M最好)統一大小塊。

      5. 然后這些文件被分布在不同的群集節點,以便進一步處理。
      6. HDFS,本地文件系統的頂端﹑監管處理。
      7. 塊復制處理硬件故障。
      8. 檢查代碼已成功執行。
      9. 執行發生映射之間,減少階段的排序。
      10. 發送排序的數據到某一計算機。為每個作業編寫的調試日志。

        Hadoop的優勢

        Hadoop框架允許用戶快速地編寫和測試的分布式系統。有效并在整個機器和反過來自動分配數據和工作,利用CPU內核的基本平行度。

      11. Hadoop不依賴于硬件,以提供容錯和高可用性(FTHA),而Hadoop庫本身已被設計在應用層可以檢測和處理故障。
      12. 服務器可以添加或從集群動態刪除,Hadoop可繼續不中斷地運行。
      13. Hadoop的的另一大優勢在于,除了是開源的,因為她是基于Java并兼容所有的平臺。
      14.  
        (文/企資小編)
        免責聲明
        本文僅代表作發布者:企資小編個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
         

        Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

        粵ICP備16078936號

        微信

        關注
        微信

        微信二維碼

        WAP二維碼

        客服

        聯系
        客服

        聯系客服:

        在線QQ: 303377504

        客服電話: 020-82301567

        E_mail郵箱: weilaitui@qq.com

        微信公眾號: weishitui

        客服001 客服002 客服003

        工作時間:

        周一至周五: 09:00 - 18:00

        反饋

        用戶
        反饋

        亚洲一区中文字幕久久| 91中文在线视频| 中文字幕丰满乱子无码视频| 精品国产v无码大片在线观看| 久久久久久综合一区中文字幕 | 久久久久成人精品无码中文字幕 | 少妇人妻偷人精品无码视频新浪| 欧美日韩中文字幕| 特级小箩利无码毛片| 亚洲AV无码专区国产乱码电影 | 日韩乱码人妻无码中文字幕| 精品无码一区二区三区爱欲| 精品日韩亚洲AV无码一区二区三区 | 少妇人妻偷人精品无码视频新浪| 区三区激情福利综合中文字幕在线一区亚洲视频1 | 国产精品无码无片在线观看| 中文精品人人永久免费| 欧美乱人伦人妻中文字幕| 超清纯白嫩大学生无码网站| 精品无码免费专区毛片| 最近最新高清免费中文字幕| 在线观看无码AV网站永久免费| 国精无码欧精品亚洲一区| 人妻丰满熟妇aⅴ无码| 色婷婷综合久久久久中文字幕| 中文字幕日本人妻久久久免费| 人妻少妇看A偷人无码精品| 国产精品亚韩精品无码a在线| 色综合久久久久无码专区| 亚洲精品无码av人在线观看 | 亚洲爆乳精品无码一区二区三区 | 最近2019免费中文字幕视频三| 国产乱码精品一区二区三区中文| 亚洲欧美中文字幕高清在线| 无码激情做a爰片毛片AV片| 狠狠躁狠狠躁东京热无码专区| 久久精品国产亚洲AV无码偷窥 | 国产成人无码专区| 亚洲Av无码乱码在线观看性色| 中文成人无码精品久久久不卡| 亚洲人成无码www久久久|