二維碼
        企資網

        掃一掃關注

        當前位置: 首頁 » 企資頭條 » 頭條 » 正文

        HIVE常用優化方法

        放大字體  縮小字體 發布日期:2021-09-03 11:36:49    作者:企資小編    瀏覽次數:44
        導讀

        1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每

        1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。

        2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每行記錄操作時會把其他表先緩存起來,直到掃描最后的表進行計算

        3、在where字句中增加分區過濾器。

        4、當可以使用left semi join語法時不要使用inner join,前者效率更高。原因_對于左表中指定的一條記錄,一旦在右表中找到立即停止掃描。

        5、如果所有表中有一張表足夠小,則可置于內存中,這樣在和其他表進行連接的時候就能完成匹配,省略掉reduce過程。
        設置屬性即可實現,

        set hive.auto.covert.join_true;

        用戶可以配置希望被優化的小表的大小
        set hive.mapjoin.smalltable.sia_2500000;

        如果需要使用這兩個配置可置入$HOME/.hiverc文件中。

        6、同一種數據的多種處理_從一個數據源產生的多個數據聚合,無需每次聚合都需要重新掃描一次。

        例如_

        insert overwrite table student select * from employee;

        insert overwrite table person select * from employee;

        可以優化成_

        from employee

        insert overwrite table student select *

        insert overwrite table person select *

        7、limit調優_limit語句通常是執行整個語句后返回部分結果。

        Set hive.limit.optimia.enable_true;

        8、開啟并發執行。某個job任務中可能包含眾多的階段、其中某些階段沒有依賴關系可以并發執行,開啟并發執行后job任務可以更快的完成。

        設置屬性_

        set hive.e>ecparallel_true;

        9、hive提供的嚴格模式,禁止3種情況下的查詢模式。

        a_當表為分區表時,where字句后沒有分區字段和限制時,不允許執行。

        b_當使用order by語句時,必須使用limit字段,因為order by只會產生一個reduce任務。

        c_限制笛卡爾積的查詢。

        10、合理的設置map和reduce數量。

        11、jvm重用。可在hadoop的mapredtite.xml中設置jvm?重用的次數。

         
        (文/企資小編)
        打賞
        免責聲明
        本文為企資小編推薦作品?作者: 企資小編。歡迎轉載,轉載請注明原文出處:http://www.sneakeraddict.net/news/show-171014.html 。本文僅代表作者個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,作者需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們郵件:weilaitui@qq.com。
         

        Copyright ? 2016 - 2023 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

        粵ICP備16078936號

        微信

        關注
        微信

        微信二維碼

        WAP二維碼

        客服

        聯系
        客服

        聯系客服:

        在線QQ: 303377504

        客服電話: 020-82301567

        E_mail郵箱: weilaitui@qq.com

        微信公眾號: weishitui

        客服001 客服002 客服003

        工作時間:

        周一至周五: 09:00 - 18:00

        反饋

        用戶
        反饋

        亚洲日韩中文无码久久| 精品无码一区在线观看| 无码精品国产VA在线观看DVD | 久久久久亚洲AV无码观看| 无码成A毛片免费| 伊人久久无码中文字幕| 最近最新中文字幕视频| 国产亚洲3p无码一区二区| 国产日韩精品中文字无码| 亚洲AV人无码综合在线观看| 中文字幕av无码一区二区三区电影| 中文字幕日韩欧美| 无套内射在线无码播放| 天堂在线资源中文在线8| 无码无套少妇毛多18PXXXX | 久久精品国产亚洲AV无码娇色 | 最新中文字幕av无码专区| 中文字幕无码无码专区| 午夜无码国产理论在线| 中文字幕日韩欧美| 亚洲av无码国产精品色在线看不卡| 中文无码伦av中文字幕| 日韩精品无码中文字幕一区二区| 亚洲av无码潮喷在线观看| 亚洲AV无码AV男人的天堂| 国产成人无码免费看视频软件| 人妻丰满av无码中文字幕| 精品人妻无码专区中文字幕| 亚洲AV无码不卡在线播放| 久久久久久无码Av成人影院 | 无码人妻精品一区二区三区99仓本 | 粉嫩高中生无码视频在线观看| 丰满少妇人妻无码| 亚洲大尺度无码专区尤物| 最新中文字幕在线视频| 亚洲 欧美 中文 在线 视频| Aⅴ精品无码无卡在线观看| 无码精品国产VA在线观看DVD| 最近免费中文字幕高清大全| 人妻中文无码久热丝袜| 亚洲无码视频在线|