Impala是Cloudera公司主導(dǎo)開(kāi)發(fā)的新型查詢(xún)系統(tǒng)，它提供SQL語(yǔ)義，能查詢(xún)存儲(chǔ)在Hadoop的HDFS和HBase中的PB級(jí)大數(shù)據(jù)。已有的Hive系統(tǒng)雖然也提供了SQL語(yǔ)義，但由于Hive底層執(zhí)行使用的是MapReduce引擎，仍然是一個(gè)批處理過(guò)程，難以滿(mǎn)足查詢(xún)的交互性。相比之下，Impala的最大特點(diǎn)也是最大賣(mài)點(diǎn)就是它的快速。Impala是參照谷歌新三篇論文Impala是Cloudera在受到Google的Dremel啟發(fā)下開(kāi)發(fā)的實(shí)時(shí)交互SQL大數(shù)據(jù)查詢(xún)工具，Impala沒(méi)有再使用緩慢的 Hive+MapReduce批處理，而是通過(guò)使用與商用并行關(guān)系數(shù)據(jù)庫(kù)中類(lèi)似的分布式查詢(xún)引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分組成），可以直接從HDFS或HBase中用SELECT、JOIN和統(tǒng)計(jì)函數(shù)查詢(xún)數(shù)據(jù)，從而大大降低了延遲。其架構(gòu)如圖 1所示，Impala主要由Impalad， State Store和CLI組成。Dremel的開(kāi)源實(shí)現(xiàn)，和Shark、Drill功能相似。Impala是Cloudera公司主導(dǎo)開(kāi)發(fā)并開(kāi)源。基于Hive并使用內(nèi)存進(jìn)行計(jì)算，兼顧數(shù)據(jù)倉(cāng)庫(kù)，具有實(shí)時(shí)、批處理、多并發(fā)等優(yōu)點(diǎn)。是使用CDH的首選PB級(jí)大數(shù)據(jù)實(shí)時(shí)查詢(xún)分析引擎。Impala是Cloudera在受到Google的Dremel啟發(fā)下開(kāi)發(fā)的實(shí)時(shí)交互SQL大數(shù)據(jù)查詢(xún)工具，Impala沒(méi)有再使用緩慢的 Hive+MapReduce批處理，而是通過(guò)使用與商用并行關(guān)系數(shù)據(jù)庫(kù)中類(lèi)似的分布式查詢(xún)引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分組成），可以直接從HDFS或HBase中用SELECT、JOIN和統(tǒng)計(jì)函數(shù)查詢(xún)數(shù)據(jù)，從而大大降低了延遲。其架構(gòu)如圖 1所示，Impala主要由Impalad， State Store和CLI組成。

谷歌舊三篇論文：mapreduce（mapreduce） 、 bigtable（HBase） 、 gfs（HDFS）

谷歌新三篇論文：Dremel（Impala）、Caffeine、Pergel。

同時(shí)，Impala由Cloudera公司開(kāi)發(fā)，可以對(duì)存儲(chǔ)在HDFS、HBase的海量數(shù)據(jù)提供交互式查詢(xún)的SQL接口。除了和Hive使用相同的統(tǒng)一存儲(chǔ)平臺(tái)，Impala還提供了一個(gè)熟悉的面向批量或?qū)崟r(shí)查詢(xún)的統(tǒng)一平臺(tái)。Impala的特點(diǎn)是查詢(xún)非常迅速，其性能大幅領(lǐng)先于Hive。

注意：Impala并沒(méi)有基于MapReduce的計(jì)算框架，這也是Impala可以大幅領(lǐng)先Hive的原因，Impala是定位是OLAP。

Impala是Cloudera在受到Google的Dremel啟發(fā)下開(kāi)發(fā)的實(shí)時(shí)交互SQL大數(shù)據(jù)查詢(xún)工具，Impala沒(méi)有再使用緩慢的 Hive+MapReduce批處理，而是通過(guò)使用與商用并行關(guān)系數(shù)據(jù)庫(kù)中類(lèi)似的分布式查詢(xún)引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分組成），可以直接從HDFS或HBase中用SELECT、JOIN和統(tǒng)計(jì)函數(shù)查詢(xún)數(shù)據(jù)，從而大大降低了延遲。其架構(gòu)如圖 1所示，Impala主要由Impalad， State Store和CLI組成。

Impalad: 與DataNode運(yùn)行在同一節(jié)點(diǎn)上，由Impalad進(jìn)程表示，它接收客戶(hù)端的查詢(xún)請(qǐng)求（接收查詢(xún)請(qǐng)求的Impalad為 Coordinator，Coordinator通過(guò)JNI調(diào)用java前端解釋SQL查詢(xún)語(yǔ)句，生成查詢(xún)計(jì)劃樹(shù)，再通過(guò)調(diào)度器把執(zhí)行計(jì)劃分發(fā)給具有相應(yīng) 數(shù)據(jù)的其它Impalad進(jìn)行執(zhí)行），讀寫(xiě)數(shù)據(jù)，并行執(zhí)行查詢(xún)，并把結(jié)果通過(guò)網(wǎng)絡(luò)流式的傳送回給Coordinator，由Coordinator返回給 客戶(hù)端。同時(shí)Impalad也與State Store保持連接，用于確定哪個(gè)Impalad是健康和可以接受新的工作。在Impalad中啟動(dòng)三個(gè)ThriftServer: beeswax_server（連接客戶(hù)端），hs2_server（借用Hive元數(shù)據(jù)）， be_server（Impalad內(nèi)部使用）和一個(gè)ImpalaServer服務(wù)。

Impala State Store: 跟蹤集群中的Impalad的健康狀態(tài)及位置信息，由statestored進(jìn)程表示，它通過(guò)創(chuàng)建多個(gè)線程來(lái)處理Impalad的注冊(cè)訂閱和與各 Impalad保持心跳連接，各Impalad都會(huì)緩存一份State Store中的信息，當(dāng)State Store離線后（Impalad發(fā)現(xiàn)State Store處于離線時(shí)，會(huì)進(jìn)入recovery模式，反復(fù)注冊(cè)，當(dāng)State Store重新加入集群后，自動(dòng)恢復(fù)正常，更新緩存數(shù)據(jù)）因?yàn)镮mpalad有State Store的緩存仍然可以工作，但會(huì)因?yàn)橛行㊣mpalad失效了，而已緩存數(shù)據(jù)無(wú)法更新，導(dǎo)致把執(zhí)行計(jì)劃分配給了失效的Impalad，導(dǎo)致查詢(xún)失敗。

CLI: 提供給用戶(hù)查詢(xún)使用的命令行工具（Impala Shell使用python實(shí)現(xiàn)），同時(shí)Impala還提供了Hue，JDBC， ODBC使用接口。

Impala三大進(jìn)程由Impalad,statestored,catalogd

Impala和Hive的關(guān)系

Impala是基于Hive的大數(shù)據(jù)實(shí)時(shí)分析查詢(xún)引擎，直接使用Hive的元數(shù)據(jù)庫(kù)Metadata,意味著impala元數(shù)據(jù)都存儲(chǔ)在Hive的metastore中。并且impala兼容Hive的sql解析，實(shí)現(xiàn)了Hive的SQL語(yǔ)義的子集，功能還在不斷的完善中。

與Hive的關(guān)系

Impala 與Hive都是構(gòu)建在Hadoop之上的數(shù)據(jù)查詢(xún)工具各有不同的側(cè)重適應(yīng)面，但從客戶(hù)端使用來(lái)看Impala與Hive有很多的共同之處，如數(shù)據(jù)表元數(shù) 據(jù)、ODBC/JDBC驅(qū)動(dòng)、SQL語(yǔ)法、靈活的文件格式、存儲(chǔ)資源池等。Impala與Hive在Hadoop中的關(guān)系如下圖所示。Hive適合于長(zhǎng)時(shí)間的批處理查詢(xún)分析，而Impala適合于實(shí)時(shí)交互式SQL查詢(xún)，Impala給數(shù)據(jù)分析人員提供了快速實(shí)驗(yàn)、驗(yàn)證想法的大數(shù) 據(jù)分析工具。可以先使用hive進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，之后使用Impala在Hive處理后的結(jié)果數(shù)據(jù)集上進(jìn)行快速的數(shù)據(jù)分析。

Impala相對(duì)于Hive所使用的優(yōu)化技術(shù)

1、沒(méi)有使用

MapReduce進(jìn)行并行計(jì)算，雖然MapReduce是非常好的并行計(jì)算框架，但它更多的面向批處理模式，而不是面向交互式的SQL執(zhí)行。與MapReduce相比：Impala把整個(gè)查詢(xún)分成一執(zhí)行計(jì)劃樹(shù)，而不是一連串的MapReduce任務(wù)，在分發(fā)執(zhí)行計(jì)劃后，Impala使用拉式獲取數(shù)據(jù)的方式獲取結(jié)果，把結(jié)果數(shù)據(jù)組成按執(zhí)行樹(shù)流式傳遞匯集，減少了 把中間結(jié)果寫(xiě)入磁盤(pán)的步驟，再?gòu)拇疟P(pán)讀取數(shù)據(jù) 的開(kāi)銷(xiāo)。Impala使用服務(wù)的方式避免每次執(zhí)行查詢(xún)都需要啟動(dòng)的開(kāi)銷(xiāo)，即相比Hive沒(méi)了MapReduce啟動(dòng)時(shí)間。（MapReduce啟動(dòng)時(shí)間指的是什么？）

2、使用LLVM產(chǎn)生運(yùn)行代碼，針對(duì)特定查詢(xún)生成特定代碼，同時(shí)使用Inline的方式減少函數(shù)調(diào)用的開(kāi)銷(xiāo)，加快執(zhí)行效率。

3、充分利用可用的硬件指令（SSE4.2）。

4、更好的IO調(diào)度，Impala知道數(shù)據(jù)塊所在的磁盤(pán)位置能夠更好的利用多磁盤(pán)的優(yōu)勢(shì)(data locality -- 基本DataNode節(jié)點(diǎn)安裝了Imapla Daemon)，同時(shí)Impala支持直接數(shù)據(jù)塊讀取和本地代碼計(jì)算checksum。

5、通過(guò)選擇合適的數(shù)據(jù)存儲(chǔ)格式可以得到最好的性能（Impala支持多種存儲(chǔ)格式）。

6、最大使用內(nèi)存，中間結(jié)果不寫(xiě)磁盤(pán)，及時(shí)通過(guò)網(wǎng)絡(luò)以stream的方式傳遞。

Impala與Hive的異同

數(shù)據(jù)存儲(chǔ)：使用相同的存儲(chǔ)數(shù)據(jù)池都支持把數(shù)據(jù)存儲(chǔ)于HDFS, HBase。

元數(shù)據(jù)：兩者使用相同的元數(shù)據(jù)。

SQL解釋處理：比較相似都是通過(guò)詞法分析生成執(zhí)行計(jì)劃。

執(zhí)行計(jì)劃：

Hive: 依賴(lài)于MapReduce執(zhí)行框架，執(zhí)行計(jì)劃分成map->shuffle->reduce->map->shuffle->reduce…的模型。如果一個(gè)Query會(huì)被編譯成多輪MapReduce，則會(huì)有更多的寫(xiě)中間結(jié)果。由于MapReduce執(zhí)行框架本身的特點(diǎn)，過(guò)多的中間過(guò)程會(huì)增加整個(gè)Query的執(zhí)行時(shí)間。

Impala:把執(zhí)行計(jì)劃表現(xiàn)為一棵完整的執(zhí)行計(jì)劃樹(shù)，可以更自然地分發(fā)執(zhí)行計(jì)劃到各個(gè)Impalad執(zhí)行查詢(xún)（Impala查詢(xún)計(jì)劃解析器使用更智能的算法在多節(jié)點(diǎn)上分布式執(zhí)行各個(gè)查詢(xún)步驟），而不用像Hive那樣把它組合成管道型的map->reduce模式，以此保證Impala有更好的并發(fā)性和避免不必要的中間sort與shuffle。

數(shù)據(jù)流：

Hive: 采用推的方式，每一個(gè)計(jì)算節(jié)點(diǎn)計(jì)算完成后將數(shù)據(jù)主動(dòng)推給后續(xù)節(jié)點(diǎn)。

Impala: 采用拉的方式，后續(xù)節(jié)點(diǎn)通過(guò)getNext主動(dòng)向前面節(jié)點(diǎn)要數(shù)據(jù)，以此方式數(shù)據(jù)可以流式的返回給客戶(hù)端，且只要有1條數(shù)據(jù)被處理完，就可以立即展現(xiàn)出來(lái)，而不用等到全部處理完成，更符合SQL交互式查詢(xún)使用。

內(nèi)存使用：

Hive: 在執(zhí)行過(guò)程中如果內(nèi)存放不下所有數(shù)據(jù)，則會(huì)使用外存，以保證Query能順序執(zhí)行完。每一輪MapReduce結(jié)束，中間結(jié)果也會(huì)寫(xiě)入HDFS中，同樣由于MapReduce執(zhí)行架構(gòu)的特性，shuffle過(guò)程也會(huì)有寫(xiě)本地磁盤(pán)的操作。

Impala:在遇到內(nèi)存放不下數(shù)據(jù)時(shí)，當(dāng)前版本1.0.1是直接返回錯(cuò)誤，而不會(huì)利用外存，以后版本應(yīng)該會(huì)進(jìn)行改進(jìn)。這使用得Impala目前處理Query會(huì)受到一定的限制，最好還是與Hive配合使用。Impala在多個(gè)階段之間利用網(wǎng)絡(luò)傳輸數(shù)據(jù)，在執(zhí)行過(guò)程不會(huì)有寫(xiě)磁盤(pán)的操作（insert除外）。

調(diào)度：

Hive: 任務(wù)調(diào)度依賴(lài)于Hadoop的調(diào)度策略。（MR2 / Yarn）

Impala:調(diào)度由自己完成，目前只有一種調(diào)度器simple-schedule，它會(huì)盡量滿(mǎn)足數(shù)據(jù)的局部性，掃描數(shù)據(jù)的進(jìn)程盡量靠近數(shù)據(jù)本身所在的物理機(jī)器。（impala 守護(hù)進(jìn)程基本都會(huì)安裝在DataNode節(jié)點(diǎn)）調(diào)度器目前還比較簡(jiǎn)單，在SimpleScheduler::GetBackend中可以看到，現(xiàn)在還沒(méi)有考慮負(fù)載，網(wǎng)絡(luò)IO狀況等因素進(jìn)行調(diào)度。但目前Impala已經(jīng)有對(duì)執(zhí)行過(guò)程的性能統(tǒng)計(jì)分析，應(yīng)該以后版本會(huì)利用這些統(tǒng)計(jì)信息進(jìn)行調(diào)度吧。

容錯(cuò)：

Hive: 依賴(lài)于Hadoop的容錯(cuò)能力。

Impala:在查詢(xún)過(guò)程中，沒(méi)有容錯(cuò)邏輯，如果在執(zhí)行過(guò)程中發(fā)生故障，則直接返回錯(cuò)誤（這與Impala的設(shè)計(jì)有關(guān)，因?yàn)镮mpala定位于實(shí)時(shí)查詢(xún)，一次查詢(xún)失敗，再查一次就好了，再查一次的成本很低）。但從整體來(lái)看，Impala是能很好的容錯(cuò)，所有的Impalad是對(duì)等的結(jié)構(gòu)，用戶(hù)可以向任何一個(gè)Impalad提交查詢(xún)，如果一個(gè)Impalad失效，其上正在運(yùn)行的所有Query都將失敗，但用戶(hù)可以重新提交查詢(xún)由其它Impalad代替執(zhí)行，不會(huì)影響服務(wù)。對(duì)于State Store目前只有一個(gè)，但當(dāng)State Store失效，也不會(huì)影響服務(wù)，每個(gè)Impalad都緩存了StateStore的信息，只是不能再更新集群狀態(tài)，有可能會(huì)把執(zhí)行任務(wù)分配給已經(jīng)失效的Impalad執(zhí)行，導(dǎo)致本次Query失敗。

適用面：

Hive: 復(fù)雜的批處理查詢(xún)?nèi)蝿?wù)，數(shù)據(jù)轉(zhuǎn)換任務(wù)。

Impala：實(shí)時(shí)數(shù)據(jù)分析，因?yàn)椴恢С諹DF，能處理的問(wèn)題域有一定的限制，與Hive配合使用,對(duì)Hive的結(jié)果數(shù)據(jù)集進(jìn)行實(shí)時(shí)分析。

Impala 與Hive都是構(gòu)建在Hadoop之上的數(shù)據(jù)查詢(xún)工具，但是各有不同側(cè)重，那么我們為什么要同時(shí)使用這兩個(gè)工具呢？單獨(dú)使用Hive或者Impala不可以嗎？

一、介紹Impala和Hive

（1）Impala和Hive都是提供對(duì)HDFS/Hbase數(shù)據(jù)進(jìn)行SQL查詢(xún)的工具，Hive會(huì)轉(zhuǎn)換成MapReduce，借助于YARN進(jìn)行調(diào)度從而實(shí)現(xiàn)對(duì)HDFS的數(shù)據(jù)的訪問(wèn)，而Impala直接對(duì)HDFS進(jìn)行數(shù)據(jù)查詢(xún)。但是他們都是提供如下的標(biāo)準(zhǔn)SQL語(yǔ)句，在機(jī)身里運(yùn)行。

（2）Apache Hive是MapReduce的高級(jí)抽象，使用HiveQL,Hive可以生成運(yùn)行在Hadoop集群的MapReduce或Spark作業(yè)。Hive最初由Facebook大約在2007年開(kāi)發(fā),現(xiàn)在是Apache的開(kāi)源項(xiàng)目。

Apache Impala是高性能的專(zhuān)用SQL引擎，使用Impala SQL，因?yàn)镮mpala無(wú)需借助任何的框架，直接實(shí)現(xiàn)對(duì)數(shù)據(jù)塊的查詢(xún)，所以查詢(xún)延遲毫秒級(jí)。Impala受到Google的Dremel項(xiàng)目啟發(fā)，2012年由Cloudera開(kāi)發(fā)，現(xiàn)在是Apache開(kāi)源項(xiàng)目。

二、Impala和Hive有什么不同？

（1）Hive有很多的特性：

1、對(duì)復(fù)雜數(shù)據(jù)類(lèi)型（比如arrays和maps）和窗口分析更廣泛的支持 2、高擴(kuò)展性 3、通常用于批處理

（2）Impala更快

1、專(zhuān)業(yè)的SQL引擎，提供了5x到50x更好的性能 2、理想的交互式查詢(xún)和數(shù)據(jù)分析工具 3、更多的特性正在添加進(jìn)來(lái)

三、高級(jí)概述：

四、為什么要使用Hive和Impala?

1、為數(shù)據(jù)分析人員帶來(lái)了海量數(shù)據(jù)分析能力,不需要軟件開(kāi)發(fā)經(jīng)驗(yàn),運(yùn)用已掌握的SQL知識(shí)進(jìn)行數(shù)據(jù)的分析。

2、比直接寫(xiě)MapReduce或Spark具有更好的生產(chǎn)力，5行HiveQL/Impala SQL等同于200行或更多的Java代碼。

3、提供了與其他系統(tǒng)良好的互操作性，比如通過(guò)Java和外部腳本擴(kuò)展，而且很多商業(yè)智能工具支持Hive和Impala。

五、Hive和Impala使用案例

（1）日志文件分析

日志是普遍的數(shù)據(jù)類(lèi)型，是當(dāng)下大數(shù)據(jù)時(shí)代重要的數(shù)據(jù)源，結(jié)構(gòu)不固定，可以通過(guò)Flume和kafka將日志采集放到HDFS，然后分析日志的結(jié)構(gòu)，根據(jù)日志的分隔符去建立一個(gè)表，接下來(lái)運(yùn)用Hive和Impala 進(jìn)行數(shù)據(jù)的分析。例如：

（2）情感分析：很多組織使用Hive或Impala來(lái)分析社交媒體覆蓋情況。例如：

（3）商業(yè)智能：很多領(lǐng)先的BI工具支持Hive和Impala

優(yōu)點(diǎn)：支持SQL查詢(xún)，快速查詢(xún)大數(shù)據(jù)。可以對(duì)已有數(shù)據(jù)進(jìn)行查詢(xún)，減少數(shù)據(jù)的加載，轉(zhuǎn)換。多種存儲(chǔ)格式可以選擇（Parquet, Text, Avro, RCFile, SequeenceFile）。可以與Hive配合使用。

缺點(diǎn)：不支持用戶(hù)定義函數(shù)UDF。不支持text域的全文搜索。不支持Transforms。不支持查詢(xún)期的容錯(cuò)。對(duì)內(nèi)存要求高。

1、Impala 外部 Shell

Impala外部Shell 就是不進(jìn)入Impala內(nèi)部，直接執(zhí)行的ImpalaShell 例如通過(guò)外部Shell查看Impala幫助可以使用：$ impala-shell -h這樣就可以查看了；

再例如顯示一個(gè)SQL語(yǔ)句的執(zhí)行計(jì)劃：$ impala-shell -p select count(*) from t_stu

下面是Impala的外部Shell的一些參數(shù)：

? -h （--help） 幫助

? -v （--version） 查詢(xún)版本信息

? -V （--verbose） 啟用詳細(xì)輸出

? --quiet 關(guān)閉詳細(xì)輸出

? -p 顯示執(zhí)行計(jì)劃

? -i hostname （--impalad=hostname） 指定連接主機(jī)格式hostname：port 默認(rèn)端口21000

? -r（--refresh_after_connect）刷新所有元數(shù)據(jù)

? -q query （--query=query） 從命令行執(zhí)行查詢(xún)，不進(jìn)入impala-shell

? -d default_db （--database=default_db） 指定數(shù)據(jù)庫(kù)

? -B（--delimited）去格式化輸出

? --output_delimiter=character 指定分隔符

? --print_header 打印列名

? -f query_file（--query_file=query_file）執(zhí)行查詢(xún)文件，以分號(hào)分隔

? -o filename （--output_file filename） 結(jié)果輸出到指定文件

??-c 查詢(xún)執(zhí)行失敗時(shí)繼續(xù)執(zhí)行

? -k （--kerberos） 使用kerberos安全加密方式運(yùn)行impala-shell

? -l 啟用LDAP認(rèn)證

? -u 啟用LDAP時(shí)，指定用戶(hù)名

2、Impala內(nèi)部Shell

使用命令$ impala-sehll可以進(jìn)入impala，在這里可以像Hive一樣正常使用SQL，而且還有一些內(nèi)部的impala命令：

? help

? connect 連接主機(jī)，默認(rèn)端口21000

? refresh 增量刷新元數(shù)據(jù)庫(kù)

? invalidate metadata 全量刷新元數(shù)據(jù)庫(kù)

? explain 顯示查詢(xún)執(zhí)行計(jì)劃、步驟信息

? set explain_level 設(shè)置顯示級(jí)別（0,1,2,3）

? shell 不退出impala-shell執(zhí)行Linux命令

? profile （查詢(xún)完成后執(zhí)行） 查詢(xún)最近一次查詢(xún)的底層信息

例：查看幫助可以直接使用:help，要刷新一個(gè)表的增量元數(shù)據(jù)可以使用refresh t_stu;

hive的元數(shù)據(jù)存儲(chǔ)在/user/hadoop/warehouse

Impala的內(nèi)部表也在/user/hadoop/warehouse。

那兩者怎么區(qū)分，看前面的第一列。

下面是Impala對(duì)文件的格式及壓縮類(lèi)型的支持

? 添加分區(qū)方式

– 1、partitioned by 創(chuàng)建表時(shí)，添加該字段指定分區(qū)列表

– 2、使用alter table 進(jìn)行分區(qū)的添加和刪除操作

create table t_person(idint, namestring, ageint) partitioned by (typestring);

alter table t_person add partition (sex=‘man');alter table t_person drop partition (sex=‘man');alter table t_person drop partition (sex=‘man‘,type=‘boss’);

? 分區(qū)內(nèi)添加數(shù)據(jù)

insert into t_person partition (type='boss') values (1,’zhangsan’,18),(2,’lisi’,23)

insert into t_person partition (type='coder') values(3,wangwu’,22),(4,’zhaoliu’,28),(5,’tianqi’,24)

? 查詢(xún)指定分區(qū)數(shù)據(jù)

selectid,namefromt_personwheretype=‘coder

進(jìn)行數(shù)據(jù)分區(qū)將會(huì)極大的提高數(shù)據(jù)查詢(xún)的效率，尤其是對(duì)于當(dāng)下大數(shù)據(jù)的運(yùn)用，是一門(mén)不可或缺的知識(shí)。那數(shù)據(jù)怎么創(chuàng)建分區(qū)呢？數(shù)據(jù)怎樣加載到分區(qū)

一、??Impala/Hive按State分區(qū)Accounts

（1）示例：accounts是非分區(qū)表

通過(guò)以上方式創(chuàng)建的話(huà)，數(shù)據(jù)就存放在accounts目錄里面。那么，如果Loudacre大部分對(duì)customer表的分析是按state來(lái)完成的？比如：

這種情況下如果數(shù)據(jù)量很大，為了避免全表掃描的發(fā)生，我們可以去創(chuàng)建分區(qū)。如果不創(chuàng)建分區(qū)的話(huà)，它會(huì)默認(rèn)所有查詢(xún)不得不掃描目錄的所有文件。創(chuàng)建分區(qū)按state將數(shù)據(jù)存儲(chǔ)到不同的子目錄，當(dāng)按照“NY”的條件進(jìn)行查詢(xún)的時(shí)候，它只會(huì)掃描到子目錄，下面我具體來(lái)看一下分區(qū)創(chuàng)建。

二、分區(qū)創(chuàng)建

（1）使用PARTITIONED BY來(lái)創(chuàng)建分區(qū)表

在這里注意state是被刪除掉的，因?yàn)樗鳛榉謪^(qū)字段，我們知道分區(qū)數(shù)據(jù)是不會(huì)出現(xiàn)在實(shí)際的文件當(dāng)中的，所以state作為分區(qū)字段是不會(huì)出現(xiàn)在列當(dāng)中的。換句話(huà)說(shuō)，分區(qū)鍵就是一個(gè)虛列，它是不會(huì)存在列當(dāng)中的。那么，如何去查看我們分區(qū)的列呢？它會(huì)出現(xiàn)在我們的結(jié)構(gòu)當(dāng)中嗎？會(huì)的。

三、查看分區(qū)列

使用DESCRIBE顯示分區(qū)列，它會(huì)出現(xiàn)在結(jié)構(gòu)最后一列，它是一個(gè)虛列，并不是真實(shí)在數(shù)據(jù)中存在的列。

我們創(chuàng)建單個(gè)分區(qū)，但有時(shí)候會(huì)有嵌套分區(qū)，如何來(lái)處理呢？

四、創(chuàng)建嵌套分區(qū)：

創(chuàng)建好了分區(qū)，我們?cè)趺醇虞d數(shù)據(jù)到分區(qū)呢？有兩種方式動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)。動(dòng)態(tài)分區(qū)是指Impala/Hive在加載的時(shí)候自動(dòng)添加新的分區(qū)，數(shù)據(jù)基于列值存儲(chǔ)到正確的分區(qū)（子目錄）。而靜態(tài)分區(qū)需要我們通過(guò)ADD PARTITION提前去定義分區(qū)的名稱(chēng)，當(dāng)加載數(shù)據(jù)的時(shí)候，指定存儲(chǔ)數(shù)據(jù)到哪個(gè)分區(qū)。

? 注意：

– 1）不能向impala的視圖進(jìn)行插入操作

– 2）insert 表可以來(lái)自視圖

? 數(shù)據(jù)文件處理

– 加載數(shù)據(jù)：

? 1、insert語(yǔ)句：插入數(shù)據(jù)時(shí)每條數(shù)據(jù)產(chǎn)生一個(gè)數(shù)據(jù)文件，不建議用此方式加載批量數(shù)據(jù)

? 2、load data方式：再進(jìn)行批量插入時(shí)使用這種方式比較合適

? 3、來(lái)自中間表：此種方式使用于從一個(gè)小文件較多的大表中讀取文件并寫(xiě)入新的表生產(chǎn)少量的數(shù)據(jù)文件。也可以通過(guò)此種方式進(jìn)行格式轉(zhuǎn)換。

– 空值處理：? impala將“\n”表示為NULL，在結(jié)合sqoop使用是注意做相應(yīng)的空字段過(guò)濾，? 也可以使用以下方式進(jìn)行處理：alter table name set tblproperties(“serialization.null.format”=“null”)

--指定存儲(chǔ)方式：

create table t_person2(id int,name string)row format delimited fields terminated by ‘\0’ (impala1.3.1版本以上支持‘\0’ ) storedastextfile;--其他方式創(chuàng)建內(nèi)部表--使用現(xiàn)有表結(jié)構(gòu)：create table tab_3 like tab_1;

--指定文本表字段分隔符：alter table tab_3setserdeproperties(‘serialization.format’=‘,’,’field.delim’=‘,’);

--插入數(shù)據(jù)--直接插入值方式：insert into t_person values (1,hex(‘hello world’));

--從其他表插入數(shù)據(jù)：insert (overwrite) into tab_3select*form tab_2 ;

-批量導(dǎo)入文件方式方式：load data local inpath ‘/xxx/xxx’ into table tab_1;

--創(chuàng)建表(外部表)--默認(rèn)方式創(chuàng)建表：create external table tab_p1(id int,name string) location ‘/user/xxx.txt’

--指定存儲(chǔ)方式：create external table tab_p2 like parquet_tab ‘/user/xxx/xxx/1.dat’ partition (yearint, month tinyint, day tinyint) location ‘/user/xxx/xxx’ storedasparquet;

--視圖--創(chuàng)建視圖： create view v1asselectcount(id)astotalfromtab_3 ;--查詢(xún)視圖：select*fromv1;--查看視圖定義：describe formatted v1

數(shù)據(jù)文件處理：加載數(shù)據(jù)：1/ insert語(yǔ)句 插入語(yǔ)句時(shí)每條數(shù)據(jù)產(chǎn)生一個(gè)數(shù)據(jù)文件 不建議使用此方式加載批量數(shù)據(jù)

2/ load data方式：在進(jìn)行批量插入時(shí)使用這種方式比較合適

3/? 來(lái)自中間表：此種方式使用于從一個(gè)小文件較多的大表中讀取文件并寫(xiě)入新表產(chǎn)生少量的數(shù)據(jù)文件

空值處理：impala將"\n"表示為null 結(jié)合sqoop使用時(shí)注意做相應(yīng)的空字段過(guò)濾

使用以下方式進(jìn)行處理：alter table name set tblproperties("serialization.null.format"="null");

Impala可以通過(guò)Hive外部表方式和HBase進(jìn)行整合，步驟如下：

? 步驟1：創(chuàng)建hbase 表，向表中添加數(shù)據(jù)

create 'test_info', 'info'

put 'test_info','1','info:name','zhangsan’

put 'test_info','2','info:name','lisi'

步驟2：創(chuàng)建hive表

CREATE EXTERNAL TABLE test_info(key string,name string )

ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'

STORED by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,info:name")

TBLPROPERTIES

("hbase.table.name" = "test_info");

步驟3：刷新Impala表

invalidate metadata

impala jdbc 訪問(wèn)：

? 配置：

– impala.driver=org.apache.hive.jdbc.HiveDriver

– impala.url=jdbc:hive2://node2:21050/;auth=noSasl

– impala.username=

– impala.password=

? 盡量使用PreparedStatement執(zhí)行SQL語(yǔ)句：

– 1.性能上PreparedStatement要好于Statement

– 2.Statement存在查詢(xún)不出數(shù)據(jù)的情況

性能優(yōu)化：

要點(diǎn)：

? 1、SQL優(yōu)化，使用之前調(diào)用執(zhí)行計(jì)劃

? 2、選擇合適的文件格式進(jìn)行存儲(chǔ)

? 3、避免產(chǎn)生很多小文件（如果有其他程序產(chǎn)生的小文件，可以使用中間表）

? 4、使用合適的分區(qū)技術(shù)，根據(jù)分區(qū)粒度測(cè)算

? 5、使用compute stats進(jìn)行表信息搜集

? 6、網(wǎng)絡(luò)io的優(yōu)化：– a.避免把整個(gè)數(shù)據(jù)發(fā)送到客戶(hù)端

– b.盡可能的做條件過(guò)濾

– c.使用limit字句

– d.輸出文件時(shí)，避免使用美化輸出

? 7、使用profile輸出底層信息計(jì)劃，在做相應(yīng)環(huán)境優(yōu)化

? 8、如果是刷新表的新增元數(shù)據(jù)要使用refresh 表名 來(lái)刷新，不要使用impala-shell -r 或? invalidate metadata

? 9、如果執(zhí)行SQL的結(jié)果內(nèi)容較多的話(huà)可以使用 impala-shell -B 將一些不必要的樣式輸出去掉