啥時候snappy可以分割了？？？
數倉--Hive-面試之Hive支持的文件格式和壓縮格式及各自特點Hive中的文件格式 1-TEXTFILE 文本格式，Hive的默認格式，數據不壓縮，磁盤開銷大、數據解析開銷大。 對應的hive API為：org.apache.hadoo...
發簡信
IP屬地：上海
-
-
HBase編譯安裝(單機版)
1、環境描述 jdk：jdk1.8.0_45 maven：3.3.9 hadoop:2.6.0-cdh5.14.0 其他：因為前期編譯過hadoop等組件，所以配套的git、...
-
spark學習二RDD（Core部分）
1、簡介 RDD（Resilient Distributed Dataset）叫做彈性分布式數據集，是Spark中最基本的數據抽象，它代表一個不可變、可分區、里面的元素可并行...
-
spark學習一初識、編譯、安裝
spark簡介： Spark學習之路 （一）Spark初識 - 扎心了，老鐵 - 博客園 1、下載 地址：http://spark.apache.org/downloads....
-
kafka安裝、使用
kafka運行需要zookeeper、scala2.11、jdk支撐 版本：kafka_2.11-0.10.0.1.tgz（2.11指的是scala版本，0.10.0.1才是...
-
Hive學習-高級版五（壓縮和存儲）hive的壓縮本質上指的是MapReduce的壓縮，因為hive其實就是MapReduce的高級語言版(SQL)，hive SQL底層的運行也都是解析成MapReduce程序...
-
Zookeeper學習-（原生API和Curator API）
原生API： package com.ruozedata.zookeeperimport org.apache.zookeeper.Watcher.Eventimport o...
-
Hive學習-高級版四（Hue使用）
hue的HA模式和非HA模式配置略有差別 安裝： HUE安裝及問題 - CSDN博客 hue 安裝筆記 - CSDN博客 問題： 安裝Hue后的一些功能的問題解決干貨總結（博...
-
Flume學習二（數據采集場景模擬）1、單Agent模式 場景說明： source采用netcat（可以直接通過Telnet命令做數據測試），channel統一采用memory，sink在這里采用HDFS si...
-
Flume學習一（基本source、channel、sink）
默認命名如下： a1.sources = r1a1.sinks = k1a1.channels = c1 c2 c3 c4agent_name：a1 source_nam...
-
Hive學習-高級版三（元數據梳理）hive的數據分為兩部分，一部分是真實的數據文件，存放在hdfs上，另一份是真實數據的元數據（即數據的描述信息，比如說存儲位置、時間、大小之類的），一般存放在mysql中，存...
-
Hive學習-高級版二（map、array、struct數據類型）
1、array數據類型 創建表： 示例數據： 插入數據： size函數：查詢數組長度（map類型也適用） 取數據： array_contains函數：判斷數組是否包含指定元素...
-
Hive學習-高級版一（其他客戶端使用介紹）
操作hive的方法前面只介紹了hive客戶端方式，但是被官方定義為過時（雖然還是最常用的），其他操作hive的方式有beeline、webUI、JavaAPI(官方最推薦的方...
-
-
Hive學習-Hive基本操作（function、udf）該篇主要是為了整理常用的function使用和開發自定義function的，hive雖說語法類似于mysql，但是mysql默認的dual表并不存在，需要自己手動創建一下，為...