發簡信
IP屬地：廣東
-
windows本機搭建Hadoop環境
記錄一下整個過程： 一、下載Hadoop安裝包 官網下載Hadoop 2.6，并配置相關環境變量，自行百度 下載hadooponwindows-...
-
kettle8.0源碼編譯kettle作為一款開源etl工具，在數據倉庫領域的應用還算是比較廣泛的，做過數倉的朋友應該都知道，在做etl開發的時候，對于參數變量的引用是時...
-
接入es數據到hdfs
最近接到一個需求，需要接入es日志數據到hdfs，進行分析，網上查找了一下資料，總結一下方法大致有如下幾種 hive本身直接支持連接es可直接參...
-
Flume實時接入
今天花了半天時間抽空看了一下flume實時接入，結合數據倉庫中有部分報表有著準實時刷新的需求，需要抽數階段近乎實時，為后面統計計算節省時間。雖然...
-
【數據倉庫】元數據血緣分析
現在數據倉庫基本上采用Hadoop平臺了，那么數據倉庫里面元數據的血緣分析的思路有哪些呢 基本上有下面這兩種思路： 1、解析hql腳本，通過正則...
-
本機調試spark程序一、idea新建maven項目，配置pom.xml 二、下載jar包hadoop-common-2.2.0-bin-master.zip 下載地...
-
spark使用JavaAPI統計文本出現的字符頻率最高的前五package com.neo.spark; import org.apache.spark.SparkConf; import org.apa...
-
idea 打包Java程序最近開始學習Java，年紀大了，感覺學起東西來，有點力不從心了，好在經過努力和同事的幫助下，順利的解決了問題。 idea工具打包的流程： 1、F...