介紹 最近涉及 Nginx 輸出的埋點日志，實時接入 Kafka，我需要實時解析 Kafka 中埋點日志，但是在解析過程中，出現 \x22 這樣的字符，使我不能將字符串解析...
發簡信
IP屬地：內蒙古
-
Java或Scala，如何將\x22這樣的字符轉換為字符串？
-
深入理解 Java 中的 final 關鍵字
概述 Java 中的 final 關鍵字非常重要，它可以應用與類、方法以及變量。這篇文章中我將帶你看看： 什么是 final 關鍵字？ 將變量、方法和類聲明為 final 代...
-
Java 不可變類（immutable）機制與 String 的不可變性
不可變類介紹 不可變類： 所謂的不可變類是指這個類的實例一旦創建完成后，就不能修改其成員變量值。如JDK 內部自帶的很多不可變類：Integer、Long 和 String ...
-
-
SQL 中 on 條件與 where 條件的區別說明 最近在做 Hive 事實表 left join 多張維表時，出現了部分數據丟失的情況（結果表數據量比原始事實表少 10000 多條），針對該問題研究，讓我對 SQL o...
-
Hive 查詢數據導出到本地目錄或 hdfs 的方法
說明 在最近的項目中，需要將最終生成的 Hive 表數據導出到文件中，具體實現請參見下方 SQL。 查詢結果導入到 hdfs 文件 一般方式： 自定義輸出樣式方式： 查詢結果...
-
Scala編程中常見錯誤：Error:(28, 21) value foreach is not a member of java.util.List[String]
問題展示 在 Scala 編程中經常會使用 Java 的集合類型，但是使用中會出現如下錯誤： java.util.List[String] 2.java.util.Set[S...
-
Apache Flink 1.7.0 發布公告
Apache Flink社區很高興地宣布Apache Flink 1.7.0。最新版本包括超過420個已解決的問題以及Flink的一些令人興奮的新增內容，我們將在本文的以下部...
-
rz和sz 的安裝及使用
簡介 rz,sz 是 Linux/Unix 同 Windows 進行 ZModem 文件傳輸的命令行工具。優點：不用再打開一個 sftp 工具登錄上去上傳下載文件。 rz：運...
-
Shell 中 if 語句的使用
基本用法 Shell 的 if 語法 和 C 語言等高級語言非常相似，唯一需要注意的地方就是 Shell 的 if 語句對空格方面的要求比較嚴格（其實 Shell 對所有語法...
-
DataX 流量和臟數據控制
job的配置 Job基本配置Job基本配置定義了一個Job基礎的、框架級別的配置信息，包括： Job Setting配置 job.setting.speed(流量控制)Job...
-
MySQL 中 Insert into select from 的使用
如何在 MySQL 通過一個 SQL 語句，實現從多個表中組合字段然后插入到一個新表中。具體情形是：有三張表 a、b、c，現在需要從表 b 和 表 c 中分別查幾個字段的值插...
-
DataX HdfsWriter 插件文檔
快速介紹 HdfsWriter 提供向 HDFS 文件系統指定路徑中寫入 TEXTFILE 文件和 ORCFile 文件，文件內容可與 Hive 表關聯。 功能限制 (1) ...
-
MysqlReader 插件文檔
快速介紹 MysqlReader 插件實現了從 MySQL 讀取數據。在底層實現上，MysqlReader 通過 JDBC 連接遠程 MySQL 數據庫，并執行相應的 SQL...
-
Power Designer16.5設計CDM多個實體屬性不能重名問題概述 最近項目使用到 PD ，在使用PD 的實體模型時，多個實體中不能出現重名屬性的問題，下方是解決方案。 操作 1.菜單欄：Tools——>Model Options 2....
-
ETL設計詳解（數據抽取、清洗與轉換）
概述 ETL是BI項目最重要的一個環節，通常情況下ETL會花掉整個項目的1/3的時間，ETL設計的好壞直接關接到BI項目的成敗。ETL也是一個長期的過程，只有不斷的發現問題并...
-
Shell ETL 操作
刪除文件第一行記錄，即字段名稱 處理的文件第一行都是字段名稱，我們在文件中的數據導入到數據倉庫Hive中時，不需要第一行字段名稱，因此，這里在做數據預處理時，刪除第一行。命令...
-
grep -v、-e、-E
概述 在Linux的grep命令中如何使用or，and，not操作符呢？ 其實，在grep命令中，有or和not操作符的等價選項，但是并沒有grep and這種操作符。不過呢...
