本例中HAWQ環境采用Ambari方式搭建,實例分布
bd1: HAWQ-Master, Segment
bd2: Segment
bd3: Segment
準備工作
- 在3臺主機上分別創建/data/hawq/files目錄,并分別添加文件f1.txt。文本格式如下(注意內容不要相同,便于后面觀察):
Spark|100|high|專家|2016-11-08
HAWQ|60| medium |入門|2016-11-08 - 創建日志目錄/data/hawq/logs
導入流程
- 在所有有數據的主機上開啟文件服務
gpfdist -d /data/hawq/files -p 8081 -l /data/hawq/logs/log &
默認最大行為32k,可以使用-m修改最大行長度,如下:
gpfdist -d /data/hawq/files -p 8081 -l /data/hawq/logs/log -m 655350 &
創建數據庫
CREATE DATABASE testdb;
\c testdb創建外部表
CREATE EXTERNAL TABLE table_ext
(name TEXT,amount TEXT,level TEXT,title TEXT,time timestamp)
LOCATION('gpfdist://bd1:8081/f1.txt','gpfdist://bd2:8081/f1.txt','gpfdist://bd3:8081/f1.txt')
FORMAT 'TEXT'(DELIMITER '|');導入數據
CREATE TABLE t as SELECT * FROM table_ext;
若表已經存在
INSERT INTO t SELECT * FROM table_ext;