【ETL】系列三:Kettle Spoon數(shù)據(jù)庫連接

這節(jié)主要說Kettle的數(shù)據(jù)庫連接方式和常見問題的解決方案。

你可能會問,數(shù)據(jù)庫連接有什么好說的?一看就會呀,為什么作為產(chǎn)品經(jīng)理,需要將數(shù)據(jù)庫連接作為一節(jié)單獨說?

因為回憶起來也都是淚啊!!!!!!

都是淚

說正經(jīng)的,對于產(chǎn)品來說,Kettle的數(shù)據(jù)庫連接方式還是有很多的借鑒意義的。

價值一:科普價值,不要被開發(fā)鄙視到塵埃里

你系統(tǒng)地知道有哪些類型的數(shù)據(jù)庫么?你知道有幾種數(shù)據(jù)庫的連接方式么?你知道不同數(shù)據(jù)庫類型的連接參數(shù)有哪些么?你知道如何更好地進行數(shù)據(jù)源管理么?

坦白說,在做TO C產(chǎn)品時,距離數(shù)據(jù)庫比較遠,自己也沒有怎么實操過連接數(shù)據(jù)庫去查看數(shù)據(jù);在轉(zhuǎn)到TO B產(chǎn)品時,每天都和數(shù)據(jù)打交道,數(shù)據(jù)庫相關(guān)的知識不可缺少。

而kettle作為工具集,可以管理不同數(shù)據(jù)庫的數(shù)據(jù),以上的疑問,你都可以獲得答案。

價值二:專業(yè)價值,為TO B 產(chǎn)品的數(shù)據(jù)庫模塊產(chǎn)品設(shè)計方式提供參考

數(shù)據(jù)處理工具,經(jīng)常涉及到數(shù)據(jù)庫管理,其中,數(shù)據(jù)庫的添加/編輯/測試是基礎(chǔ)功能,一般也有通用的設(shè)計規(guī)范。作為產(chǎn)品經(jīng)理來說,kettle的設(shè)計也是值得借鑒的。

價值三:應(yīng)用價值,熟練使用Kettle數(shù)據(jù)庫連接方式提升工作效率

工具主要是提升效率,在工具類產(chǎn)品產(chǎn)品經(jīng)理的日常工作中,還需要對業(yè)務(wù)方進行產(chǎn)品的培訓(xùn),使用Kettle工具更高效地進行操作,是工具使用業(yè)務(wù)方需要掌握的,也是產(chǎn)品需要同步到位的。

言歸正傳,下文將介紹從Kettle Spoon客戶端的數(shù)據(jù)庫連接方式、關(guān)于全局數(shù)據(jù)源和局部數(shù)據(jù)源、可能出現(xiàn)的問題和解決方案等模塊進行介紹。

一、Kettle Spoon客戶端的數(shù)據(jù)庫連接方式

打開Kettle Spoon,可以在【文件】-【數(shù)據(jù)庫連接】、【DB連接】等入口進行數(shù)據(jù)庫的連接。? ??

數(shù)據(jù)庫連接入口示例1


數(shù)據(jù)庫連接入口示例2

在數(shù)據(jù)庫連接界面,我們可以看到創(chuàng)建數(shù)據(jù)源時需要配置相應(yīng)的參數(shù),這塊主要根據(jù)數(shù)據(jù)庫類型進行相應(yīng)的配置。可是有2種方式來獲取數(shù)據(jù)庫。

方式一:數(shù)據(jù)庫表連接信息固定值輸入

一般情況下,會選擇【一般】,輸入【連接名稱】,選擇【連接類型】如MySQL,連接方式默認為【Native(JDBC)】,不同的連接類型需要配置的具體參數(shù)略有不同。

數(shù)據(jù)庫連接界面

填寫好數(shù)據(jù)庫連接信息后,點擊”測試”按鈕,進行數(shù)據(jù)庫連接的驗證。

數(shù)據(jù)庫連接測試成功

方式二:數(shù)據(jù)庫表連接信息變量值選擇

kettle中如果輸入框末尾出現(xiàn)$符號標識說明此處可以使用變量參數(shù)來定義,數(shù)據(jù)庫連接的主機名稱、數(shù)據(jù)庫名稱、端口號、用戶名、密碼等配置信息即可選擇變量值。

變量值的選擇需要進行如下步驟:

1、在安裝目錄下找到“.kettle”文件夾,找到kettle.properties文件;

Kettle.properties文件


2、使用編輯器打開kettle.properties文件,在文件底部添加新的數(shù)據(jù)庫連接信息后保存文件。

變量信息示例:

kettle_mysql_host=10.11.255.60

kettle_mysql_port=63306

kettle_mysql_database=kett***

kettle_mysql_username=root

kettle_mysql_password=Encrypted************09409fe62d2b38cff

說明:

等號“=”左側(cè)為變量名稱,右側(cè)為變量值。變量名稱需要與已有的數(shù)據(jù)庫連接中變量名稱不同。

Kettle.properties文件中數(shù)據(jù)庫表變量信息示例


除了在“.kettle”文件夾下找到kettle.properties文件進行編輯之外,還可以在Spoon 的【編輯】-【編輯kettle.properties】進行編輯。

Kettle Spoon客戶端編輯入口
編輯kettle.properties數(shù)據(jù)庫表變量信息示例

注意:對于ETL運行過程中,數(shù)據(jù)庫也是分環(huán)境的,可以根據(jù)不同的數(shù)據(jù)庫環(huán)境下的連接信息,kettle.properties保存多份連接信息,方便切換環(huán)境進行數(shù)據(jù)庫連接。

3、進入數(shù)據(jù)庫連接界面,在輸入框中添加存在于kettle.properties文件的變量名。

變量名必須事先在kettle.properties文件定義,可以通過以下2個操作來添加。

????變量名輸入,注意輸入格式為“${變量名}”

????變量名選擇,使用CTRL-ALT-SPACE選擇一個變量

選擇變量的快捷鍵
選擇變量名

4、填寫好數(shù)據(jù)庫連接信息后,點擊”測試”按鈕,進行數(shù)據(jù)庫連接的驗證。

數(shù)據(jù)庫連接測試成功

二、關(guān)于全局數(shù)據(jù)源和局部數(shù)據(jù)源

Kettle中對于數(shù)據(jù)源有作用域的定義,也就是說有局部數(shù)據(jù)源和全局數(shù)據(jù)源兩種。

?從上文可以看到,在kettle.properties文件中定義好的數(shù)據(jù)庫信息,可以作為全局數(shù)據(jù)源來使用,在后續(xù)的轉(zhuǎn)化腳本和工作腳本可以使用數(shù)據(jù)庫信息。

關(guān)于變量的配置,有2種,一種是永久性,一種是臨時性,永久性是存在于用戶名稱下面的.kettle文件夾中的kettle.properties文件,適用于所有的轉(zhuǎn)化文件和工作文件。

臨時性的變量配置是屬于某個配置的轉(zhuǎn)換文件或工作文件。


設(shè)置環(huán)境變量入口

點開后可以進行環(huán)境變量配置,如下圖。

設(shè)置環(huán)境變量

另外,數(shù)據(jù)庫配置成功后默認情況下數(shù)據(jù)源作用域為局部數(shù)據(jù)源,也可以通過右擊【DB連接】中的數(shù)據(jù)庫名稱進行【共享】操作,將該數(shù)據(jù)源變更為全局數(shù)據(jù)源。

共享數(shù)據(jù)源界面

那如何查看數(shù)據(jù)源是否為全局數(shù)據(jù)?

有兩種方式,一種是直接打開轉(zhuǎn)化腳本或者作業(yè)腳本查看數(shù)據(jù)源,黑色粗體字為已共享的全局數(shù)據(jù)源;

另一種是直接打開當前用戶下.kettle文件夾中的shared.xml文件是否有對應(yīng)的數(shù)據(jù)源名稱,如果有則表示是全局數(shù)據(jù)源名稱。

.kettle文件夾中的 shared.xml文件

三、數(shù)據(jù)庫連接的可能出現(xiàn)的問題和解決方案

顯示測試連接參數(shù)信息,如果連接錯誤則會顯示JAVA連接錯誤信息,一般連接錯誤會是以下幾種情況:

問題一:? 缺少數(shù)據(jù)庫驅(qū)動包

解決方案可以參考:Kettle連接MySQL數(shù)據(jù)庫出現(xiàn)問題,連接不上

問題二:數(shù)據(jù)庫無法正常訪問

解決方案:檢查數(shù)據(jù)庫是否正常訪問,正常訪問后重試

問題三:?數(shù)據(jù)庫連接參數(shù)配置錯誤

解決方案:檢查數(shù)據(jù)庫連接參數(shù),注意空格等,密碼不要直接快捷鍵粘貼,而是右鍵粘貼等

以上幾種情況僅供參考。

四、kettle.properties變量未生效的原因

kettle.properties文件中的數(shù)據(jù)庫變量名在界面上未出現(xiàn),可能有如下幾種情況:

問題一、.kettle文件夾中的kettle.properties文件不在C盤用戶文件夾下,導(dǎo)致未讀取到kettle.properties

解決方案:將.kettle文件夾復(fù)制一份到【C盤】-【用戶】文件夾下

問題二:Spoon客戶端開啟中,沒有獲取到最新的kettle.properties信息

解決方案:重啟spoon后,再打開。

以上是Kettle Spoon數(shù)據(jù)庫連接的分享,雖然數(shù)據(jù)庫連接不是很難,網(wǎng)上的教程也比較多,但是在實際操作過程中,還是會遇到問題,以上分享算是最新的總結(jié)吧,希望可以給你幫助。


參考文件:

1.【Kettle從零開始】第三彈之Kettle數(shù)據(jù)源連接配置

2.kettle環(huán)境變量的配置問題

3.[2019 ETL ] Kettle 8.2 怎么連數(shù)據(jù)庫資源庫

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,563評論 6 544
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,694評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,672評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,965評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,690評論 6 413
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 56,019評論 1 329
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,013評論 3 449
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 43,188評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,718評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 41,438評論 3 360
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,667評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,149評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 44,845評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,252評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,590評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,384評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,635評論 2 380

推薦閱讀更多精彩內(nèi)容