轉載自JavaChen Blog,作者:JavaChen
原文鏈接地址:http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html
參考上面基本配置,添加了部分配置
本文主要記錄 cdh hadoop 集群集成 ldap 的過程,這里 ldap 安裝的是 OpenLDAP 。LDAP 用來做賬號管理,Kerberos作為認證。CDH集群已經開啟Kerberos認證。
一、環境說明
軟件版本
- 操作系統:CentOs 6.8
- CDH版本:Hadoop 2.6.0-cdh5.9.0
- JDK版本:jdk1.7.0_67-cloudera
- OpenLDAP 版本:openldap-2.4.40-16.el6.x86_64
- Kerberos 版本:1.10.3-65.el6
- 運行用戶:root
集群主機角色劃分
- sunmvm20 作為master節點,安裝 openldap服務端
- [sunmvm26-sunmvm28]作為slave節點,安裝 openldap 客戶端
二、安裝服務端
1.安裝
同安裝 kerberos 一樣,這里使用 sunmvm20 作為服務端安裝 openldap。
$ yum install db4 db4-utils db4-devel cyrus-sasl* krb5-server-ldap -y
$ yum install openldap openldap-servers openldap-clients openldap-devel compat-openldap -y
查看安裝的版本:
$ rpm -qa openldap
openldap-2.4.40-16.el6.x86_64
$ yum list all | grep krb5-server-ldap
krb5-server-ldap.i686 1.10.3-65.el6 base
krb5-server-ldap.x86_64 1.10.3-65.el6 base
2.LDAP 服務端配置
更新配置庫:
rm -rf /var/lib/ldap/*
cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG
chown -R ldap.ldap /var/lib/ldap
在2.4以前的版本中,OpenLDAP 使用 slapd.conf 配置文件來進行服務器的配置,而2.4開始則使用 slapd.d 目錄保存細分后的各種配置,這一點需要注意,其數據存儲位置即目錄 /etc/openldap/slapd.d 。盡管該系統的數據文件是透明格式的,還是建議使用 ldapadd, ldapdelete, ldapmodify 等命令來修改而不是直接編輯。
# 默認配置文件保存在 /etc/openldap/slapd.d,將其備份:
cp -rf /etc/openldap/slapd.d /etc/openldap/slapd.d.bak
# 添加一些基本配置,并引入 kerberos 和 openldap 的 schema:
$ cp /usr/share/doc/krb5-server-ldap-1.10.3/kerberos.schema /etc/openldap/schema/
$ vi /etc/openldap/slapd.conf
# 插入下面內容
include /etc/openldap/schema/corba.schema
include /etc/openldap/schema/core.schema
include /etc/openldap/schema/cosine.schema
include /etc/openldap/schema/duaconf.schema
include /etc/openldap/schema/dyngroup.schema
include /etc/openldap/schema/inetorgperson.schema
include /etc/openldap/schema/java.schema
include /etc/openldap/schema/misc.schema
include /etc/openldap/schema/nis.schema
include /etc/openldap/schema/openldap.schema
include /etc/openldap/schema/ppolicy.schema
include /etc/openldap/schema/collective.schema
include /etc/openldap/schema/kerberos.schema
pidfile /var/run/openldap/slapd.pid
argsfile /var/run/openldap/slapd.args
# 更新slapd.d
$ slaptest -f /etc/openldap/slapd.conf -F /etc/openldap/slapd.d
$ chown -R ldap:ldap /etc/openldap/slapd.d && chmod -R 700 /etc/openldap/slapd.d
3.啟動服務
啟動 LDAP 服務:
chkconfig --add slapd
chkconfig --level 345 slapd on
/etc/init.d/slapd start
查看狀態,驗證服務端口:
$ ps aux | grep slapd | grep -v grep
ldap 9225 0.0 0.2 581188 44576 ? Ssl 15:13 0:00 /usr/sbin/slapd -h ldap:/// -u ldap
$ netstat -tunlp | grep :389
tcp 0 0 0.0.0.0:389 0.0.0.0:* LISTEN 8510/slapd
tcp 0 0 :::389 :::* LISTEN 8510/slapd
# 如果啟動失敗,則運行下面命令來啟動 slapd 服務并查看日志:
$ slapd -h ldap://127.0.0.1 -d 481
待查明原因之后,停止該進程使用正常方式啟動 slapd 服務。
4.LDAP 和 Kerberos
在Kerberos安全機制里,一個principal就是realm里的一個對象,一個principal總是和一個密鑰(secret key)成對出現的。
這個principal的對應物可以是service,可以是host,也可以是user,對于Kerberos來說,都沒有區別。
Kdc(Key distribute center)知道所有principal的secret key,但每個principal對應的對象只知道自己的那個secret key。這也是 "共享密鑰" 的由來。
為了使 Kerberos 能夠綁定到 OpenLDAP 服務器,請創建一個管理員用戶和一個 principal,并生成 keytab 文件,設置該文件的權限為 LDAP 服務運行用戶可讀( LDAP 服務運行用戶一般為 ldap):
$ kadmin.local -q "addprinc ldapadmin@0HKJ.COM"
$ kadmin.local -q "addprinc -randkey ldap/sunmvm20@0HKJ.COM"
$ kadmin.local -q "ktadd -k /etc/openldap/ldap.keytab ldap/sunmvm20@0HKJ.COM"
# ktadd 后面的-k 指定把 key 存放在一個本地文件中。
$ chown ldap:ldap /etc/openldap/ldap.keytab && chmod 640 /etc/openldap/ldap.keytab
使用 ldapadmin 用戶測試:
kinit ldapadmin
系統會提示輸入密碼,如果一切正常,那么會安靜的返回。實際上,你已經通過了kerberos的身份驗證,且獲得了一個Service TGT(Ticket-Granting Ticket). Service TGT的意義是, 在一段時間內,你都可以用此TGT去請求某些service,比如ldap service,而不需要再次通過kerberos的認證。
確保 LDAP 啟動時使用上一步中創建的keytab文件,在 /etc/sysconfig/ldap 增加 KRB5_KTNAME 配置:
export KRB5_KTNAME=/etc/openldap/ldap.keytab
然后,重啟 slapd 服務。
5.創建數據庫
進入到 /etc/openldap/slapd.d 目錄,查看 etc/openldap/slapd.d/cn=config/olcDatabase={2}bdb.ldif 可以看到一些默認的配置,例如:
olcRootDN: cn=Manager,dc=my-domain,dc=com
olcRootPW: secret
olcSuffix: dc=my-domain,dc=com
接下來更新這三個配置,建立 modify.ldif 文件,內容如下:
dn: olcDatabase={2}bdb,cn=config
changetype: modify
replace: olcSuffix
olcSuffix: dc=0hkj,dc=com
dn: olcDatabase={2}bdb,cn=config
changetype: modify
replace: olcRootDN
# Temporary lines to allow initial setup
olcRootDN: uid=ldapadmin,ou=people,dc=0hkj,dc=com
dn: olcDatabase={2}bdb,cn=config
changetype: modify
add: olcRootPW
olcRootPW: secret
dn: cn=config
changetype: modify
add: olcAuthzRegexp
olcAuthzRegexp: uid=([^,]*),cn=GSSAPI,cn=auth uid=$1,ou=people,dc=0hkj,dc=com
dn: olcDatabase={2}bdb,cn=config
changetype: modify
add: olcAccess
# Everyone can read everything
olcAccess: {0}to dn.base="" by * read
# The ldapadm dn has full write access
olcAccess: {1}to * by dn="uid=ldapadmin,ou=people,dc=0hkj,dc=com" write by * read
說明:
- 上面的密碼使用的是明文密碼 secret ,你也可以使用 slappasswd -s secret 生成的字符串作為密碼。
- 上面的權限中指明了只有用戶 uid=ldapadmin,ou=people,dc=0hkj,dc=com 有寫權限。
使用下面命令導入更新配置:
$ ldapmodify -Y EXTERNAL -H ldapi:/// -f modify.ldif
這時候數據庫沒有數據,需要添加數據,你可以手動編寫 ldif 文件來導入一些用戶和組,或者使用 migrationtools 工具來生成 ldif 模板。創建 setup.ldif 文件如下:
dn: dc=0hkj,dc=com
objectClass: top
objectClass: dcObject
objectclass: organization
o: javachen com
dc: javachen
dn: ou=people,dc=0hkj,dc=com
objectclass: organizationalUnit
ou: people
description: Users
dn: ou=group,dc=0hkj,dc=com
objectClass: organizationalUnit
ou: group
dn: uid=ldapadmin,ou=people,dc=0hkj,dc=com
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
cn: LDAP admin account
uid: ldapadmin
sn: ldapadmin
uidNumber: 1001
gidNumber: 100
homeDirectory: /home/ldap
loginShell: /bin/bash
# 使用下面命令導入數據,密碼是前面設置的 secret 。
$ ldapadd -x -D "uid=ldapadmin,ou=people,dc=0hkj,dc=com" -w secret -f setup.ldif
參數說明:
- -w 指定密碼
- -x 是使用一個匿名的綁定
6.LDAP 的使用
接下來你可以從 /etc/passwd, /etc/shadow, /etc/groups 中生成 ldif 更新 ldap 數據庫,這需要用到 migrationtools 工具。
- 配置 migrationtools 工具
# 安裝:
$ yum install migrationtools -y
# 利用遷移工具生成模板,先修改默認的配置:
$ vim /usr/share/migrationtools/migrate_common.ph
# line 71 defalut DNS domain
$DEFAULT_MAIL_DOMAIN = "0hkj.com";
# line 74 defalut base
$DEFAULT_BASE = "dc=0hkj,dc=com";
# 生成模板文件:
/usr/share/migrationtools/migrate_base.pl > /opt/base.ldif
# 然后,可以修改該文件,然后執行導入命令:
$ ldapadd -x -D "uid=ldapadmin,ou=people,dc=0hkj,dc=com" -w secret -f /opt/base.ldif
- 添加
# 先添加用戶
$ useradd test hive
# 查找系統上的 test、hive 等用戶
$ grep -E "test|hive" /etc/passwd >/opt/passwd.txt
$ /usr/share/migrationtools/migrate_passwd.pl /opt/passwd.txt /opt/passwd.ldif
$ ldapadd -x -D "uid=ldapadmin,ou=people,dc=0hkj,dc=com" -w secret -f /opt/passwd.ldif
# 將用戶組導入到 ldap 中:
# 生成用戶組的 ldif 文件,然后導入到 ldap
$ grep -E "test|hive" /etc/group >/opt/group.txt
$ /usr/share/migrationtools/migrate_group.pl /opt/group.txt /opt/group.ldif
$ ldapadd -x -D "uid=ldapadmin,ou=people,dc=0hkj,dc=com" -w secret -f /opt/group.ldif
- 查詢
# 查詢新添加的 test 用戶:
$ ldapsearch -LLL -x -D 'uid=ldapadmin,ou=people,dc=0hkj,dc=com' -w secret -b 'dc=0hkj,dc=com' 'uid=test'
dn: uid=test,ou=people,dc=0hkj,dc=com
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
cn: test account
sn: test
uid: test
uidNumber: 1001
gidNumber: 100
homeDirectory: /home/test
loginShell: /bin/bash
- 修改
# 用戶添加好以后,需要給其設定初始密碼,運行命令如下:
$ ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=0hkj,dc=com' -w secret "uid=test,ou=people,dc=0hkj,dc=com" -S
- 刪除
# 刪除用戶或組條目:
$ ldapdelete -x -w secret -D 'uid=ldapadmin,ou=people,dc=0hkj,dc=com' "uid=test,ou=people,dc=0hkj,dc=com"
$ ldapdelete -x -w secret -D 'uid=ldapadmin,ou=people,dc=0hkj,dc=com' "cn=test,ou=group,dc=0hkj,dc=com"
三、客戶端配置
# 在 [sunmvm26 - sunmvm28]上,使用下面命令安裝openldap客戶端
$ yum install openldap-clients -y
# 修改 /etc/openldap/ldap.conf 以下兩個配置
BASE dc=javachen,dc=com
URI ldap://cdh1
# 然后,運行下面命令測試:
# 先刪除 ticket
$ kdestroy
$ ldapsearch -b 'dc=0hkj,dc=com'
SASL/GSSAPI authentication started
ldap_sasl_interactive_bind_s: Local error (-2)
additional info: SASL(-1): generic failure: GSSAPI Error: Unspecified GSS failure. Minor code may provide more information (No credentials cache found)
重新獲取 ticket:
$ kinit root/admin
$ ldapsearch -b 'dc=0hkj,dc=com'
# 沒有報錯了
$ ldapwhoami
SASL/GSSAPI authentication started
SASL username: root/admin@0HKJ.COM
SASL SSF: 56
SASL installing layers
dn:uid=root/admin,ou=people,dc=0hkj,dc=com
Result: Success (0)
# 直接輸入 ldapsearch 不會報錯
$ ldapsearch