這幾天雙十一弄得不要不要的。各種困。出差有一些時(shí)間。晚上回頭擺弄擺弄。白天不忙就是找個(gè)地方想想寫(xiě)寫(xiě)。就這樣一周多過(guò)去了。好了。不扯了入正題。
1 .環(huán)境搭建
MacBook pro 15款840
OS X 10.10.5
solr-5.2.1.tgz
zookeeper-3.4.6.tar.gz
VMWare Fusion8
Centos 6.7
2 .搭建solr集群
在之前說(shuō)過(guò)zookeeper集群的搭建，所以在這就別啰嗦了。基本是一樣的。不過(guò)因?yàn)橹按罱ㄟ^(guò)rabbitmq集群，改了一些配置。而且這里網(wǎng)絡(luò)環(huán)境總是在變，所以IP地址不穩(wěn)定，虛擬出的主機(jī)ip搞得甚是頭疼。
安裝solr
[root@rabbitmq-node2 bin]# cp /usr/programmer/solr-5.2.1.tgz /usr/local/
[root@rabbitmq-node2 bin]# cd /usr/local/
[root@rabbitmq-node2 local]# ls
bin include lib64 nginx share tomcat
etc jdk1.7.0_80 libexec openssl solr-5.2.1.tgz usr
games lib mongodb sbin src zookeeper
[root@rabbitmq-node2 local]# tar xzf solr-5.2.1.tgz solr-5.2.1/bin/install_solr_service.sh --strip-components=2
[root@rabbitmq-node2 local]# ./install_solr_service.sh solr-5.2.1.tgz -i /usr/local -u solr -s solr -p 8983
Extracting solr-5.2.1.tgz to /usr/local
Creating /etc/init.d/solr script ...
Waiting to see Solr listening on port 8983 [/]
Started Solr server on port 8983 (pid=2859). Happy searching!
Found 1 Solr nodes:
Solr process 2859 running on port 8983
{
"solr_home":"/var/solr/data/",
"version":"5.2.1 1684708 - shalin - 2015-06-10 23:20:13",
"startTime":"2015-11-15T01:59:53.628Z",
"uptime":"0 days, 0 hours, 0 minutes, 11 seconds",
"memory":"25.5 MB (%5.2) of 490.7 MB"}
Service solr installed.
-i安裝目錄 指定solr的安裝目錄 (默認(rèn)為/opt)
-d指定寫(xiě)文件的目錄，包括索引/日志/初始環(huán)境變量的配置等，(默認(rèn)為/var/solr)
-u 指定solr文件和運(yùn)行的所屬用戶，默認(rèn)solr賬號(hào)
-s solr服務(wù)的名稱 默認(rèn)為solr
-p solr服務(wù)的監(jiān)聽(tīng)端口 默認(rèn)為8983 默認(rèn)為8983```
修改solr配置，與zookeeper進(jìn)行通信
[root@rabbitmq-node2 local]# vim /var/solr/solr.in.sh
這里需要注意 空格。
ZK_HOST="192.168.1.167:2181,192.168.1.166:2181,192.168.1.168:2181"
在啟動(dòng)zookeeper時(shí)候要查看zookeeper.out這個(gè)啟動(dòng)日志文件，這個(gè)文件在你當(dāng)前啟動(dòng)的目錄。啟動(dòng)zookeeper集群要快一點(diǎn)。不然有報(bào)錯(cuò)。但是沒(méi)事，看最后一個(gè)zookeeper啟動(dòng)日志 如果沒(méi)有報(bào)錯(cuò) 基本上沒(méi)有問(wèn)題的。
同樣的，solr啟動(dòng)日志 也是需要看的 但是會(huì)生成很多。我習(xí)慣把logs全部清楚只看新生成的solr.log。
修改之后重新啟動(dòng)一下solr服務(wù)
[root@rabbitmq-node2 local]# service solr restart
Sending stop command to Solr running on port 8983 ... waiting 5 seconds to allow Jetty process 2859 to stop gracefully.
Waiting to see Solr listening on port 8983 [/]
Started Solr server on port 8983 (pid=3201). Happy searching!
之前用的是tomcat和solr整合，但是我覺(jué)得solr自帶jetty容器。可以不用tomcat了。同樣也可以用nginx進(jìn)行負(fù)載均衡。
這時(shí)候通過(guò)瀏覽器訪問(wèn)以下 ip:8983.
會(huì)出現(xiàn)這個(gè) 如果報(bào)錯(cuò)。看log日志。
創(chuàng)建collection
[root@rabbitmq-node1 logs]# cd /usr/local/solr
[root@rabbitmq-node1 solr]# ls
CHANGES.txt LUCENE_CHANGES.txt README.txt contrib docs licenses
LICENSE.txt NOTICE.txt bin dist example server
[root@rabbitmq-node1 solr]# bin/solr create -c szss-solr -d data_driven_schema_configs -s 3 -rf 3 -n myconf
Connecting to ZooKeeper at 192.168.1.167:2181,192.168.1.166:2181,192.168.1.168:2181
Uploading /usr/local/solr/server/solr/configsets/data_driven_schema_configs/conf for config myconf to ZooKeeper at 192.168.1.167:2181,192.168.1.166:2181,192.168.1.168:2181
Creating new collection 'szss-solr' using command:
http://192.168.1.167:8983/solr/admin/collections?action=CREATE&name=szss-solr&numShards=3&replicationFactor=3&maxShardsPerNode=3&collection.configName=myconf
{
"responseHeader":{
"status":0,
"QTime":19520},
"success":{"":{
"responseHeader":{
"status":0,
"QTime":18974},
"core":"szss-solr_shard1_replica2"}}}
-s分片個(gè)數(shù)
-rf 節(jié)點(diǎn)數(shù)
這時(shí)候可能會(huì)報(bào)錯(cuò)。我之前想把分兩片 改為 分三片 需要在zookeeper里面修改
查看zookeeper的客戶端命令：
查看節(jié)點(diǎn)列表：ls /path
獲取節(jié)點(diǎn)數(shù)據(jù)：get /path
刪除所有節(jié)點(diǎn)：rmr path
關(guān)閉節(jié)點(diǎn):quit
查看節(jié)點(diǎn)狀態(tài)：stat path
create -s /source sss 創(chuàng)建永久節(jié)點(diǎn)
create -e /temp sss 創(chuàng)建臨時(shí)節(jié)點(diǎn)
集群狀態(tài)的查看：./zkServer.sh status
打開(kāi)瀏覽器。
一些參數(shù)信息
這里是虛擬機(jī)運(yùn)行的參數(shù)
log日志 以及打印的等級(jí)
分片的信息
之后的分詞，還有數(shù)據(jù)連接和之前寫(xiě)的都是一樣的。在solr_home里面操作。加入3個(gè)jar，加入/dataimport data-config.xml 還有managed-schema。
下載sqljdbc4.jar 包 放在
/usr/local/solr-5.2.1/server/solr-webapp/webapp/WEB-INF/lib/
solr-5.2.1/dist/solr-dataimporthandler-5.x.jar 到 /usr/local/solr-5.2.1/server/solr-webapp/webapp/WEB-INF/lib/下
動(dòng)態(tài)加載配置文件到zookeeper中并生效
[root@rabbitmq-node1 solr]# /usr/local/solr-5.2.1/server/scripts/cloud-scripts/zkcli.sh -zkhost 192.168.1.168:2181 -cmd upconfig -collections szss-solr -confdir /usr/local/solr-5.2.1/server/solr/configsets/data_driven_schema_configs/conf -confname myconf
進(jìn)入：
/usr/local/solr/server/solr/configsets/data_driven_schema_configs/conf/
vim solrconfig.xml
在requestHandler處新建：
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>
3、新建data-config.xml
新建一個(gè)data-config.xml文件，與solrconfig.xml同一個(gè)目錄下,內(nèi)容如下，數(shù)據(jù)庫(kù)驅(qū)動(dòng)/鏈接地址/sql語(yǔ)句請(qǐng)修改。
<?xml version="1.0" ?>
<dataConfig>
<dataSource type="JdbcDataSource"
driver="com.microsoft.sqlserver.jdbc.SQLServerDriver"
url="jdbc:sqlserver://127.0.0.1;databaseName=szss"
user="sa"
password="szss" />
<document>
<entity name="solr_test" transformer="DateFormatTransformer"
query="select id,product_full_name,product_short_name,product_content,specification,taste_type,date_created,last_updated from product_b">
<field column='date_created' dateTimeFormat='yyyy-MM-dd HH:mm:ss' />
<field column='last_updated' dateTimeFormat='yyyy-MM-dd HH:mm:ss' />
</entity>
</document>
</dataConfig>
4、在managed-schema中增加域
<field name="product_full_name" type="string" indexed="true" stored="true" />
<field name="product_short_name" type="string" indexed="true" stored="true" />
<field name="product_content" type="string" indexed="true" stored="true" />
<field name="specification" type="string" indexed="true" stored="true" />
<field name="taste_type" type="string" indexed="true" stored="true" />
<field name="date_created" type="date" indexed="true" stored="true" />
<field name="last_updated" type="date" indexed="true" stored="true" />
歡迎光臨我的個(gè)人博客
