深入淘寶Diamond之客戶端架構(gòu)解析

說明：本文不介紹如何使用Diamond，只介紹Diamond的實現(xiàn)原理

一、什么是Diamond

diamond是淘寶內(nèi)部使用的一個管理持久配置的系統(tǒng)，它的特點是簡單、可靠、易用，目前淘寶內(nèi)部絕大多數(shù)系統(tǒng)的配置，由diamond來進(jìn)行統(tǒng)一管理。
diamond為應(yīng)用系統(tǒng)提供了獲取配置的服務(wù)，應(yīng)用不僅可以在啟動時從diamond獲取相關(guān)的配置，而且可以在運行中對配置數(shù)據(jù)的變化進(jìn)行感知并獲取變化后的配置數(shù)據(jù)。
持久配置是指配置數(shù)據(jù)會持久化到磁盤和數(shù)據(jù)庫中。

二、Diamond的特點

  • 簡單：整體結(jié)構(gòu)非常簡單，從而減少了出錯的可能性。
  • 可靠：應(yīng)用方在任何情況下都可以啟動，在承載淘寶核心系統(tǒng)并正常運行一年多以來，沒有出現(xiàn)過任何重大故障。
  • 易用：客戶端使用只需要兩行代碼，暴露的接口都非常簡單，易于理解。

三、Diamond的持久機(jī)制

Paste_Image.png

訂閱方獲取配置數(shù)據(jù)時，直接讀取服務(wù)端本地磁盤文件，盡量減少對數(shù)據(jù)庫壓力。 這種架構(gòu)用短暫的延時換取最大的性能和一致性，一些配置不能接受延時的情況下，通過API可以獲取數(shù)據(jù)庫中的最新配置

四、Diamond的容災(zāi)機(jī)制

Diamond作為一個分布式環(huán)境下的持久配置系統(tǒng)，有一套完備的容災(zāi)機(jī)制，數(shù)據(jù)被存儲在：數(shù)據(jù)庫，服務(wù)端磁盤，客戶端緩存目錄，以及可以手工干預(yù)的容災(zāi)目錄。 客戶端通過API獲取配置數(shù)據(jù)按照固定的順序去不同的數(shù)據(jù)源獲取數(shù)據(jù)：容災(zāi)目錄，服務(wù)端磁盤，客戶端緩存。

? 數(shù)據(jù)庫主庫不可用，可以切換到備庫，Diamond繼續(xù)提供服務(wù)
? 數(shù)據(jù)庫主備庫全部不可用，Diamond通過本地緩存可以繼續(xù)提供讀服務(wù)
? 數(shù)據(jù)庫主備庫全部不可用，Diamond服務(wù)端全部不可用，Diamond客戶端使用緩存目錄繼續(xù)運行，支持離線啟動
? 數(shù)據(jù)庫主備庫全部不可用，Diamond服務(wù)端全部不可用，Diamond客戶端緩存數(shù)據(jù)被刪，可以通過拷貝備份的緩存目錄到容災(zāi)目錄下繼續(xù)使用

五、Diamond的架構(gòu)圖

圖片 1.png

六、Diamond訂閱端(客戶端)分析

先看一個簡單的客戶端訂閱代碼實現(xiàn)：

public class DiamondTestClient {
    public static DiamondManager manager;
    public static void main(String[] str) {
        initDiamondManager();
    }
    private static void initDiamondManager() {
        manager = new DefaultDiamondManager("group_test", "dataId_test", new ManagerListener() {
            public void receiveConfigInfo(String configInfo) {
                System.out.println("configInfo="+ configInfo);
            }   
        });   
    }  
}

參數(shù)的說明：
DefaultDiamondManager有三個參數(shù)分別是：groupId，dataId和listener。
group和dataId為String類型，二者結(jié)合為diamond-server端保存數(shù)據(jù)的惟一key
ManagerListener 是客戶端注冊的數(shù)據(jù)監(jiān)聽器， 它的作用是在運行中接受變化的配置數(shù)據(jù)，然后回調(diào)receiveConfigInfo()方法，執(zhí)行客戶端處理數(shù)據(jù)的邏輯。如果要在運行中對變化的配置數(shù)據(jù)進(jìn)行處理，就一定要注冊ManagerListener
我們來看一下DefaultDiamondManager的類圖

Paste_Image.png

DefaultDiamondManager的構(gòu)造方法代碼如下：

public DefaultDiamondManager(String group, String dataId, ManagerListener managerListener) {
        this.dataId = dataId;
        this.group = group;

        diamondSubscriber = DiamondClientFactory.getSingletonDiamondSubscriber();

        this.managerListeners.add(managerListener);
        ((DefaultSubscriberListener) diamondSubscriber.getSubscriberListener()).addManagerListeners(this.dataId,
            this.group, this.managerListeners);
        diamondSubscriber.addDataId(this.dataId, this.group);
        diamondSubscriber.start();

    }

說明
1、利用工廠類DiamondClientFactory創(chuàng)建單例訂閱者類。
2、將客戶端創(chuàng)建的偵聽器類添加到偵聽器管理list中并注入到新創(chuàng)建的訂閱者類中。
3、為訂閱者設(shè)置dataId和groupId。
4、啟動訂閱者線程，開始輪詢消息。

DiamondSubscriber的類圖如下：

Paste_Image.png

執(zhí)行diamondSubScriber.start()方法直接進(jìn)入DefaultDiamondSubscriber子類中，先看如下代碼：

/**
     * 啟動DiamondSubscriber：<br>
     * 1.阻塞主動獲取所有的DataId配置信息<br>
     * 2.啟動定時線程定時獲取所有的DataId配置信息<br>
     */
    public synchronized void start() {
        if (isRun) {
            return;
        }

        if (null == scheduledExecutor || scheduledExecutor.isTerminated()) {
            scheduledExecutor = Executors.newSingleThreadScheduledExecutor();
        }

        localConfigInfoProcessor.start(this.diamondConfigure.getFilePath() + "/" + DATA_DIR);
        serverAddressProcessor = new ServerAddressProcessor(this.diamondConfigure, this.scheduledExecutor);
        serverAddressProcessor.start();

        this.snapshotConfigInfoProcessor =
                new SnapshotConfigInfoProcessor(this.diamondConfigure.getFilePath() + "/" + SNAPSHOT_DIR);
        // 設(shè)置domainNamePos值
        randomDomainNamePos();
        initHttpClient();

        // 初始化完畢
        isRun = true;

        if (log.isInfoEnabled()) {
            log.info("當(dāng)前使用的域名有：" + this.diamondConfigure.getDomainNameList());
        }

        if (MockServer.isTestMode()) {
            bFirstCheck = false;
        }
        else {
            // 設(shè)置輪詢間隔時間
            this.diamondConfigure.setPollingIntervalTime(Constants.POLLING_INTERVAL_TIME);
        }
        // 輪詢
        rotateCheckConfigInfo();

        addShutdownHook();
    }

說明：
1、ServerAddressProcessor類從服務(wù)端獲取提供服務(wù)的地址列表（可能會多個）。
2、randomDomainNamePos這個方法是隨機(jī)從服務(wù)地址列表中選取一個地址。
3、初始化httpClient客戶端，使用initHttpClient方法。
4、設(shè)置讀取配置文件的輪詢時間默認(rèn)為15秒。
5、rotateCheckConfigInfo這個方法是真正與服務(wù)端交互的輪詢方法。

rotateCheckConfigInfo方法的代碼如下：

/**
     * 循環(huán)探測配置信息是否變化，如果變化，則再次向DiamondServer請求獲取對應(yīng)的配置信息
     */
    private void rotateCheckConfigInfo() {
        scheduledExecutor.schedule(new Runnable() {
            public void run() {
                if (!isRun) {
                    log.warn("DiamondSubscriber不在運行狀態(tài)中，退出查詢循環(huán)");
                    return;
                }
                try {
                    checkLocalConfigInfo();
                    checkDiamondServerConfigInfo();
                    checkSnapshot();
                }
                catch (Exception e) {
                    e.printStackTrace();
                    log.error("循環(huán)探測發(fā)生異常", e);
                }
                finally {
                    rotateCheckConfigInfo();
                }
            }

        }, bFirstCheck ? 60 : diamondConfigure.getPollingIntervalTime(), TimeUnit.SECONDS);
        bFirstCheck = false;
    }

說明
1、方法內(nèi)部啟動一個定時線程，默認(rèn)每隔60秒執(zhí)行一次。
2、方法內(nèi)部實際上三個主方法分別是:

  • checkLocalConfigInfo：主要是檢查本地數(shù)據(jù)是否有更新，如果沒有則返回，有則返回最新數(shù)據(jù)，并通知客戶端配置的listener。
  • checkDiamondServerConfigInfo：遠(yuǎn)程調(diào)用服務(wù)端，獲取最新修改的配置數(shù)據(jù)并通知客戶端listener。
  • checkSnapshot：主要是持久化數(shù)據(jù)信息用的方法。

6.1 checkLocalConfigInfo代碼分析

private void checkLocalConfigInfo() {
        for (Entry<String/* dataId */, ConcurrentHashMap<String/* group */, CacheData>> cacheDatasEntry : cache
            .entrySet()) {
            ConcurrentHashMap<String, CacheData> cacheDatas = cacheDatasEntry.getValue();
            if (null == cacheDatas) {
                continue;
            }
            for (Entry<String, CacheData> cacheDataEntry : cacheDatas.entrySet()) {
                final CacheData cacheData = cacheDataEntry.getValue();
                try {
                    String configInfo = getLocalConfigureInfomation(cacheData);
                    if (null != configInfo) {
                        if (log.isInfoEnabled()) {
                            log.info("本地配置信息被讀取, dataId:" + cacheData.getDataId() + ", group:" + cacheData.getGroup());
                        }
                        popConfigInfo(cacheData, configInfo);
                        continue;
                    }
                    if (cacheData.isUseLocalConfigInfo()) {
                        continue;
                    }
                }
                catch (Exception e) {
                    log.error("向本地索要配置信息的過程拋異常", e);
                }
            }
        }

說明：
1、循環(huán)本地緩存數(shù)據(jù)，比較數(shù)據(jù)是否更新變化，重點看getLocalConfigureInfomation方法。
2、如果有更新數(shù)據(jù)則調(diào)用popConfigInfo方法通知客戶端listener。

再深入看getLocalConfigureInfomation方法，代碼如下：

// 判斷是否變更，沒有變更，返回null
        if (!filePath.equals(cacheData.getLocalConfigInfoFile())
                || existFiles.get(filePath) != cacheData.getLocalConfigInfoVersion()) {
            String content = FileUtils.getFileContent(filePath);
            cacheData.setLocalConfigInfoFile(filePath);
            cacheData.setLocalConfigInfoVersion(existFiles.get(filePath));
            cacheData.setUseLocalConfigInfo(true);

            if (log.isInfoEnabled()) {
                log.info("本地配置數(shù)據(jù)發(fā)生變化, dataId:" + cacheData.getDataId() + ", group:" + cacheData.getGroup());
            }

            return content;
        }
        else {
            cacheData.setUseLocalConfigInfo(true);

            if (log.isInfoEnabled()) {
                log.debug("本地配置數(shù)據(jù)沒有發(fā)生變化, dataId:" + cacheData.getDataId() + ", group:" + cacheData.getGroup());
            }

            return null;
        }

說明：
這段代碼很關(guān)鍵，判斷當(dāng)前緩存的數(shù)據(jù)是否持久化的文件數(shù)據(jù)是否一致，包括版本號，文件路徑等信息，如果服務(wù)器端有配置數(shù)據(jù)更新，客戶端則拿到最新的數(shù)據(jù)后更新本地文件內(nèi)容。

popConfigInfo方法的代碼如下：

void popConfigInfo(final CacheData cacheData, final String configInfo) {
        final ConfigureInfomation configureInfomation = new ConfigureInfomation();
        configureInfomation.setConfigureInfomation(configInfo);
        final String dataId = cacheData.getDataId();
        final String group = cacheData.getGroup();
        configureInfomation.setDataId(dataId);
        configureInfomation.setGroup(group);
        cacheData.incrementFetchCountAndGet();
        if (null != this.subscriberListener.getExecutor()) {
            this.subscriberListener.getExecutor().execute(new Runnable() {
                public void run() {
                    try {
                        subscriberListener.receiveConfigInfo(configureInfomation);
                        saveSnapshot(dataId, group, configInfo);
                    }
                    catch (Throwable t) {
                        log.error("配置信息監(jiān)聽器中有異常，group為：" + group + ", dataId為：" + dataId, t);
                    }
                }
            });
        }
        else {
            try {
                subscriberListener.receiveConfigInfo(configureInfomation);
                saveSnapshot(dataId, group, configInfo);
            }
            catch (Throwable t) {
                log.error("配置信息監(jiān)聽器中有異常，group為：" + group + ", dataId為：" + dataId, t);
            }
        }
    }

說明：
這段代碼主要是將已經(jīng)更新的數(shù)據(jù)通知給客戶端織入的listener程序，使能夠達(dá)到最新數(shù)據(jù)通知給客戶端。

6.2 checkDiamondServerConfigInfo代碼分析

private void checkDiamondServerConfigInfo() {
        Set<String> updateDataIdGroupPairs = checkUpdateDataIds(diamondConfigure.getReceiveWaitTime());
        if (null == updateDataIdGroupPairs || updateDataIdGroupPairs.size() == 0) {
            log.debug("沒有被修改的DataID");
            return;
        }
        // 對于每個發(fā)生變化的DataID，都請求一次對應(yīng)的配置信息
        for (String freshDataIdGroupPair : updateDataIdGroupPairs) {
            int middleIndex = freshDataIdGroupPair.indexOf(WORD_SEPARATOR);
            if (middleIndex == -1)
                continue;
            String freshDataId = freshDataIdGroupPair.substring(0, middleIndex);
            String freshGroup = freshDataIdGroupPair.substring(middleIndex + 1);

            ConcurrentHashMap<String, CacheData> cacheDatas = cache.get(freshDataId);
            if (null == cacheDatas) {
                continue;
            }
            CacheData cacheData = cacheDatas.get(freshGroup);
            if (null == cacheData) {
                continue;
            }
            receiveConfigInfo(cacheData);
        }
    }

說明：
1、通過HttpClient方式從服務(wù)端獲取更新過的dataId和groupId集合。
2、根據(jù)dataId和groupId再從服務(wù)端將相應(yīng)變化的數(shù)據(jù)獲取下來。
3、通知客戶端注冊的listener程序。

上面二種方式通知客戶端的listener程序，都是通過allListeners這個屬性獲取的

private final ConcurrentMap<String/* dataId + group */, CopyOnWriteArrayList<ManagerListener>/* listeners */> allListeners =
            new ConcurrentHashMap<String, CopyOnWriteArrayList<ManagerListener>>();

這行代碼就是在最開始的那個客戶端使用的例子中注冊在allListeners中的。

七、Diamond客戶端與服務(wù)端交互時序圖

圖片 1.png
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具（例如配置管理，服務(wù)發(fā)現(xiàn)，斷路器，智...
    卡卡羅2017閱讀 134,923評論 18贊 139
  • 發(fā)現(xiàn) 關(guān)注 消息 iOS 第三方庫、插件、知名博客總結(jié) 作者大灰狼的小綿羊哥哥關(guān)注 2017.06.26 09:4...
    肇東周閱讀 12,232評論 4贊 61
  • 最近一波牛市，很多忠誠的云幣網(wǎng)的用戶，某種程度上踏空了，特別對于所有的買賣和資金都在云幣的人，還有可能在...
    盧海濱閱讀 202評論 0贊 0
  • 畢業(yè)兩年了，每月還是月光族。自從在長投這段時間，感覺學(xué)習(xí)到了很多東西，比如: 1.、先儲蓄，再消費。 2、資產(chǎn)...
    紅葵米閱讀 1,283評論 0贊 1
  • 昨天遇到一個問題，跟大家分享一下某個APP，簡稱A應(yīng)用，開機(jī)以u0 用戶進(jìn)行自啟動。Setting應(yīng)用，開機(jī)分別以...
    四大爺閱讀 1,657評論 1贊 1