mycat分片規則

1:分片規則配置文件rule.xml 介紹

PS: 配置文件都沿用上一篇mycat入門配置
1.1 Funcation 標簽
  • name屬性指定算法的名稱,在該文件中唯一。
  • class屬性對應具體的分片算法,需要指定算法的具體類。
  • property屬性根據算法的要求指定。
<function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
</function>
1.2 tableRule標簽
  • name 屬性指定分片規則的名稱,要求唯一
  • rule 屬性指定分片算法的具體內容,包含columns 和clgorithm 兩個屬性
  • columns 屬性指定對應表中用于分片的列名
  • algorithm 屬性對應function 中指定的算法的名稱
<tableRule name="mod-long">
    <rule>
        <columns>userID</columns>
        <algorithm>mod-long</algorithm>
    </rule>
</tableRule>
2:分片分類 - 連續分片 和離散分片

兩種方式優缺點對比

分片 連續分片 離散分片
優點 擴容無需遷移數據,
范圍條件查詢消耗資源少
并發訪問能力增強
范圍條件查詢性能提升
缺點 存在數據熱點的可能性,
并發訪問能力受限于單一或者少量DataNode
數據擴容比較困難,
涉及到數據遷移問題數據庫連接消耗比較多
2.1:連續分片
  • 自定義數字范圍分片
  • 按日期分片
  • 按單月小時分片
  • 按自然月分片
2.1.1: 自定義數字范圍分片

字段為數字類型

    <schema name="db_user" checkSQLschema="true" sqlMaxLimit="100">
        <table name="data_dictionary" type="global" dataNode="db_user_dataNode1,db_user_dataNode2" primaryKey="dataDictionaryID"/>
        <table name ="users" dataNode="db_user_dataNode$1-2" primaryKey="userID" rule="auto-sharding-long">
            <childTable name="user_address"  joinKey="userID" parentKey="userID" primaryKey="addressID" />
        </table>

    </schema>
rule.xml配置
  • rang-long 函數中的mapFile 表示規則配置文件的路徑,默認是在conf 目錄下
  • defaultNode為超過范圍后的默認節點。
<tableRule name="auto-sharding-long">
    <rule>
        <columns>userID</columns>
        <algorithm>rang-long</algorithm>
    </rule>
</tableRule>

<function name="rang-long"class="io.mycat.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
   <property name="defaultNode">0</property>
</function>

配置文件autopartition-long.txt
  • ps 注意一下,這里的配置的節點數要小于 schema里的table的dataNode節點個數 ,否則啟動mycat 會報錯
# range start-end ,data node index
# K=1000,M=10000.
0-500M=0
500M-1000M=1

測試sql:

INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('1000', '張1', '13611111111', '31', '2', '2018-10-10 13:39:41', '2018-10-10 13:39:41');
INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('2000', '王二', '13622222222', '32', '5', '2018-10-10 13:39:41', '2018-10-10 13:39:41');
INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('6000000', '李三', '13633333333', '33', '3', '2018-10-10 13:39:41', '2018-10-10 13:39:41');
INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('7000000', '趙四', '13644444444', '34', '1', '2018-10-10 13:39:41', '2018-10-10 13:39:41');
INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('20000000', '田五', '13655555555', '35', '3', '2018-10-10 13:39:41', '2018-10-10 13:39:41');

到這里,按范圍分片接結束了,查看數據庫,會發現已經按照對應的規則插進對應的分片當中了

2.1.2 按日期分片

根據時間類型字段,按月分片

修改schema.xml 文件
<schema name="db_user" checkSQLschema="true" sqlMaxLimit="100">
        <table name="data_dictionary" type="global" dataNode="db_user_dataNode1,db_user_dataNode2" primaryKey="dataDictionaryID"/>
        <table name ="users" dataNode="db_user_dataNode$1-2" primaryKey="userID" rule="sharding-by-month">
            <childTable name="user_address"  joinKey="userID" parentKey="userID" primaryKey="addressID" />
        </table>

    </schema>

修改rule.xml 文件

ps : 如果是按月分片的問題,如果插入的月份超過了節點數,則就會插入報錯,而且只能插入規則中指定的同一年,比如規則中開始是2015-01-01 那就不能插入2016年

<function name="partbymonth"
        class="io.mycat.route.function.PartitionByMonth">
        <property name="dateFormat">yyyy-MM-dd hh:mm:ss</property>
        <property name="sBeginDate">2015-01-01 00:00:00</property>

    </function>
測試sql
INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('1000', '張1', '13611111111', '31', '2', '2015-01-01 13:39:41', '2018-10-10 13:39:41');

INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('2000', '王二', '13622222222', '32', '5', '2015-2-10 13:39:41', '2018-10-10 13:39:41');

還有按天分片 ,按小時分片,這里我就不在多介紹了,可以百度一下
3:離散分片, 這里只做一致性hash 分片介紹

離散分片規則

  • 枚舉分片
  • 程序制定分區分片
  • 十進制求模分片
  • 字符串hash解析分片
  • 一致性hash分片
3.1 一致性hash分片

一致性hash 有效的解決了分布式數據的擴容問題,優點在于擴容時遷移數據量比較少,前提是分片節點比較多,虛擬節點分配多些。虛擬節點分配的少就會造成數據分布不夠均勻。但如果實際分片數據比較少,遷移量也會比較多。

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容