Mycat

Mycat简介

1. 一个彻底开源的，面向企业应用开发的大数据库集群
2. 支持事务、ACID、可以替代MySQL的加强版数据库
3. 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
4. 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
5. 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
6. 一个新颖的数据库中间件产品

目前最新版本

1.6

长期规划2.0

1. 完全实现分布式事务，完全的支持分布式。
2. 通过Mycat web（eye）完成可视化配置，及智能监控，自动运维。
3. 通过mysql 本地节点，完整的解决数据扩容难度，实现自动扩容机制，解决扩容难点。
4. 支持基于zookeeper的主从切换及Mycat集群化管理。
5. 通过Mycat Balance 替代第三方的Haproxy，LVS等第三方高可用，完整的兼容Mycat集群节点的动态上下线。
6. 接入Spark等第三方工具，解决数据分析及大数据聚合的业务场景。
7. 通过Mycat智能优化，分析分片热点，提供合理的分片建议，索引建议，及数据切分实时业务建议。

总结

Mycat 是一个数据库的中间件，支持各种常规的MySQL、Oracle、DB2、SQL Server、PostgreSQL的支持，支持分库分表等分布式下的业务架构，让前端开发可以几乎透明.

简单初始部署

本案例我们将会初始一个同主机下三个分库(mycat-db1,mycat-db2,mycat-db3)通过mycat中间件，前端连接mycat操作

准备

# win下部署、正式环境建议linux部署

1. JDK
2. Mysql
3. mycat1.6 win 源码

JDK安装

# wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-windows-x64.exe
一路next安装

#配置 JDK 环境
JAVA_HOME：C:\Program Files\Java\jdk1.8.0_162
CLASSPATH：.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
PATH：;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

# DEBUG
java -version

mysql

这部分安装就不说了
我这边安装的是mysql5.6版本

初始化三个分库

# 此操作在当前机的mysql上操作（不再mycat）
# mysql -uroot -p
CREATE DATABASE IF NOT EXISTS mycat-db1 DEFAULT CHARSET utf8mb4 COLLATE utf8mb4_general_ci;
CREATE DATABASE IF NOT EXISTS mycat-db2 DEFAULT CHARSET utf8mb4 COLLATE utf8mb4_general_ci;
CREATE DATABASE IF NOT EXISTS mycat-db3 DEFAULT CHARSET utf8mb4 COLLATE utf8mb4_general_ci;

# 三个分库各自创建表travelrecord
CREATE TABLE `travelrecord` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(22) NOT NULL DEFAULT '',
  `time` int(10) unsigned NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

# 模拟数据
INSERT INTO `mycat-db1`.`travelrecord` (`name`, `time`) VALUES ('qkl', '0');
INSERT INTO `mycat-db1`.`travelrecord` (`name`, `time`) VALUES ('andy', '0');
INSERT INTO `mycat-db2`.`travelrecord` (`name`, `time`) VALUES ('zgq', '0');
INSERT INTO `mycat-db3`.`travelrecord` (`name`, `time`) VALUES ('pcb', '0');

mycat conf/server.xml配置

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
    <property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
    <property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->

        <property name="sequnceHandlerType">2</property>
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
    <!-- <property name="processorBufferChunk">40960</property> -->
    <!-- 
    <property name="processors">1</property> 
    <property name="processorExecutor">32</property> 
     -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena-->
        <property name="processorBufferPoolType">0</property>
        <!--默认是65535 64K 用于sql解析时最大文本长度 -->
        <!--<property name="maxStringLiteralLength">65535</property>-->
        <!--<property name="sequnceHandlerType">0</property>-->
        <!--<property name="backSocketNoDelay">1</property>-->
        <!--<property name="frontSocketNoDelay">1</property>-->
        <!--<property name="processorExecutor">16</property>-->
        <!--
            <property name="serverPort">8066</property> <property name="managerPort">9066</property> 
            <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
            <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
        <!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
        <property name="handleDistributedTransactions">0</property>
        
            <!--
            off heap for merge/order/group/limit      1开启   0关闭
        -->
        <property name="useOffHeapForMerge">1</property>

        <!--
            单位为m
        -->
        <property name="memoryPageSize">1m</property>

        <!--
            单位为k
        -->
        <property name="spillsFileBufferSize">1k</property>

        <property name="useStreamOutput">0</property>

        <!--
            单位为m
        -->
        <property name="systemReserveMemorySize">384m</property>


        <!--是否采用zookeeper协调切换  -->
        <property name="useZKSwitch">true</property>


    </system>

    <!-- 这部分是我们通过客户端连接需要设置的帐号密码 -->
    <user name="root">
        <property name="password">123456</property>
        <property name="schemas">TESTDB</property>
        
        <!-- 表级 DML 权限设置 -->
        <!--         
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>        
         -->
    </user>

    <user name="user">
        <property name="password">user</property>
        <property name="schemas">TESTDB</property>
        <property name="readOnly">true</property>
    </user>

</mycat:server>

mycat conf/schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- 真实对应的读写的数据库 -->
        <writeHost host="hostM1" url="localhost:3306" user="root"
                   password="root">
        </writeHost>
    </dataHost>

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
        <table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
    </schema>

    <dataNode name="dn1" dataHost="localhost1" database="mycat-db1" />
    <dataNode name="dn2" dataHost="localhost1" database="mycat-db2" />
    <dataNode name="dn3" dataHost="localhost1" database="mycat-db3" />
</mycat:schema>

启动

bin/startup_nowrap.bat

# 启动成功最后显示
# MyCAT Server startup successfully. see logs in logs/mycat.log

客户端测试

客户端连接管理

我这边是通过navicat连接
# mysql -uroot -p123456 -p 9066
连接帐号密码：root/123456 -> server.xml配置可得

show @@help;
show @@sysparam;

客户端连接

我这边是通过navicat连接
# mysql -uroot -p123456 -p 8066
连接帐号密码：root/123456 -> server.xml配置可得

操作

use TESTDB;

# select
select * from travelrecord;

# output:
+----+------+------+
| id | name | time |
+----+------+------+
|  1 | qkl  |    0 |
|  2 | andy |    0 |
|  1 | pcb  |    0 |
|  1 | zgq  |    0 |
+----+------+------+
4 rows in set

# update
update travelrecord set name='andy2' where id = 2;

# insert
insert into travelrecord(name, time) values('tony', 0);
# 出错
#[Err] 1064 - bad insert sql (sharding column:ID not provided,INSERT INTO travelrecord (name, time)
VALUES ('test', 0) 

总结

我们利用mycat做了一个单点mysql的多分库下支持简单查询的实践，可以正常查询不过在我们进行插入的时间遇到了问题

下一节我们将利用Mycat的全局序列号解决利用mycat的插入问题

继续阅读：Mycat的实践二：全局序列号