MySQL数据库的读写分离amoeba
小职 2018-06-28 来源 : 阅读 964 评论 0

摘要:本文主要向大家介绍了MySQL数据库的读写分离amoeba ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助。

本文主要向大家介绍了MySQL数据库的读写分离amoeba ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助。

一、关于读写分离

读写分离(Read/Write Splitting),基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

 

二、同类产品比较 

虽然大多数都是从程序里直接实现读写分离的,但对于分布式的部署和水平和垂直分割,一些代理的类似中间件的软件还是挺实用的,Amoeba for Mysql 与MySQL Proxy比较 在MySQL proxy 6.0版本 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下,用mysql proxy 需要相当大的工作量,目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件, lua脚本就是它的全部,当然lua是相当方便的。那么同样这种东西需要编写大量的脚本才能完成一 个复杂的配置。而Amoeba for Mysql只需要进行相关的配置就可以满足需求。

 

三、关于Amoeba

 

Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的 时候充当SQL路由功能,专注于分布式数据库代理层(Database Proxy)开发。座落与 Client、DB Server(s)之间,对客户端透明。具有负载均衡、高可用性、SQL 过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果。 通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能,目前Amoeba已在很多 企业的生产线上面使用。

 

四、Amoeba的安装

4.1下载 

wget //nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.x/amoeba-mysql-binary-2.1.0-RC5.tar.gz

4.2安装amoeba 

mkdir /usr/local/amoeba #mv amoeba-mysql-binary-2.1.0-RC5.tar.gz /usr/local/amoeba #tar  xvf amoeba-mysql-binary-2.1.0-RC5.tar.gz

4.3安装JDK 

因为Amoeba是java开发的,需要JDK支持。 Amoeba框架是基于Java SE1.5开发的,建议使用Java SE 1.5版本。  % java -version java version "1.6.0_18" Java(TM) SE Runtime Environment (build 1.6.0_18-b07) Java HotSpot(TM) Client VM (build 16.0-b13, mixed mode, sharing) 目前Amoeba经验证在JavaTM SE 1.5和Java SE 1.6能正常运行,(可能包括其他未经验证的版本)。 如果你的机器上没有安装JavaTM环境,可以访问//www.oracle.com/technetwork/java/javase/downloads/index.html进行下载。可以根据你的操作系统等详情安装JavaTM环境。  去oracle官网下载jdk安装包后,安装jdk  # chmod 755 jdk-6u25-linux-i586.bin # ./jdk-6u25-linux-i586.bin # mv jdk1.6.0_25/ /usr/local/jdk 声明路径,修改/etc/profile,在末尾加上以下代码  export AMOEBA_HOME=/usr/local/amoeba export JAVA_HOME=/usr/local/jdk export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$AMOEBA_HOME/bin


 五、Amoeba配置

cd /usr/local/amoeba/conf 主要配置以下2个配置文件:  dbServers.xml  #定义连接数据库信息 amoeba.xml     #定义读写分离节点管理信息

5.1 配置dbServers.xml

<?xml version="1.0" encoding="gbk"?>  <!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd"> <amoeba:dbServers xmlns:amoeba="//amoeba.meidusa.com/">                  <!--                          Each dbServer needs to be configured into a Pool,                          such as 'multiPool' dbServer                    -->          <dbServer name="abstractServer" abstractive="true">                 <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">                         <property name="manager">${defaultManager}</property>                         <property name="sendBufferSize">64</property>                         <property name="receiveBufferSize">128</property>                          <!-- mysql port -->                         <property name="port">3306</property>         __ ** ##后端数据库端口**__                          <!-- mysql schema -->                         <property name="schema">test</property>        __ ** ##后端数据库默认库**__                         <!--  mysql password                         <property name="password">password</property>                         -->                 </factoryConfig>                  <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">                         <property name="maxActive">500</property>                         <property name="maxIdle">500</property>                         <property name="minIdle">10</property>                         <property name="minEvictableIdleTimeMillis">600000</property>                         <property name="timeBetweenEvictionRunsMillis">600000</property>                         <property name="testOnBorrow">true</property>                         <property name="testWhileIdle">true</property>                 </poolConfig>         </dbServer>           <dbServer name="master"  parent="abstractServer">                          __ ** ##定义主的写的节点**__                 <factoryConfig>                         <property name="ipAddress">192.168.1.1</property>      __ ** ##主masterIP**__                         <property name="user">test1</property>                 __ ** ##与主mysql通信,连接数据库的帐号,以下是密码**__                         <property name="password">test1</property>                 </factoryConfig>         </dbServer>          <dbServer name="slave"  parent="abstractServer">                 <factoryConfig>                         <property name="ipAddress">192.168.1.2</property>                         <property name="user">test2</property>                 __ ** ##与从mysql通信,连接数据库的帐号,以下是密码**__                         <property name="password">test2</property>                 </factoryConfig>         </dbServer>          <dbServer name="server1" virtual="true">                 <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">    __ ** ##定义写的池,把master节点加入**__                         <property name="loadbalance">1</property>                         <property name="poolNames">master</property>                 </poolConfig>         </dbServer>          <dbServer name="server2" virtual="true">                 <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">    __ ** ##定义读的池,把slave节点加入**__                         <property name="loadbalance">1</property>                         <property name="poolNames">slave</property>                 </poolConfig>         </dbServer> </amoeba:dbServers>

5.2 配置amoeba.xml

<?xml version="1.0" encoding="gbk"?> <amoeba:configuration xmlns:amoeba="//amoeba.meidusa.com/">          <proxy>                  <!-- service class must implements com.meidusa.amoeba.service.Service -->                         <!-- port -->                          <property name="port">6666</property>                   __ ** ##定义amoeba读写分离proxy对外代理的端口**__                         <!-- bind ipAddress -->                         <!--                          <property name="ipAddress">127.0.0.1</property>                          -->                          <property name="manager">${clientConnectioneManager}</property>                          <property name="connectionFactory">                                         <property name="sendBufferSize">128</property>                                         <property name="receiveBufferSize">64</property>                                 </bean>                         </property>                          <property name="authenticator">                                          <property name="user">dbproxy</property>     __ ** ##定义proxy的管理帐号密码,客户端和程序只需要连接proxy的帐号密码即可,相当于中间接封装**__                                         <property name="password">123456</property>                                          <property name="filter">                                                 </bean>                                         </property>                                 </bean>                         </property>                  </service>                  <!-- server class must implements com.meidusa.amoeba.service.Service -->                         <!-- port -->                         <!--  default value: random number                         <property name="port">9066</property>                         -->                         <!-- bind ipAddress -->                         <property name="ipAddress">127.0.0.1</property>                         <property name="daemon">true</property>                         <property name="manager">${clientConnectioneManager}</property>                         <property name="connectionFactory">                 <runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">                         <!-- proxy server net IO Read thread size -->                         <property name="readThreadPoolSize">20</property>                          <!-- proxy server client process thread size -->                          <!-- per connection cache prepared statement size  -->                         <property name="statementCacheSize">500</property>                          <!-- query timeout( default: 60 second , TimeUnit:second) -->                         <property name="queryTimeout">60</property>                 </runtime>          </proxy>          <!--                  Each ConnectionManager will start as thread                 manager responsible for the Connection IO read , Death Detection         -->         <connectionManagerList>                         <!--                            default value is avaliable Processors                          <property name="processors">5</property>                          -->                 </connectionManager>                          <!--                            default value is avaliable Processors                          <property name="processors">5</property>                          -->                 </connectionManager>         </connectionManagerList>                  <!-- default using file loader -->         <dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">                 <property name="configFile">${amoeba.home}/conf/dbServers.xml</property>         </dbServerLoader>          <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">                 <property name="ruleLoader">                         <bean class="com.meidusa.amoeba.route.TableRuleFileLoader">                                 <property name="ruleFile">${amoeba.home}/conf/rule.xml</property>                                 <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>                         </bean>                 </property>                 <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>                 <property name="LRUMapSize">1500</property>                 <property name="defaultPool">server1</property>                   __ ** ##定义默认的池,一些除了SELECT\UPDATE\INSERT\DELETE的语句都会在defaultPool执行。**__                 <property name="writePool">server1</property>                      __ ** ##定义写的池**__                 <property name="readPool">server2</property>                      __ ** ##定义读的池**__                 <property name="needParse">true</property>         </queryRouter> </amoeba:configuration>

六、启动Amoeba

/usr/local/amoeba/bin/amoeba start & 开机自动启动可加入到 /etc/rc.local内 echo "/usr/local/amoeba/bin/amoeba start &" >> /etc/rc.local

七、日志排错

日志文件在/usr/local/amoeba/log下

 

   PS:amoeba虽然是JAVA写的,看似效率不高,但功能异常强大,支持读写分离,表和库级别的读写分离,数据库水平分割,垂直分割,还有集群。是淘宝的得力作品。喜欢的童鞋可以尝试下。mysql-proxy 只是轻量级的读写分离程序,虽然C写的,但是驱动是需要lua的脚本跑,而且在高并发下经常挂掉。程序还忽略了一些字符设定,如果数据库不是同一编码还会出现乱码,amoeba就不存在。就简单介绍到这里吧。

以上就介绍了MySQL的相关知识,希望对MySQL有兴趣的朋友有所帮助。了解更多内容,请关注职坐标数据库MySQL频道!

本文由 @小职 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程