`
han_zw
  • 浏览: 171073 次
  • 性别: Icon_minigender_1
  • 来自: 天津
社区版块
存档分类
最新评论

MySql集群搭建笔记

阅读更多

1.      Mysql集群介绍

Mysql集群架构中主要包括管理节点和数据节点,管理节点负责整个集群结构的管理,数据的存储则由各个数据节点负责。当然,像非集群环境一样,需要提供一个mysql的节点供外部程序访问数据库。Mysql 集群的具体组织方式图-01

 

-01

接下来便对其中涉及的各个节点和模块进行一一介绍

Management Node(管理节点)mysql集群全局的管理者,整个集群只有一个management node,负责管理集群架构中的其他Nodes(节点),包括控制其他节点的启停,查看节点状态等。另外还维护了集群的全局配置信息,因此在整个集群环境中应该优先于所有节点启动。管理节点启动命令为ndb_mgmd.

Data Node(数据节点):数据的存储节点,集群中会有多个Data Node,每个节点存储数据多个数据副本。虽然mysql集群可以设置副本数量为1,即集群没有数据冗余,所有节点的只存储各自数据片段的副本,但是这样的集群也就失去了意义,所以为了保证高可用性,建议最好是设定副本数量至少为2,或者更大,一份用于存储,一份作为冗余。系统默认值为2. 冗余副本数量越大,需要的节点数就会越多。Data node 节点启动命令为ndbd.关于存储副本的概念参考图-02(来自官网)也许有助于理解副本、冗余的含义和作用。

 

-02

如图-02,集群中存在四个data node,分别为node1node2node3node4 集群数据分区存储,其中node1存储数据的partition 0,同时存储partition 2的一个备份副本用作冗余。其他节点类似。那样的好处是什么呢,见图-03

 

-03

在这个例子中,即使group0group1中各有一个node故障,整个cluster中也会有一份完整的数据,保持系统运转正常。

 

Sql Node (SQL节点): 对外提供访问mysql集群数据的入口,该节点可以有多个。也就是在单机环境下的mysqld服务。在启动该服务以后,我们便可以通过标准的mysql client程序的访问数据数据库。启动命令为mysqld

Applications(外部应用):外部应用要想访问集群环境下的数据库并不能直接访问data node,访问的是sql node,访问方法与单机环境一致。

 

2.      集群方案介绍

本文以实例的方式演示mysql cluster环境的搭建,首先介绍下我们预设的集群实例的方案。

搭建环境为windows xp(虚拟机)。

节点

IP

主机名

管理节点

192.168.109.130

Xp1

数据节点1

192.168.109.131

Xp2

数据节点2

192.168.109.132

Xp3

SQL节点

192.168.109.130

Xp1

细心的读者可能发现了,SQL节点和管理节点是同一台虚拟机。这是因为笔者机器性能有限,同时开了三个虚拟机已经很吃力了。另外mysql cluster中各个节点并不是要求与机器是一对一的,也就是说这种节点的划分是逻辑上的,是进程级的,只要是不同的进程即可。所以一台主机上可以运行多个节点。

 

3.      安装过程

3.1    安装包下载

下载一个支持集群的mysql版本。Mysql的单机版和集群版是两个不同的安装包。因为本例是在windows环境下搭建,所以我们可以到官网的这个页面上去选择相应的安装包下载。http://dev.mysql.com/downloads/cluster/ 在本例中我们选择ZIP Archive的非安装版本 ,这样我们可以直接解压就能用。

把压缩包分别传至各个节点主机,然后解压到C盘。解压后目录以c:\mysql-cluster为例。

3.2    管理节点

主机xp1C:\mysql-cluster\bin下新建一个文件config.ini,其中内容如下: 

 

[ndbd default]
# Options affecting ndbd processes on all data nodes:
NoOfReplicas=2                      #复本数量,此例采用默认值2
DataDir=C:/mysql-cluster/bin/cluster-data   # 数据节点存储目录
DataMemory=80M    # 数据存储分配的内存,酌情设置
IndexMemory=18M   # 索引存储分配的内存,酌情设置

[ndb_mgmd]
# Management process options:
HostName=192.168.109.130               # 管理节点所在主机IP
DataDir=C:/mysql-cluster/bin/cluster-logs   # 管理节点日志目录

[ndbd]
# Options for data node "A":
# (one [ndbd] section per data node)
HostName=192.168.109.132           # 节点所在主机IP
datadir=C:/mysql-cluster/data   # 数据存储目录

[ndbd]
# Options for data node "B":
HostName=192.168.109.133           # 节点所在主机IP
datadir=C:/mysql-cluster/data

[mysqld]
# SQL node options:
HostName=192.168.109.130           # SQL节点所在主机IP

 

这些为集群整体的配置信息,其中[ndbd default]为全局数据节点的默认配置模块。[ndb_mgmd]为管理节点配置模块。[ndbd]为数据节点配置模块。[mysqld]sql节点配置模块。#后面为注释内容,实际文件可以将这些注释去掉,以防止因为中文的存在导致mysql解析文件失败。启动管理节点直接调用bin目录下的ndb_mgmd.exe即可,但是我们在命令后指定我们上述的配置文件和集群配置的缓存目录,所以命令为

 

ndb_mgmd.exe --config-file=C:\\mysql-cluster\\bin\\config.ini --configdir=C:\mysql-cluster\bin\config-cache

 

为了方便起见,我们在c:\mysql-cluster\bin目录下新建一个文件ndb_mgmd_start.bat,将上述管理节点启动的命令写入该批处理文件中作为启动命令。

3.3    数据节点

我们以数据节点1为例介绍,节点2与此类似。在主机xp2c:\mysql-cluster下新建文件my.ini。键入如下内容

 

[mysql_cluster]
# Options for data node process:
ndb-connectstring=192.168.109.130  # location of management server

 

 

3.4    SQL节点

xp1节点的c:\mysql-cluster目录下新建文件my.ini,键入如下内容

 

[mysqld]
ndbcluster                      # run NDB storage engine
ndb-connectstring=192.168.109.130  # location of management serve

 

其中ndbcluster指定了存储引擎为集群环境,ndb-connectstring指定了管理节点的地址。

         到此为止所有节点配置工作就完成了。

4.      节点管理

4.1    ndb_mgm介绍

mysql cluster提供了ndb_mgm.exe来对集群进行管理,在xp1主机的c:\mysql-cluster\bin目录下。我们可以直接在命令行执行该命令进入管理控制台。(注:该程序需要在管理节点启动后才能执行)

常用的命令包括:

show: 显示集群中所有节点的状态。如图-04

 

-04

Node_id status: 查看node_id对应的节点的状态

shutdown –e: 停止管理节点和所有数据节点。SQL节点不会被停掉。

笔者就简单用了这几个,其他命令还很多,可以通过HELP命令来查看。

4.2    节点启停

Mysql cluster启动有顺序要求,管理节点要最先启动。

启动管理节点:在命令行中进到c:\mysql-cluster\bin目录下,执行我们之前编辑的批处理文件ndb_mgmd_start.bat. 如果启动正常,我们此时可以执行ndb_mgm程序,通过管理控制台查看节点状态了。

启动数据节点:依次在各个数据节点主机的命令行中进到c:\mysql-cluster\bin目录下,执行ndbd.exe 即可。通过ndb_mgm的管理控制台查看启动状态。

启动SQL节点:在SQL节点的命令行中进到c:\mysql-cluster\bin目录下,执行mysqld.exe即可。通过ndb_mgm的管理控制台查看启动状态。

                   节点停止:在ndb_mgm的管理控制台中执行shutdown –e 则管理节点和数据节点均会停止。另外SQL节点需要手动停止。

5.      验证

集群环境搭建完成我们可以对其进行验证。此处偷偷懒,直接引用一个官网的图,如图-05

 

-05

注意图中建表语句中的ENGINE=NDBCLUSTER

如果有兴致还以通过外部程序验证一下。注意外部程序访问URL还是SQL节点。

好了,这样我们的mysql 集群环境就搭建完成了。

  • 大小: 73.5 KB
  • 大小: 12 KB
  • 大小: 9.4 KB
  • 大小: 8.1 KB
  • 大小: 12.6 KB
分享到:
评论
15 楼 han_zw 2013-01-30  
oh my god!这么大堆问题,我都懵圈了。
14 楼 sunnysin 2012-12-31  
现在就剩下一个问题多出来的一个节点是划分到哪个组中?
13 楼 sunnysin 2012-12-31  
不好意思,上面计算错误。分区数应该是4*4*3=48
12 楼 sunnysin 2012-12-31  
若不清楚,非否节点数保持为副本数的整除大于等于1的正整数较为合适?
11 楼 sunnysin 2012-12-31  
若多出来的节点被划分到group-0中,刚好是group-0中原有节点数3+1个节点,则为4个节点。
10 楼 sunnysin 2012-12-31  
“上面句话没说清楚,修正如下:
若多出来的节点划分到group-0中,那么group-0负责的10个分区(假定多出来的两个分区不被划分到group-0中),那么这里的分区在group-0中的放置策略会是什么样的,因为有3个节点,那么以什么样的次序/方式放置主、从副本?
根据规则猜测,多出来的两个分区应该分配到group-0与group-1中。这样分配对否?


若多出来的节点划分到group-0中,那么group-0负责的10个分区(假定多出来的两个分区不被划分到group-0中),那么这里的分区在group-0中的放置策略会是什么样的,因为有4个节点,那么以什么样的次序/方式放置主、从副本?
根据规则猜测,多出来的两个分区应该分配到group-0与group-1中。这样分配对否?
9 楼 sunnysin 2012-12-31  
不好意思,以下这段话修正如下:
8 楼 sunnysin 2012-12-31  
请帮忙解惑,谢谢。
7 楼 sunnysin 2012-12-31  
这里讨论涉及的节点均代表实体进程,不代表物理服务器。
6 楼 sunnysin 2012-12-31  
令我困惑的是多出来的节点归属到某个现有的组,还是自成1组?仔细想想,自成1组的可能性不成立,因为若自成1组就意味着主数据副本与拷贝的数据副本在同一个节点上(此节点指ndbmtd进程,不是指物理服务器,参考mysql 集群官方文档)。
5 楼 sunnysin 2012-12-31  
上面句话没说清楚,修正如下:
若多出来的节点划分到group-0中,那么group-0负责的10个分区(假定多出来的两个分区不被划分到group-0中),那么这里的分区在group-0中的放置策略会是什么样的,因为有3个节点,那么以什么样的次序/方式放置主、从副本?
根据规则猜测,多出来的两个分区应该分配到group-0与group-1中。这样分配对否?

4 楼 sunnysin 2012-12-31  
若多出来的节点划分到group-0中,那么group0负责的10个分区(假定多出来的两个分区不被划分到group-0中),那么这里的分区轮在组1中的放置策略会是什么样的,因为有3个节点,那么以什么样的次序/方式放置主、从副本?
3 楼 sunnysin 2012-12-31  
如果建立集群使用的是nbdmtd,设定的MaxNoOfExecutionThreads为4。那么经过计算得到分区数为:4*4*2=32
现在,32个分区划分到3个组中,32/3=10,余下的两个分区会划分到哪个group中?
2 楼 sunnysin 2012-12-31  
10/3=3
这个时候多出的一个节点会划分到哪个组中?
1 楼 sunnysin 2012-12-31  
如何建立集群的时候设定数据节点是10,副本数是3,那么根据计算规则得到组数为:

相关推荐

    MySQL集群环境搭建.zip

    MySQL集群环境搭建

    非常详细的某培训机构mysql学习笔记

    非常详细的某培训机构mysql学习笔记,内容系统全面,实用性强 MySQL1 MySQL基础 MySQ单实例部署 MySQL多实例部署 MySQL数据库操作 MySQL数据类型 ... MySQL集群技术 Galera MySQL LNMP环境搭建

    [实战]Java分布式高级架构师课程学习笔记.docx

    文档内容有关于MySQL的主从配置,MySQL读写分离、MySQL集群配置、Redis主从配置、Redis集群配置、kafka单机与集群搭建以及使用、zookeeper单机与集群搭建以及使用、部分夹杂着其他乱七八糟的笔记内容。

    Linux系统安装部署jdk+Tomcat+Mysql+Nginx+Tomcat集群搭建+项目发布

    课程视频中出现的所有配套软件均可下载,下载地址笔记中有! 1. Linux系统安装以及远程操作工具安装2. Linux常用命令讲解3. JDK安装以及环境变量设置4....6、Nginx概述以及使用并通过Nginx实现Tomcat集群的搭建等功能

    动力节点Docker入门到进阶教程学习笔记分享

    本套课程适合零基础、技术提升乃至所有编程语言开发者;...8.全面详细的讲解了Docker中MySQL“一主两从”的读写分离主从集群搭建过程,Redis的“一主两从”的主从集群搭建、“一主两从三哨兵”的高可用集群搭建,及

    Eclipse开发分布式商城系统+完整视频代码及文档

    │ 12.zookeeper集群搭建.avi │ 12zookeeper集群搭建_.wmv │ 13.solr集群的搭建.avi │ 13_solr集群搭建.wmv │ 14_搜索服务切换到集群版.wmv │ 15.课后作业-索引库商品同步.avi │ 15_商品同步作业.wmv │ 打开...

    sharding-jdbc.rar

    采⽤Sharding-JDBC实现订单表的 分库分表 和 读写分离,搭建 两套一主二从 主从集群

    idea本地调试leetcode-mysc:java系列

    idea本地调试leetcode my-sc 目录结构 ...介绍zookeeper的命名服务,配置管理,集群管理,分布式锁,队列管理 介绍redis的原理,本地搭建一个redis服务,实现java的存入和取出 servlet 新特性 开启远程调试

    最新Java面试题视频网盘,Java面试题84集、java面试专属及面试必问课程

    │ │ 鲁班学院-上课笔记mybaits源码分析9-05.docx │ │ │ └─mybaits源码分析 │ mybaits源码分析.mp4 │ ├─面试必问-springcloud架构微服务项目 │ springcloud架构微服务项目.mp4 │ ├─面试必问-...

    高性能高并发服务器架构大全

     开源平台的高并发集群思考 26  大型、高负载网站架构和应用初探 时间:30-45分钟 27  说说大型高并发高负载网站的系统架构 28  mixi技术架构 51 mixi.jp:使用开源软件搭建的可扩展SNS网站 51 总概...

    尚gg大数据项目实战电商数仓系统开发教程.txt

    01_数仓项目介绍.avi4 b4 Q* Q8 Z0 Y) C6 O! w 02_数仓采集_用户行为采集课程介绍.avi8 \7 f3 O. c- {: v# W& V$ Y& b 03_数仓采集_数仓的概念.avi8 Z# X* q/ c; }3 A* [ T ...源码笔记资料.rar0 W

Global site tag (gtag.js) - Google Analytics