数据库集群主从架构查询功能设计

发布时间:2019-06-16 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了数据库集群主从架构查询功能设计脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

按照任意一个IP或者域名查找该数据库实例所在集群架构、是否是主库或者从库,是DBA运维中非常常见和必不可少的功能。本文描述的功能实现已经实际应用于某互联网公司内部,目前运行稳定,持续提供服务。这里和大家分享实现方式,和大家一起学习。

1. 前提条件
        为了能够统一查找所有集群架构,这些机器需要有一个统一的能够访问所有机器的账号和密码,这里使用db_admin;另外做主从同步的时候,需要使用统一的账号和密码,这里使用repl。
        作为示例,这里使用如下的集群结构:
图片描述

        这里A、B、C是主库的从库,是一级从库,D、E是从库C的从库,是二级从库,如果实际有其他更复杂的结构,以此类推即可。

2. 搜索查找
        平时查找,任意给一个IP或者域名进行查找,由于集群中是无法标示域名的,因此需要将域名转化为IP进行查找。按照任意IP查找,不会知道它在集群所处的位置,为了得到整个集群的结构需要先回溯到整个集群的主库。

3. 回溯主库
       回溯主库使用db_admin账号登录MySQL执行"SHOW SLAVE statUS"命令,查找当前库的主库信息进行整理。
针对之前的集群结构常见的回溯类型如下图的三种:
图片描述

数据库集群主从架构查询功能设计

数据库集群主从架构查询功能设计

最终要获得的都是主库实例,python的实现代码如下:

# curr_node 当前搜索节点
# lisense 统一访问的账号,密码
# sub_node 子节点
def traceback_root(curr_node, lisense, sub_node):
    query_PRocess = 'SHOW SLAVE STATUS'
    master_row = None
    conn = None
    try:
        # 连接当前数据库,查找主库信息
        conn = get_connection(
            curr_node.get('ip'), curr_node.get('port'),
            lisense.get('account'), lisense.get('passwd'))
        wITh oPEn_cursor(conn) as cursor:
            cursor.execute(query_process)
            master_row = cursor.fetchone()

    except Exception as e:
        return None

    if master_row:
        return curr_node
    # 读取主库信息
    io_run = master_row.get('Slave_IO_Running', '')
    SQL_run = master_row.get('Slave_SQL_Running', '')
    master_ip = master_row.get('Master_Host', '')
    master_port = master_row.get('Master_Port', '')

    # 检查主库状态,状态不对返回当前节点
    if io_run.lower() == 'yes' and sql_run.lower() == 'yes':
        may_master_node = dict()
        may_master_node['ip'] = master_ip
        may_master_node['port'] = master_port

        # 检查父节点实例信息是否和子节点一样,
        # 用来避免双主库回溯陷入无线循环的情况
        if sub_node and sub_node.get('ip', '') == master_ip  and
                sub_node.get('port', '') == master_port:
            return None

        # 由于考虑了双主的情况,当前库的父节点只是可能主库,
        # 使用父节点继续回溯主库实例
        master_node = traceback_root(
            may_master_node, lisense, curr_node)
        
        # 如果回溯到主库,返回;否则返回当前节点
        if master_node:
            return master_node
        else:
            return curr_node

    else:
            return curr_node

4. 遍历从库
       找到主库之后,从主库开始,查找主库下的所有从库。查找从库使用db_admin登录MySQL执行"SHOW PROCESSLIST"命令,然后从结果里,按照User是否是repl进行筛选,对于用户是repl的从库,连接上去使用回溯主库使用的查看主库的方法,验证从库的主库是否是当前查询的数据库实例,是的话,加入集群;否则放弃。对于查找出来的从库,继续使用上述方式查找从库,知道找到所有从库。

5. 返回集群结构
       查找出来的集群结构,按照json格式组织,可以返回给需要的服务,也可以整理之后显示在页面,下图是对查找出来的整个集群结构的简单显示:

数据库集群主从架构查询功能设计

6. 结束语
       整个查询的大致过程如此,这里没有说太多的编码细节。在实际使用的过程中,可以根据需要自行进行调整,如添加多线程提高查询速度等。

脚本宝典总结

以上是脚本宝典为你收集整理的数据库集群主从架构查询功能设计全部内容,希望文章能够帮你解决数据库集群主从架构查询功能设计所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。