Mysql备份恢复调优

页面导航:首页 > 数据库 > Mysql > Mysql备份恢复调优

Mysql备份恢复调优

来源: 作者: 时间:2016-02-21 09:46 【

Mysql备份恢复调优Mysql 备份与恢复mysqldump,ibbackup,replication备份分:Hot Backup(热备) 在线备份,对DB无影响Cold Backup(冷备) 停止时备份,简单,拷贝物理文件,离线备份 frm数据库文件,共..
Mysql备份恢复调优
 
Mysql 备份与恢复
mysqldump,ibbackup,replication
 
备份分:
Hot Backup(热备)    在线备份,对DB无影响
Cold Backup(冷备)    停止时备份,简单,拷贝物理文件,离线备份
    frm文件,共享表空间文件,独立表空间ibd文件,重做日志文件的备份 。   DBA脚本备份,并打包与压缩。
Warm Backup(温备)    DB运行时备份,对DB操作有影响,会加一个全局读锁来保证备份数据的一致性。
 
逻辑备份是指备份文件内容是可读的,通常是文本文件,内容一般为SQL语句,可表的实际数据,如mysqldump和select * into OUTFILE。用于数据库升级,迁移,恢复时间较长。
    mysqldump --all-databases > file_name ;备份所有数据库
    mysqldump --databases db1 db2 db3 >dbs.sql ;备份指定的库
    mysqldump --single-transaction test>test_backup.sql; 对test架构进行备份。
    select * into OUTFILE ;多用于导出表的数据;
    select * into outfile 'xxxx' from a;    恢复时用  load data infile 'xxx' into table a;
    
    恢复
    mysql -uroot -p<test_backup.sql
    source  ....xxx.sql 
    
    mysql 可以导出存储过程,触发器,事件,数据,但是不能导出视图。
    
祼文件备份,指拷贝数据库物理文件,DB可在运行或者停止状态。
 
完全备份    完整备份
增量备份    在上次完全备份的基础上对更新数据进行备份。
日志备份    对二进制日志备份。它的replication原理就是异步实时进行二进制日志重做。
 
[mysqld]
log-bin        开启二进制
sync_binlog=1
innodb_support_xa=1
 
要恢复二进制日志简单  
mysqlbinlog binlog.000001 | mysql -uroot -p test
mysqlbinlog binlog.[0-10]* | mysql -uroot -p test 恢复多个
 
mysqldump中通过添加 -single-transaction选项来取得一致性备份。备份是在一个很长的事务中执行的。
 
根据自己的策略编写一个备份的应用程序,可以方便地设置备份的方法及监控备份的结果,且可通过第三方接口实时通知DBA,这样可做到24*7的备份监控。
DAO(Database Admin Online)系统,DBA可对几百台my服务器进行备份,监控,硬件,发生问题时飞信接口第一时间通知。 python语言,Django WEB页面 。
任何时候需要做好远程备份。
 
ibbackup  高性能热备方式
XtraBackup GPL2 免费  linux
LVM(Logical Volume Manager,GNU/Linux 逻辑卷管理器)对磁盘分区管理,可将多个磁盘分区建立一个卷组(Volume Group),成为统一的结构。再做LVM快照,非常快。
 
数据分布   复制不需要太多的带宽。
读取负载平衡   多个从服务器,通过DNS的Round-Robin和Linux的LVS实现负载均衡;
复制对备份很有帮助,但是不是备份,不能完全代替备份;通过复制建立的从有助于故障转移,减少故障的停机时间与恢复时间。
但是担心主上对数据的误操作,这时从也跟着处理了,这种情况无法处理。需要对从进行快照处理。从服务器上可以设置权限。
 
调优
1.选择合适的CPU;
    OLTP 对CPU要求不高,复杂的查询需要的比较,排序,连接等耗CPU操作少。OLAP是CPU密集型的操作。OLTP是I/O密集型操作。
2.内存重要;
    Percona 的Vadim 对内存的影响作了比较,内存大小最能直接反映数据库的性能。2GB->22GB 缓冲池的增大,性能极大提升。
    > show global status like 'innodb%read%';\G
    +---------------------------------------+---------+
    | Variable_name                         | Value   |
    +---------------------------------------+---------+
    | Innodb_buffer_pool_read_ahead_rnd     | 0       | 
    | Innodb_buffer_pool_read_ahead         | 0       | 从物理磁盘预读的次数
    | Innodb_buffer_pool_read_ahead_evicted | 0       | 预计的页,但是没有被读取就从缓冲池中被替换的页的数量,一般用来判断预读的效率
    | Innodb_buffer_pool_read_requests      | 6592    | 从缓冲池中读取页的次数
    | Innodb_buffer_pool_reads              | 396     |    从物理磁盘读取页的次数
    | Innodb_data_pending_reads             | 0       |
    | Innodb_data_read                      | 8671232 |  总共读入的字节数
    | Innodb_data_reads                     | 408     |  发起读取请求的次数,每次读取可能需要读取多个页。
    | Innodb_pages_read                     | 395     |
    | Innodb_rows_read                      | 0       |
    +---------------------------------------+---------+
        通常缓冲池的命中率不应该小于99%。即使缓冲池的大小大于数据库文件大小,也并不意味着无磁盘读写了。缓冲池只用来存放热点数据。
        缓冲池的命中率 = Innodb_buffer_pool_read_requests/(Innodb_buffer_pool_read_requests+Innodb_buffer_pool_read_ahead +Innodb_buffer_pool_reads )
        平均每次读取的字节数=Innodb_data_read/Innodb_data_reads 
        
3.硬盘对数据库性能影响;
    当前大多为传统的机械硬盘,此技术十分成熟,SAS或SATA接口硬盘。二个指标:寻道时间与转速。3ms的最短寻道时间,15000 rpm。最大问题是读写磁头。
    随机访问会耗费长时间的磁头旋转和定位来查找,因此顺序的速度远高于随机访问 。  RAID提高数据库的性能,数据文件分布不同硬盘上达到负载均衡。
    固态硬盘,基于闪存,低延迟低功耗与防震,TB级别存储方案,无磁善头。闪存中数据是不可以更新的,只能通过扇区的覆盖重写,在处理前需要耗时的擦除操作。
    闪存的读写是非对称的,读远远快于写。
4.合理地设置RAID;
    RAID:增强数据集成度,增强容错功能,增加处理量或容量。
    RAID 0 :合并硬盘,无冗余,并行 I/O,速度最快。 如一个磁盘损坏,则所有数据丢失。
    RAID 1 :二组以上N个磁盘互为镜像,性能最高,主硬盘损坏时,镜像硬盘代替工作。数据安全性最高,但是磁盘利用率最低。
    RAID 5 :存储性能,数据安全和存储成本兼顾的解决方案。用Disk Striping(磁盘分区)技术。至少要三个硬盘。不备份,而是存储奇偶校验信息和数据分别存储不同硬盘,用剩下的数据及奇偶校验来恢复。
        与RAID0有相同的读速度,但是因奇偶较验,故写入慢。用write Back(将写入的数据放入自身的缓存中)可提高性能。
5.操作也很重要;
    OS,注意windows不区分大小写,而linux区分; 系统对内存的支持。
6.不同文件系统对数据库影响;    
    windows NTFS,Solaris ZFS, EXT3/4等。
7.选择合适的基准测试工具。
    sysbench(CPU性能,磁盘IO性能,调度程序性能,内存分配及传输速度,POSIX线程性能,OLTP基准测试)
 
Tags:

文章评论

最 近 更 新
热 点 排 行
Js与CSS工具
代码转换工具

<