mysql中如何提高大表之间复制效率

页面导航:首页 > 数据库 > Mysql > mysql中如何提高大表之间复制效率

mysql中如何提高大表之间复制效率

来源: 作者: 时间:2016-02-17 10:07 【

mysql中如何提高大表之间复制效率假如目前有个日志总表logs_a,一周大概产生500W左右日志,按天分区,现在想把这个表中数据复制到另一表logs_b还是按天分,两表的结构不同。我们使用
中如何提高大表之间复制效率
 
假如目前有个日志总表logs_a,一周大概产生500W左右日志,按天分区,现在想把这个表中数据复制到另一表logs_b还是按天分,两表的结构不同。
我们使用下面这种方式做的拷贝:
1
Insert into logs_b(…,…,…)
2
Select …,…,… from logs_a
3
Where log_date >= to_date(‘20120229’, ‘yyyymmdd’);

 

现在问题是,这个sql要运行N久,也无法终止,问下有什么好的方法能够快速实现表数据复制没?
 
办法一:

分页导入,比如Insert into logs_b(…,…,…) Select …,…,… from logs_a Where log_date >= to_date(‘20120229’, ‘yyyymmdd’) limit 0,1000;

办法二:

先select into outfile然后再load data infile

select a,b,c from oldtable into outfile 'a.txt';

load data INFILE 'a.txt' into table newtable (a,b,c ) ;

 

 
当从一个文本文件装载一个表时,使用load data infile。这通常比使用很多insert语句快几十倍。
 
load data infile 并不是先把数据 select 进来,load data infile 之前,可以先用 myisamchk --keys-used=0 -rq /path/to/db/tbl_name 从表中取消所有索引的使用。当导入完后 用myisamchk -r -q /path/to/db/tbl_name重新创建索引。这将在写入磁盘前在内存中创建索引树,并且它更快,因为避免了大量磁盘搜索。结果索引树也被完美地平衡
 
办法三:
 
在myisam engine下
 
1 尽量使用insert into table_name values (...), (.....),(.....)这样形式插入数据,避免使用inset into table_name values (); inset into table_name values (); inset into table_name values ();
 
2 增加bulk_insert_buffer_size(默认8M)
 
3 如果是非空表,使用alter table table_name disable keys,然后load data infile,导入完数据在执行:
alter table table_name enable keys. 如果是空表,就不需要这个操作,因为myisam表在空表中导入数据时,是先导入数据然后建立indexs。
 
4 在插入数据时考虑使用:insert delayed....这样操作实际mysql把insert操作放到队列里面,进行相对集中的插入,速度更快。
 
使用load data infile 比使用insert 操作快近20倍,尽量使用此操作。
在innodb engine下
 
1.导入数据之前执行set unique_checks=0来禁止对唯一索引的检查,数据导入完成之后再运行set unique_checks=1.
2. 导入数据之前执行set foreign_key_checks=0来禁止对外键的检查,数据导入完成之后再执行set foreign_key_checks=1.
3.导入数据之前执行set autocommit=0禁止自动事务的自动提交,数据导入完成之后,执行set autocommit=1 恢复自动提交操作。

 

使用innodb engine的表,物理存储都是按PK的顺序存的。不能使用类似于myisam一样disable keys.
 
硬件上提高磁盘的I/0对插入速度很有好处(所以如果进行大数据量的导入导出工作,尽量在比较NB的硬件上进行,能缩减完成的时间,已经防止出现问题)
 
 
Tags:

文章评论

最 近 更 新
热 点 排 行
Js与CSS工具
代码转换工具

<