mysql高效导数据方法

页面导航:首页 > 数据库 > Mysql > mysql高效导数据方法

mysql高效导数据方法

来源: 作者: 时间:2016-02-05 10:56 【

mysql高效导数据方法模拟现网测试,需要搭建测试环境,导入上亿级的数据到数据库。对于到的问题做些简单记录。数据:一个db,2000个表格,2000张表格数据,每条记录30个column,平均每
mysql高效导数据方法
 
模拟现网测试,需要搭建测试环境,导入上亿级的数据到。对于到的问题做些简单记录。
 
数据:一个db,2000个表格,2000张表格数据,每条记录30个column,平均每张表格4.3w条记录,总共86388670条记录。
 
机器:linux 64bit 8G内存 4核 
 
基本思路:
 -utest -pxxxx -s -e "source xxxx.sql"

 

 
将load语句放在xxxx.sql中
 
load语法:
 
load data  [low_priority] [local] infile 'file_name.txt' [replace | ignore]

 

 
如果串行导入数据,会很慢,考虑并行,但可能有冲突,解决办法:
 
load之前清空表  
truncate table xxxx 或 delete from table xxxx;

 

 
或使用replace或ignore关键字。
 
Tags:

文章评论

最 近 更 新
热 点 排 行
Js与CSS工具
代码转换工具

<