脚本宝典收集整理的这篇文章主要介绍了php 如何将100w级的数据入库。,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
场景:生成100w用户的测试数据。
首先是生成用户数据。将100w用户数据插入数据库。
这里一般有两种做法:
一是:批量插入。但是这种会有问题,写程序测试的时候,发现不了。因为5k数据好像都可以批量插入的。但是当数据量非常大,比如10w,100w时,就会发现。内存不够用了。
二是:分批插入(比如,2k条一次,因为单条插入速度太慢了),一般phper 在测试时,都是通过浏览器访问方法,从而执行程序。但是如果插入时间过长,浏览器接收不到服务器的回馈信息,他就直接报504错误(超时),同时程序停止运行。
在这种情况下,可以用CLI的方式用脚本执行php,即可完美解决。
下面是CI 框架的运行方式,相信其他框架也应该可以。
以上是脚本宝典为你收集整理的php 如何将100w级的数据入库。全部内容,希望文章能够帮你解决php 如何将100w级的数据入库。所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。