資訊專欄INFORMATION COLUMN
摘要：場景生成用戶的測試數(shù)據(jù)。將用戶數(shù)據(jù)插入數(shù)據(jù)庫。但是當(dāng)數(shù)據(jù)量非常大，比如，時(shí)，就會(huì)發(fā)現(xiàn)。但是如果插入時(shí)間過長，瀏覽器接收不到服務(wù)器的回饋信息，他就直接報(bào)錯(cuò)誤超時(shí)，同時(shí)程序停止運(yùn)行。在這種情況下，可以用的方式用腳本執(zhí)行，即可完美解決。
場景：生成100w用戶的測試數(shù)據(jù)。
首先是生成用戶數(shù)據(jù)。將100w用戶數(shù)據(jù)插入數(shù)據(jù)庫。
這里一般有兩種做法：
一是：批量插入。但是這種會(huì)有問題，寫程序測試的時(shí)候，發(fā)現(xiàn)不了。因?yàn)?k數(shù)據(jù)好像都可以批量插入的。但是當(dāng)數(shù)據(jù)量非常大，比如10w，100w時(shí)，就會(huì)發(fā)現(xiàn)。內(nèi)存不夠用了。
二是：分批插入（比如，2k條一次，因?yàn)閱螚l插入速度太慢了），一般phper 在測試時(shí)，都是通過瀏覽器訪問方法，從而執(zhí)行程序。但是如果插入時(shí)間過長，瀏覽器接收不到服務(wù)器的回饋信息，他就直接報(bào)504錯(cuò)誤(超時(shí))，同時(shí)程序停止運(yùn)行。
在這種情況下，可以用CLI的方式用腳本執(zhí)行php，即可完美解決。
下面是CI 框架的運(yùn)行方式，相信其他框架也應(yīng)該可以。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/26005.html
摘要：閱讀原文如何高效導(dǎo)出百萬級(jí)數(shù)據(jù)在一個(gè)具有統(tǒng)計(jì)功能的系統(tǒng)中，導(dǎo)出功能幾乎是一定的，如何導(dǎo)出導(dǎo)出的數(shù)據(jù)有多少如何高效的導(dǎo)出簡介什么是就不用介紹了，這里主要說明不同版本下每個(gè)下的行列限制。 閱讀原文：POI如何高效導(dǎo)出百萬級(jí)Excel數(shù)據(jù)？ 在一個(gè)具有統(tǒng)計(jì)功能的系統(tǒng)中，導(dǎo)出excel功能幾乎是一定的，如何導(dǎo)出excel？導(dǎo)出的數(shù)據(jù)有多少？如何高效的導(dǎo)出？ Excel簡介什么是excel就不用...
摘要：獲取消息隊(duì)列中的腳本，拼接，批量入庫。批量入庫腳本天級(jí)統(tǒng)計(jì)腳本總結(jié)相對(duì)于其他復(fù)雜的方式處理高并發(fā)，這個(gè)解決方案簡單有效通過緩存抗壓，批量入庫解決數(shù)據(jù)庫瓶頸，離線計(jì)算解決統(tǒng)計(jì)數(shù)據(jù)，通過定期清理保證庫的大小。 需求背景：有個(gè)調(diào)用統(tǒng)計(jì)日志存儲(chǔ)和統(tǒng)計(jì)需求，要求存儲(chǔ)到mysql中；存儲(chǔ)數(shù)據(jù)高峰能達(dá)到日均千萬，瓶頸在于直接入庫并發(fā)太高，可能會(huì)把mysql干垮。 問題分析 思考：應(yīng)用網(wǎng)站架構(gòu)的衍化過...
其實(shí)我們本篇文章主要講述的就是需要將采集的數(shù)據(jù)積累下來，變成企業(yè)的數(shù)字資產(chǎn)?！ 》e累數(shù)據(jù)最好的方式就是把數(shù)據(jù)存入數(shù)據(jù)庫，低碼工具除了有可視化編程的便利外，不僅如此還有提供了線上的文檔型數(shù)據(jù)庫。文檔數(shù)據(jù)庫相比傳統(tǒng)數(shù)據(jù)庫，文檔數(shù)據(jù)庫的返回結(jié)構(gòu)是JSON格式，直接就可以在前端進(jìn)行渲染。關(guān)系型數(shù)據(jù)庫還得通過代碼進(jìn)行轉(zhuǎn)譯?！ ∥覀儸F(xiàn)在還講另外一個(gè)方面是文檔數(shù)據(jù)庫的類型更豐富，有附件、富文本、自動(dòng)編號(hào)、數(shù)...
閱讀 1608·2023-04-25 15:50
閱讀 1318·2021-09-22 15:49
閱讀 2946·2021-09-22 15:06
閱讀 3610·2019-08-30 15:54
閱讀 2345·2019-08-29 11:33
閱讀 2129·2019-08-23 17:56
閱讀 2160·2019-08-23 17:06
閱讀 1306·2019-08-23 15:55
