摘要:大批量插入數(shù)據(jù)四種方法方法一循環(huán)插入這個(gè)也是最普通的方式,如果數(shù)據(jù)量不是很大,可以使用,但是每次都要消耗連接數(shù)據(jù)庫(kù)的資源。
mysql大批量插入數(shù)據(jù)四種方法 方法一:循環(huán)插入
這個(gè)也是最普通的方式,如果數(shù)據(jù)量不是很大,可以使用,但是每次都要消耗連接數(shù)據(jù)庫(kù)的資源。
大致思維如下
(我這里寫偽代碼,具體編寫可以結(jié)合自己的業(yè)務(wù)邏輯或者框架語(yǔ)法編寫)
for($i=1;$i<=100;$i++){ $sql = "insert..............."; //querysql } foreach($arr as $key => $value){ $sql = "insert..............."; //querysql } while($i <= 100){ $sql = "insert..............."; //querysql $i++ }
因?yàn)樘^(guò)普通同時(shí)也沒(méi)什么難度同時(shí)也不是我今天主要寫的所以這里我不多說(shuō)
方法二:減少連接資源,拼接一條sql偽代碼如下
//這里假設(shè)arr的key和數(shù)據(jù)庫(kù)字段同步,其實(shí)大多數(shù)框架中在php操作數(shù)據(jù)庫(kù)的時(shí)候都是這么設(shè)計(jì)的 $arr_keys = array_keys($arr); $sql = "INSERT INTO tablename (" . implode("," ,$arr_keys) . ") values"; $arr_values = array_values($arr); $sql .= " ("" . implode("","" ,$arr_values) . ""),"; $sql = substr($sql ,0 ,-1); //拼接之后大概就是 INSERT INTO tablename ("username","password") values ("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx") ....... //querysql
這樣寫正常插入一萬(wàn)條基本問(wèn)題不大,除非數(shù)據(jù)很長(zhǎng),應(yīng)付普通的批量插入夠用了,比如:批量生成卡號(hào),批量生成隨機(jī)碼等等。。。
方法三:使用存儲(chǔ)過(guò)程這個(gè)我手里正好再用這個(gè)就把sql付出來(lái),具體業(yè)務(wù)邏輯大家自己組合一下就可以。
delimiter $$$ create procedure zqtest() begin declare i int default 0; set i=0; start transaction; while i<80000 do //your insert sql set i=i+1; end while; commit; end $$$ delimiter; call zqtest();
這個(gè)也只是個(gè)測(cè)試代碼,具體參數(shù)大家自行定義
我這里是一次插入8萬(wàn)條,雖然不多但是,每一條數(shù)據(jù)量都很大,有很多varchar4000 和text字段
耗時(shí) 6.524s
這個(gè)我目前正在使用,所以順便把pdo的代碼也復(fù)上來(lái),以便大家參考
//設(shè)置pdo開啟MYSQL_ATTR_LOCAL_INFILE /*[email protected] public function pdo_local_info () { global $system_dbserver; $dbname = "[email protected]"; $ip = "[email protected]"; $user = "[email protected]"; $pwd = "[email protected]"; $dsn = "mysql:dbname=" . $dbname . ";host=" . $ip . ";port=3306"; $options = [PDO::MYSQL_ATTR_LOCAL_INFILE => true]; $db = new PDO($dsn ,$user ,$pwd ,$options); return $db; } //偽代碼如下 public function test(){ $arr_keys = array_keys($arr); $root_dir = $_SERVER["DOCUMENT_ROOT"] . "/"; $my_file = $root_dir . "[email protected]/sql_cache/" . $order["OrderNo"] . ".sql"; $fhandler = fopen($my_file,"a+"); if ($fhandler) { $sql = implode(" " ,$arr); $i = 1; while ($i <= 80000) { $i++; fwrite($fhandler ,$sql . " "); } $sql = "LOAD DATA local INFILE "" . $myFile . "" INTO TABLE "; $sql .= "tablename (" . implode("," ,$arr_keys) . ")"; $pdo = $this->pdo_local_info (); $res = $pdo->exec($sql); if (!$res) { //TODO 插入失敗 } @unlink($my_file); } }
這個(gè)同樣每一條數(shù)據(jù)量都很大,有很多varchar4000 和text字段
耗時(shí) 2.160s
以上滿足基本需求,100萬(wàn)數(shù)據(jù)問(wèn)題不大,要不數(shù)據(jù)實(shí)在太大也涉及分庫(kù)分表了,或者使用隊(duì)列插入了。
大家可能會(huì)說(shuō),代碼粘貼上運(yùn)行不了?。?/strong>
我的偽代碼 只講思維 有了自己的思維才能一通百通
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/31700.html
摘要:起因最近一段時(shí)間,生產(chǎn)系統(tǒng)持續(xù)碰到一些數(shù)據(jù)庫(kù)異常,導(dǎo)致執(zhí)行失敗。綜上,若發(fā)生異常,為數(shù)據(jù)庫(kù)連接失效,但是失效的原因可能會(huì)有多種,大致都與各種參數(shù)相關(guān)。當(dāng)時(shí)數(shù)據(jù)量大概多條,然后在批量插入時(shí)拋出該異常。 起因 最近一段時(shí)間,生產(chǎn)系統(tǒng)持續(xù)碰到一些數(shù)據(jù)庫(kù)異常,導(dǎo)致 sql 執(zhí)行失敗。 應(yīng)用環(huán)境 Java 1.7 + Mysql 5.6 + spring + ibatis 問(wèn)題排查 將各種失敗的...
閱讀 2919·2021-11-24 09:39
閱讀 1176·2021-11-02 14:38
閱讀 4177·2021-09-10 11:26
閱讀 2764·2021-08-25 09:40
閱讀 2320·2019-08-30 15:54
閱讀 492·2019-08-30 10:56
閱讀 2758·2019-08-26 12:14
閱讀 3228·2019-08-26 12:13