成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

mysql大批量插入數(shù)據(jù)四種方法

stormgens / 2086人閱讀

摘要:大批量插入數(shù)據(jù)四種方法方法一循環(huán)插入這個(gè)也是最普通的方式,如果數(shù)據(jù)量不是很大,可以使用,但是每次都要消耗連接數(shù)據(jù)庫(kù)的資源。

mysql大批量插入數(shù)據(jù)四種方法 方法一:循環(huán)插入

這個(gè)也是最普通的方式,如果數(shù)據(jù)量不是很大,可以使用,但是每次都要消耗連接數(shù)據(jù)庫(kù)的資源。
大致思維如下
(我這里寫偽代碼,具體編寫可以結(jié)合自己的業(yè)務(wù)邏輯或者框架語(yǔ)法編寫)

for($i=1;$i<=100;$i++){
    $sql = "insert...............";
    //querysql
}
foreach($arr as $key => $value){
$sql = "insert...............";
    //querysql
}
while($i <= 100){
$sql = "insert...............";
    //querysql
    $i++
}

因?yàn)樘^(guò)普通同時(shí)也沒(méi)什么難度同時(shí)也不是我今天主要寫的所以這里我不多說(shuō)

方法二:減少連接資源,拼接一條sql

偽代碼如下

//這里假設(shè)arr的key和數(shù)據(jù)庫(kù)字段同步,其實(shí)大多數(shù)框架中在php操作數(shù)據(jù)庫(kù)的時(shí)候都是這么設(shè)計(jì)的
$arr_keys        = array_keys($arr);
$sql             = "INSERT INTO tablename (" . implode("," ,$arr_keys) . ") values";
$arr_values      = array_values($arr);
$sql             .= " ("" . implode("","" ,$arr_values) . ""),";
$sql             = substr($sql ,0 ,-1);
//拼接之后大概就是  INSERT INTO tablename ("username","password") values 
("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx")
.......
//querysql

這樣寫正常插入一萬(wàn)條基本問(wèn)題不大,除非數(shù)據(jù)很長(zhǎng),應(yīng)付普通的批量插入夠用了,比如:批量生成卡號(hào),批量生成隨機(jī)碼等等。。。

方法三:使用存儲(chǔ)過(guò)程

這個(gè)我手里正好再用這個(gè)就把sql付出來(lái),具體業(yè)務(wù)邏輯大家自己組合一下就可以。

delimiter $$$
create procedure zqtest()
begin
declare i int default 0;
set i=0;
start transaction;
while i<80000 do
    //your insert sql 
set i=i+1;
end while;
commit;
end
$$$
delimiter;
call zqtest();

這個(gè)也只是個(gè)測(cè)試代碼,具體參數(shù)大家自行定義
我這里是一次插入8萬(wàn)條,雖然不多但是,每一條數(shù)據(jù)量都很大,有很多varchar4000 和text字段
耗時(shí) 6.524s

方法四:使用MYSQL LOCAL_INFILE

這個(gè)我目前正在使用,所以順便把pdo的代碼也復(fù)上來(lái),以便大家參考

//設(shè)置pdo開啟MYSQL_ATTR_LOCAL_INFILE
/*[email protected]
public function pdo_local_info ()
{
     global $system_dbserver;
     $dbname  = "[email protected]";
     $ip      = "[email protected]";
     $user    = "[email protected]";
     $pwd     = "[email protected]";
     $dsn     = "mysql:dbname=" . $dbname . ";host=" . $ip . ";port=3306";
     $options = [PDO::MYSQL_ATTR_LOCAL_INFILE => true];
     $db      = new PDO($dsn ,$user ,$pwd ,$options);
     return $db;
 }
//偽代碼如下
public function test(){
     $arr_keys         = array_keys($arr);
     $root_dir         = $_SERVER["DOCUMENT_ROOT"] . "/";
     $my_file          = $root_dir . "[email protected]/sql_cache/" . $order["OrderNo"] . ".sql";
     $fhandler         = fopen($my_file,"a+");
     if ($fhandler) {
        $sql = implode("	" ,$arr);
          $i   = 1;
          while ($i <= 80000)
          {
              $i++;
              fwrite($fhandler ,$sql . "
");
          }
          $sql = "LOAD DATA local INFILE "" . $myFile . "" INTO TABLE ";
          $sql .= "tablename (" . implode("," ,$arr_keys) . ")";
          $pdo = $this->pdo_local_info ();
          $res = $pdo->exec($sql);
          if (!$res) {
               //TODO 插入失敗
          }
          @unlink($my_file);
      }
}

這個(gè)同樣每一條數(shù)據(jù)量都很大,有很多varchar4000 和text字段
耗時(shí) 2.160s
以上滿足基本需求,100萬(wàn)數(shù)據(jù)問(wèn)題不大,要不數(shù)據(jù)實(shí)在太大也涉及分庫(kù)分表了,或者使用隊(duì)列插入了。

大家可能會(huì)說(shuō),代碼粘貼上運(yùn)行不了?。?/strong>
我的偽代碼 只講思維 有了自己的思維才能一通百通

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/31700.html

相關(guān)文章

  • 數(shù)據(jù)庫(kù)相關(guān)異常分析

    摘要:起因最近一段時(shí)間,生產(chǎn)系統(tǒng)持續(xù)碰到一些數(shù)據(jù)庫(kù)異常,導(dǎo)致執(zhí)行失敗。綜上,若發(fā)生異常,為數(shù)據(jù)庫(kù)連接失效,但是失效的原因可能會(huì)有多種,大致都與各種參數(shù)相關(guān)。當(dāng)時(shí)數(shù)據(jù)量大概多條,然后在批量插入時(shí)拋出該異常。 起因 最近一段時(shí)間,生產(chǎn)系統(tǒng)持續(xù)碰到一些數(shù)據(jù)庫(kù)異常,導(dǎo)致 sql 執(zhí)行失敗。 應(yīng)用環(huán)境 Java 1.7 + Mysql 5.6 + spring + ibatis 問(wèn)題排查 將各種失敗的...

    IamDLY 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

閱讀需要支付1元查看
<