成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專(zhuān)欄INFORMATION COLUMN

Python信息采集器使用輕量級(jí)關(guān)系型數(shù)據(jù)庫(kù)SQLite

loonggg / 1505人閱讀

摘要:,引言自帶一個(gè)輕量級(jí)的關(guān)系型數(shù)據(jù)庫(kù)。作為后端數(shù)據(jù)庫(kù),可以搭配建網(wǎng)站,或者為網(wǎng)絡(luò)爬蟲(chóng)存儲(chǔ)數(shù)據(jù)。在一些場(chǎng)景下,網(wǎng)絡(luò)爬蟲(chóng)可以使用存儲(chǔ)采集到的網(wǎng)頁(yè)信息。爬蟲(chóng)打數(shù)機(jī)將在版本支持,不妨想想一下網(wǎng)絡(luò)爬蟲(chóng)與打數(shù)機(jī)連接在一起會(huì)怎樣。

1,引言

Python自帶一個(gè)輕量級(jí)的關(guān)系型數(shù)據(jù)庫(kù)SQLite。這一數(shù)據(jù)庫(kù)使用SQL語(yǔ)言。SQLite作為后端數(shù)據(jù)庫(kù),可以搭配Python建網(wǎng)站,或者為python網(wǎng)絡(luò)爬蟲(chóng)存儲(chǔ)數(shù)據(jù)。SQLite還在其它領(lǐng)域有廣泛的應(yīng)用,比如HTML5和移動(dòng)端。

Python標(biāo)準(zhǔn)庫(kù)中的sqlite3提供該數(shù)據(jù)庫(kù)的接口。

2,Python對(duì)SQLite進(jìn)行操作示例

以下的代碼將創(chuàng)建一個(gè)簡(jiǎn)單的關(guān)系型數(shù)據(jù)庫(kù),為一個(gè)書(shū)店存儲(chǔ)書(shū)的分類(lèi)和價(jià)格。數(shù)據(jù)庫(kù)中包含兩個(gè)表:category用于記錄分類(lèi),book用于記錄某本書(shū)的信息。一本書(shū)歸屬于某一個(gè)分類(lèi),因此book有一個(gè)外鍵(foreign key),指向catogory表的主鍵id。

2.1 創(chuàng)建數(shù)據(jù)庫(kù)

首先,創(chuàng)建數(shù)據(jù)庫(kù),以及數(shù)據(jù)庫(kù)中的表。在使用connect()連接數(shù)據(jù)庫(kù)后,就可以通過(guò)定位指針cursor,來(lái)執(zhí)行SQL命令:

import sqlite3

# test.db is a file in the working directory.
conn = sqlite3.connect("test.db")

c = conn.cursor()

# create tables
c.execute("""CREATE TABLE category
      (id int primary key, sort int, name text)""")
c.execute("""CREATE TABLE book
      (id int primary key,
       sort int,
       name text,
       price real,
       category int,
       FOREIGN KEY (category) REFERENCES category(id))""")

# save the changes
conn.commit()

# close the connection with the database
conn.close()

SQLite的數(shù)據(jù)庫(kù)是一個(gè)磁盤(pán)上的文件,如上面的test.db,因此整個(gè)數(shù)據(jù)庫(kù)可以方便的移動(dòng)或復(fù)制。test.db一開(kāi)始不存在,所以SQLite將自動(dòng)創(chuàng)建一個(gè)新文件。

利用execute()命令,執(zhí)行了兩個(gè)SQL命令,創(chuàng)建數(shù)據(jù)庫(kù)中的兩個(gè)表。創(chuàng)建完成后,保存并斷開(kāi)數(shù)據(jù)庫(kù)連接。

2.2 插入數(shù)據(jù)

上面創(chuàng)建了數(shù)據(jù)庫(kù)和表,確立了數(shù)據(jù)庫(kù)的抽象結(jié)構(gòu)。下面將在同一數(shù)據(jù)庫(kù)中插入數(shù)據(jù):

import sqlite3

conn = sqlite3.connect("test.db")
c  = conn.cursor()

books = [(1, 1, "Cook Recipe", 3.12, 1),
            (2, 3, "Python Intro", 17.5, 2),
            (3, 2, "OS Intro", 13.6, 2),
           ]

# execute "INSERT"
c.execute("INSERT INTO category VALUES (1, 1, "kitchen")")

# using the placeholder
c.execute("INSERT INTO category VALUES (?, ?, ?)", [(2, 2, "computer")])

# execute multiple commands
c.executemany("INSERT INTO book VALUES (?, ?, ?, ?, ?)", books)

conn.commit()
conn.close()

插入數(shù)據(jù)同樣可以使用execute()來(lái)執(zhí)行完整的SQL語(yǔ)句。SQL語(yǔ)句中的參數(shù),使用"?"作為替代符號(hào),并在后面的參數(shù)中給出具體值。這里不能用Python的格式化字符串,如"%s",因?yàn)檫@一用法容易受到SQL注入攻擊。

也可以用executemany()的方法來(lái)執(zhí)行多次插入,增加多個(gè)記錄。每個(gè)記錄是表中的一個(gè)元素,如上面的books表中的元素。

2.3 查詢(xún)

在執(zhí)行查詢(xún)語(yǔ)句后,Python將返回一個(gè)循環(huán)器,包含有查詢(xún)獲得的多個(gè)記錄。循環(huán)讀取,也可以使用sqlite3提供的fetchone()和fetchall()方法讀取記錄:

import sqlite3

conn = sqlite3.connect("test.db")
c = conn.cursor()

# retrieve one record
c.execute("SELECT name FROM category ORDER BY sort")
print(c.fetchone())
print(c.fetchone())

# retrieve all records as a list
c.execute("SELECT * FROM book WHERE book.category=1")
print(c.fetchall())

# iterate through the records
for row in c.execute("SELECT name, price FROM book ORDER BY sort"):
    print(row)
2.4 更新與刪除

可以更新某個(gè)記錄,或者刪除記錄:

conn = sqlite3.connect("test.db")
c = conn.cursor()

c.execute("UPDATE book SET price=? WHERE id=?",(1000, 1))
c.execute("DELETE FROM book WHERE id=2")

conn.commit()
conn.close()

也可以直接刪除整張表:

c.execute("DROP TABLE book")

如果刪除test.db,那么整個(gè)數(shù)據(jù)庫(kù)會(huì)被刪除。

3,總結(jié)

sqlite3是一個(gè)SQLite的接口。想要熟練的使用SQLite數(shù)據(jù)庫(kù),需要學(xué)習(xí)關(guān)系型數(shù)據(jù)庫(kù)的知識(shí)。在一些場(chǎng)景下,Python網(wǎng)絡(luò)爬蟲(chóng)可以使用SQLite存儲(chǔ)采集到的網(wǎng)頁(yè)信息。GooSeeker爬蟲(chóng)DS打數(shù)機(jī)將在7.x版本支持SQLite,不妨想想一下Python網(wǎng)絡(luò)爬蟲(chóng)與DS打數(shù)機(jī)連接在一起會(huì)怎樣。

4,文檔修改歷史

2016-07-07:V1.0,首次發(fā)布

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/38037.html

相關(guān)文章

  • Python爬蟲(chóng)建站入門(mén)手記——從零開(kāi)始建立采集站點(diǎn)(三:采集入庫(kù))

    摘要:進(jìn)入正題第三部分,采集入庫(kù)。內(nèi)容如下加上這個(gè)可以記住問(wèn)題在的位置,方便以后更新或者其他操作都很直白,關(guān)于各個(gè)可以看看的文檔。代碼如下添加方法采集當(dāng)前分頁(yè)正在抓取分頁(yè)這個(gè)地方寫(xiě)得很笨,之前該在加上這個(gè)屬性。 上回,我已經(jīng)大概把爬蟲(chóng)寫(xiě)出來(lái)了。 我寫(xiě)了一個(gè)內(nèi)容爬蟲(chóng),一個(gè)爬取tag里面內(nèi)容鏈接的爬蟲(chóng) 其實(shí)還差一個(gè),就是收集一共有哪些tag的爬蟲(chóng)。但是這里先不說(shuō)這個(gè)問(wèn)題,因?yàn)槲疑洗瓮?這次又不...

    amuqiao 評(píng)論0 收藏0
  • 一步一步教你如何搭建自己的視頻聚合站

    摘要:不過(guò)因?yàn)楦鱾€(gè)平臺(tái)互相挖人的關(guān)系,導(dǎo)致關(guān)注的一些主播分散到了各個(gè)直播平臺(tái),來(lái)回切換有點(diǎn)麻煩,所以萌生了做一個(gè)視頻聚合站的想法。后續(xù)我們會(huì)對(duì)這三個(gè)部分的功能做逐一展開(kāi)說(shuō)明。正則處理要求比較高,但是幾乎能應(yīng)對(duì)所有的情況,屬于大殺器。 前言 作為一個(gè)爐石傳說(shuō)玩家,經(jīng)常有事沒(méi)事開(kāi)著直播網(wǎng)站看看大神們的精彩表演。不過(guò)因?yàn)楦鱾€(gè)平臺(tái)互相挖人的關(guān)系,導(dǎo)致關(guān)注的一些主播分散到了各個(gè)直播平臺(tái),來(lái)回切換有點(diǎn)麻...

    justjavac 評(píng)論0 收藏0
  • ORM-像對(duì)象一樣對(duì)待數(shù)據(jù)

    摘要:顧名思義,就是將關(guān)系型數(shù)據(jù)庫(kù)與中的對(duì)象關(guān)聯(lián)起來(lái),提供了一種操作數(shù)據(jù)的簡(jiǎn)便方式,相當(dāng)于對(duì)數(shù)據(jù)庫(kù)加了一層更友好的接口。新增數(shù)據(jù)對(duì)象方法方法直接創(chuàng)建數(shù)據(jù)對(duì)象,需要調(diào)用方法保存到數(shù)據(jù)庫(kù)中。 咱們編程教室有不少同學(xué),學(xué)完了基礎(chǔ)課程,掌握了一定的編程能力,開(kāi)始做項(xiàng)目了。然后很可能遇到一個(gè)問(wèn)題:管理數(shù)據(jù)。課程里有講過(guò)用文件保存數(shù)據(jù),還有 pickle 、 csv 等模塊輔助。但對(duì)于稍微復(fù)雜一點(diǎn)的數(shù)據(jù)...

    U2FsdGVkX1x 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<