摘要：列存儲(chǔ)數(shù)據(jù)庫，代表有等。運(yùn)行結(jié)果返回結(jié)果是字典形式，即代表執(zhí)行成功，代表影響的數(shù)據(jù)條數(shù)。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)數(shù)據(jù)存儲(chǔ)關(guān)系型數(shù)據(jù)庫存儲(chǔ)下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)數(shù)據(jù)存儲(chǔ)非關(guān)系型數(shù)據(jù)庫存儲(chǔ)

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---32、數(shù)據(jù)存儲(chǔ)：關(guān)系型數(shù)據(jù)庫存儲(chǔ):MySQL
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---34、數(shù)據(jù)存儲(chǔ)：非關(guān)系型數(shù)據(jù)庫存儲(chǔ):Redis

NoSQL，全稱 Not Only SQL，意為不僅僅是 SQL，泛指非關(guān)系型的數(shù)據(jù)庫。NoSQL 是基于鍵值對(duì)的，而且不需要經(jīng)過 SQL 層的解析，數(shù)據(jù)之間沒有耦合性，性能非常高。

非關(guān)系型數(shù)據(jù)庫又可以細(xì)分如下：

鍵值存儲(chǔ)數(shù)據(jù)庫，代表有 Redis, Voldemort, Oracle BDB 等。

列存儲(chǔ)數(shù)據(jù)庫，代表有 Cassandra, HBase, Riak 等。

文檔型數(shù)據(jù)庫，代表有 CouchDB, MongoDB 等。

圖形數(shù)據(jù)庫，代表有 Neo4J, InfoGrid, Infinite Graph等。

對(duì)于爬蟲的數(shù)據(jù)存儲(chǔ)來說，一條數(shù)據(jù)可能存在某些字段提取失敗而缺失的情況，而且數(shù)據(jù)可能隨時(shí)調(diào)整，另外數(shù)據(jù)之間能還存在嵌套關(guān)系。如果我們使用了關(guān)系型數(shù)據(jù)庫存儲(chǔ)，一是需要提前建表，二是如果存在數(shù)據(jù)嵌套關(guān)系的話需要進(jìn)行序列化操作才可以存儲(chǔ)，比較不方便。如果用了非關(guān)系數(shù)據(jù)庫就可以避免一些麻煩，簡單高效。

本節(jié)我們主要介紹一下 MongoDB 和 Redis 的數(shù)據(jù)存儲(chǔ)操作。

MongoDB 是由 C++ 語言編寫的非關(guān)系型數(shù)據(jù)庫，是一個(gè)基于分布式文件存儲(chǔ)的開源數(shù)據(jù)庫系統(tǒng)，其內(nèi)容存儲(chǔ)形式類似 Json 對(duì)象，它的字段值可以包含其他文檔，數(shù)組及文檔數(shù)組，非常靈活，在這一節(jié)我們來看一下 Python3 下 MongoDB 的存儲(chǔ)操作。

在本節(jié)開始之前請(qǐng)確保已經(jīng)安裝好了 MongoDB 并啟動(dòng)了其服務(wù)，另外安裝好了 Python 的 PyMongo庫，如沒有安裝可以參考第一章的安裝過程。

連接 MongoDB 我們需要使用 PyMongo 庫里面的 MongoClient，一般來說傳入 MongoDB 的 IP 及端口即可，第一個(gè)參數(shù)為地址 host，第二個(gè)參數(shù)為端口 port，端口如果不傳默認(rèn)是 27017。

import pymongo
client = pymongo.MongoClient(host="localhost", port=27017)

這樣我們就可以創(chuàng)建一個(gè) MongoDB 的連接對(duì)象了。

另外 MongoClient 的第一個(gè)參數(shù) host 還可以直接傳MongoDB 的連接字符串，以 mongodb 開頭，例如：

client = MongoClient("mongodb://localhost:27017/")

可以達(dá)到同樣的連接效果。

MongoDB 中還分為一個(gè)個(gè)數(shù)據(jù)庫，我們接下來的一步就是指定要操作哪個(gè)數(shù)據(jù)庫，在這里我以 test 數(shù)據(jù)庫為例進(jìn)行說明，所以下一步我們需要在程序中指定要使用的數(shù)據(jù)庫。

db = client.test

調(diào)用 client 的 test 屬性即可返回 test 數(shù)據(jù)庫，當(dāng)然也可以這樣來指定：

db = client["test"]

兩種方式是等價(jià)的。

MongoDB 的每個(gè)數(shù)據(jù)庫又包含了許多集合 Collection，也就類似與關(guān)系型數(shù)據(jù)庫中的表，下一步我們需要指定要操作的集合，在這里我們指定一個(gè)集合名稱為 students，學(xué)生集合，還是和指定數(shù)據(jù)庫類似，指定集合也有兩種方式：

collection = db.students

collection = db["students"]

這樣我們便聲明了一個(gè) Collection 對(duì)象。

接下來我們便可以進(jìn)行數(shù)據(jù)插入了，對(duì)于 students 這個(gè)Collection，我們新建一條學(xué)生數(shù)據(jù)，以字典的形式表示：

student = {
    "id": "20170101",
    "name": "Jordan",
    "age": 20,
    "gender": "male"
}

在這里我們指定了學(xué)生的學(xué)號(hào)、姓名、年齡和性別，然后接下來直接調(diào)用 collection 的 insert() 方法即可插入數(shù)據(jù)，代碼如下：

result = collection.insert(student)
print(result)

在 MongoDB 中，每條數(shù)據(jù)其實(shí)都有一個(gè) _id 屬性來唯一標(biāo)識(shí)，如果沒有顯式指明 _id，MongoDB 會(huì)自動(dòng)產(chǎn)生一個(gè) ObjectId 類型的 _id 屬性。insert() 方法會(huì)在執(zhí)行后返回的 _id 值。

運(yùn)行結(jié)果：

5932a68615c2606814c91f3d

當(dāng)然我們也可以同時(shí)插入多條數(shù)據(jù)，只需要以列表形式傳遞即可，示例如下：

student1 = {
    "id": "20170101",
    "name": "Jordan",
    "age": 20,
    "gender": "male"
}

student2 = {
    "id": "20170202",
    "name": "Mike",
    "age": 21,
    "gender": "male"
}

result = collection.insert([student1, student2])
print(result)

返回的結(jié)果是對(duì)應(yīng)的 _id 的集合，運(yùn)行結(jié)果：

[ObjectId("5932a80115c2606a59e8a048"), ObjectId("5932a80115c2606a59e8a049")]

實(shí)際上在 PyMongo 3.X 版本中，insert() 方法官方已經(jīng)不推薦使用了，當(dāng)然繼續(xù)使用也沒有什么問題，官方推薦使用 insert_one() 和 insert_many() 方法將插入單條和多條記錄分開。

student = {
    "id": "20170101",
    "name": "Jordan",
    "age": 20,
    "gender": "male"
}

result = collection.insert_one(student)
print(result)
print(result.inserted_id)

運(yùn)行結(jié)果：

5932ab0f15c2606f0c1cf6c5

返回結(jié)果和 insert() 方法不同，這次返回的是InsertOneResult 對(duì)象，我們可以調(diào)用其 inserted_id 屬性獲取 _id。

對(duì)于 insert_many() 方法，我們可以將數(shù)據(jù)以列表形式傳遞即可，示例如下：

student1 = {
    "id": "20170101",
    "name": "Jordan",
    "age": 20,
    "gender": "male"
}

student2 = {
    "id": "20170202",
    "name": "Mike",
    "age": 21,
    "gender": "male"
}

result = collection.insert_many([student1, student2])
print(result)
print(result.inserted_ids)

insert_many() 方法返回的類型是 InsertManyResult，調(diào)用inserted_ids 屬性可以獲取插入數(shù)據(jù)的 _id 列表，運(yùn)行結(jié)果：

[ObjectId("5932abf415c2607083d3b2ac"), ObjectId("5932abf415c2607083d3b2ad")]

插入數(shù)據(jù)后我們可以利用 find_one() 或 find() 方法進(jìn)行查詢，find_one() 查詢得到是單個(gè)結(jié)果，find() 則返回一個(gè)生成器對(duì)象。

result = collection.find_one({"name": "Mike"})
print(type(result))
print(result)

在這里我們查詢 name 為 Mike 的數(shù)據(jù)，它的返回結(jié)果是字典類型，運(yùn)行結(jié)果：

{"_id": ObjectId("5932a80115c2606a59e8a049"), "id": "20170202", "name": "Mike", "age": 21, "gender": "male"}

可以發(fā)現(xiàn)它多了一個(gè) _id 屬性，這就是 MongoDB 在插入的過程中自動(dòng)添加的。

我們也可以直接根據(jù) ObjectId 來查詢，這里需要使用 bson 庫里面的 ObjectId。

from bson.objectid import ObjectId

result = collection.find_one({"_id": ObjectId("593278c115c2602667ec6bae")})
print(result)

其查詢結(jié)果依然是字典類型，運(yùn)行結(jié)果：

{"_id": ObjectId("593278c115c2602667ec6bae"), "id": "20170101", "name": "Jordan", "age": 20, "gender": "male"}

當(dāng)然如果查詢結(jié)果不存在則會(huì)返回 None。

對(duì)于多條數(shù)據(jù)的查詢，我們可以使用 find() 方法，例如在這里查找年齡為 20 的數(shù)據(jù)，示例如下：

results = collection.find({"age": 20})
print(results)
for result in results:
    print(result)

運(yùn)行結(jié)果：

{"_id": ObjectId("593278c115c2602667ec6bae"), "id": "20170101", "name": "Jordan", "age": 20, "gender": "male"}
{"_id": ObjectId("593278c815c2602678bb2b8d"), "id": "20170102", "name": "Kevin", "age": 20, "gender": "male"}
{"_id": ObjectId("593278d815c260269d7645a8"), "id": "20170103", "name": "Harden", "age": 20, "gender": "male"}

返回結(jié)果是 Cursor 類型，相當(dāng)于一個(gè)生成器，我們需要遍歷取到所有的結(jié)果，每一個(gè)結(jié)果都是字典類型。

如果要查詢年齡大于 20 的數(shù)據(jù)，則寫法如下：

results = collection.find({"age": {"$gt": 20}})

在這里查詢的條件鍵值已經(jīng)不是單純的數(shù)字了，而是一個(gè)字典，其鍵名為比較符號(hào) $gt，意思是大于，鍵值為 20，這樣便可以查詢出所有年齡大于 20 的數(shù)據(jù)。

在這里將比較符號(hào)歸納如下表：

另外還可以進(jìn)行正則匹配查詢，例如查詢名字以 M 開頭的學(xué)生數(shù)據(jù)，示例如下：

results = collection.find({"name": {"$regex": "^M.*"}})

在這里使用了 $regex 來指定正則匹配，^M.* 代表以 M 開頭的正則表達(dá)式，這樣就可以查詢所有符合該正則的結(jié)果。

在這里將一些功能符號(hào)再歸類如下：

這些操作的更詳細(xì)用法在可以在 MongoDB 官方文檔找到： https://docs.mongodb.com/manu...。

要統(tǒng)計(jì)查詢結(jié)果有多少條數(shù)據(jù)，可以調(diào)用 count() 方法，如統(tǒng)計(jì)所有數(shù)據(jù)條數(shù)：

count = collection.find().count()
print(count)

或者統(tǒng)計(jì)符合某個(gè)條件的數(shù)據(jù)：

count = collection.find({"age": 20}).count()
print(count)

結(jié)果是一個(gè)數(shù)值，即符合條件的數(shù)據(jù)條數(shù)。

可以調(diào)用 sort() 方法，傳入排序的字段及升降序標(biāo)志即可，示例如下：

results = collection.find().sort("name", pymongo.ASCENDING)
print([result["name"] for result in results])

運(yùn)行結(jié)果：

["Harden", "Jordan", "Kevin", "Mark", "Mike"]

在這里我們調(diào)用了 pymongo.ASCENDING 指定升序，如果要降序排列可以傳入 pymongo.DESCENDING。

在某些情況下我們可能想只取某幾個(gè)元素，在這里可以利用skip() 方法偏移幾個(gè)位置，比如偏移 2，就忽略前 2 個(gè)元素，得到第三個(gè)及以后的元素。

results = collection.find().sort("name", pymongo.ASCENDING).skip(2)
print([result["name"] for result in results])

運(yùn)行結(jié)果：

["Kevin", "Mark", "Mike"]

另外還可以用 limit() 方法指定要取的結(jié)果個(gè)數(shù)，示例如下：

results = collection.find().sort("name", pymongo.ASCENDING).skip(2).limit(2)
print([result["name"] for result in results])

運(yùn)行結(jié)果：

["Kevin", "Mark"]

如果不加 limit() 原本會(huì)返回三個(gè)結(jié)果，加了限制之后，會(huì)截取 2 個(gè)結(jié)果返回。

值得注意的是，在數(shù)據(jù)庫數(shù)量非常龐大的時(shí)候，如千萬、億級(jí)別，最好不要使用大的偏移量來查詢數(shù)據(jù)，很可能會(huì)導(dǎo)致內(nèi)存溢出，可以使用類似如下操作來進(jìn)行查詢：

from bson.objectid import ObjectId
collection.find({"_id": {"$gt": ObjectId("593278c815c2602678bb2b8d")}})

這時(shí)記錄好上次查詢的 _id。

對(duì)于數(shù)據(jù)更新可以使用 update() 方法，指定更新的條件和更新后的數(shù)據(jù)即可，例如：

condition = {"name": "Kevin"}
student = collection.find_one(condition)
student["age"] = 25
result = collection.update(condition, student)
print(result)

在這里我們將 name 為 Kevin 的數(shù)據(jù)的年齡進(jìn)行更新，首先指定查詢條件，然后將數(shù)據(jù)查詢出來，修改年齡，之后調(diào)用 update() 方法將原條件和修改后的數(shù)據(jù)傳入，即可完成數(shù)據(jù)的更新。

運(yùn)行結(jié)果：

{"ok": 1, "nModified": 1, "n": 1, "updatedExisting": True}

返回結(jié)果是字典形式，ok 即代表執(zhí)行成功，nModified 代表影響的數(shù)據(jù)條數(shù)。

另外我們也可以使用 $set 操作符對(duì)數(shù)據(jù)進(jìn)行更新，代碼改寫如下：

result = collection.update(condition, {"$set": student})

這樣可以只更新 student 字典內(nèi)存在的字段，如果其原先還有其他字段則不會(huì)更新，也不會(huì)刪除。而如果不用 $set 的話則會(huì)把之前的數(shù)據(jù)全部用 student 字典替換，如果原本存在其他的字段則會(huì)被刪除。

另外 update() 方法其實(shí)也是官方不推薦使用的方法，在這里也分了 update_one() 方法和 update_many() 方法，用法更加嚴(yán)格，第二個(gè)參數(shù)需要使用 $ 類型操作符作為字典的鍵名，我們用示例感受一下。

condition = {"name": "Kevin"}
student = collection.find_one(condition)
student["age"] = 26
result = collection.update_one(condition, {"$set": student})
print(result)
print(result.matched_count, result.modified_count)

在這里調(diào)用了 update_one() 方法，第二個(gè)參數(shù)不能再直接傳入修改后的字典，而是需要使用 {"$set": student} 這樣的形式，其返回結(jié)果是 UpdateResult 類型，然后調(diào)用 matched_count 和 modified_count 屬性分別可以獲得匹配的數(shù)據(jù)條數(shù)和影響的數(shù)據(jù)條數(shù)。

運(yùn)行結(jié)果：

1 0

我們?cè)倏匆粋€(gè)例子：

condition = {"age": {"$gt": 20}}
result = collection.update_one(condition, {"$inc": {"age": 1}})
print(result)
print(result.matched_count, result.modified_count)

在這里我們指定查詢條件為年齡大于 20，然后更新條件為 {"$inc": {"age": 1}}，也就是年齡加 1，執(zhí)行之后會(huì)將第一條符合條件的數(shù)據(jù)年齡加 1。

運(yùn)行結(jié)果：

1 1

可以看到匹配條數(shù)為 1 條，影響條數(shù)也為 1 條。

如果調(diào)用 update_many() 方法，則會(huì)將所有符合條件的數(shù)據(jù)都更新，示例如下：

condition = {"age": {"$gt": 20}}
result = collection.update_many(condition, {"$inc": {"age": 1}})
print(result)
print(result.matched_count, result.modified_count)

這時(shí)候匹配條數(shù)就不再為 1 條了，運(yùn)行結(jié)果如下：

3 3

可以看到這時(shí)所有匹配到的數(shù)據(jù)都會(huì)被更新。

刪除操作比較簡單，直接調(diào)用 remove() 方法指定刪除的條件即可，符合條件的所有數(shù)據(jù)均會(huì)被刪除，示例如下：

result = collection.remove({"name": "Kevin"})
print(result)

運(yùn)行結(jié)果：

{"ok": 1, "n": 1}

另外依然存在兩個(gè)新的推薦方法，delete_one() 和 delete_many() 方法，示例如下：

result = collection.delete_one({"name": "Kevin"})
print(result)
print(result.deleted_count)
result = collection.delete_many({"age": {"$lt": 25}})
print(result.deleted_count)

運(yùn)行結(jié)果：

1
4

delete_one() 即刪除第一條符合條件的數(shù)據(jù)，delete_many() 即刪除所有符合條件的數(shù)據(jù)，返回結(jié)果是 DeleteResult 類型，可以調(diào)用 deleted_count 屬性獲取刪除的數(shù)據(jù)條數(shù)。

另外 PyMongo 還提供了一些組合方法，如find_one_and_delete()、find_one_and_replace()、find_one_and_update()，就是查找后刪除、替換、更新操作，用法與上述方法基本一致。

另外還可以對(duì)索引進(jìn)行操作，如 create_index()、create_indexes()、drop_index() 等。

詳細(xì)用法可以參見官方文檔：http://api.mongodb.com/python...。

另外還有對(duì)數(shù)據(jù)庫、集合本身以及其他的一些操作，在這不再一一講解，可以參見官方文檔：http://api.mongodb.com/python...。

本節(jié)講解了 PyMongo 操作 MongoDB 進(jìn)行數(shù)據(jù)增刪改查的方法，在后文我們會(huì)在實(shí)戰(zhàn)案例中應(yīng)用這些操作進(jìn)行數(shù)據(jù)存儲(chǔ)。

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---32、數(shù)據(jù)存儲(chǔ)：關(guān)系型數(shù)據(jù)庫存儲(chǔ):MySQL
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---34、數(shù)據(jù)存儲(chǔ)：非關(guān)系型數(shù)據(jù)庫存儲(chǔ):Redis