Koa2 + Mongo + 爬蟲搭建小說微信小程序（本地開發(fā)篇）---編碼時(shí)遇到的問題

liangdas 發(fā)布于2019-08-23 14:16 / 1116人閱讀

摘要：更新于利用重構(gòu)了下此項(xiàng)目，有興趣的可以參考看看，傳送門首先感謝作者的分享，很贊，原文地址這里記錄下編碼遇到的問題，這里只針對(duì)進(jìn)行了驗(yàn)證。

更新于 2019-01-02

利用 eggjs 重構(gòu)了下此項(xiàng)目，有興趣的可以參考看看，傳送門

首先感謝作者的分享，很贊~，原文地址

這里記錄下編碼遇到的問題，這里只針對(duì) sever 進(jìn)行了驗(yàn)證。有同樣遇到問題的童鞋，可以作為參照~

本地環(huán)境：

Node: v10.13.0

OS: window 7

npm: 6.4.1

問題一（mongoose相關(guān)）

問題描述：DeprecationWarning: collection.ensureIndex is deprecated. Use createIndexes instead.

解決方案：

mongoose.connect(config.dbUri, {
  useCreateIndex: true,
  useNewUrlParser: true
})
或者
mongoose.set("useCreateIndex", true)
mongoose.connect(config.dbUri, { useNewUrlParser: true })

對(duì)應(yīng)的源碼文件 kendou-book/book-server/server/database/init.js，涉及修改的代碼如下：

...
+ var opts = {
+  useCreateIndex: true,
+  useNewUrlParser: true
+ };
- mongoose.connect(db);
+ mongoose.connect(db, opts);

問題描述：DeprecationWarning: collection.count is deprecated

解決方案：

底層的mongodb驅(qū)動(dòng)程序已棄用.count()方法。您應(yīng)該使用.estimatedDocumentCount()或.countDocuments()代替。

對(duì)應(yīng)的源碼文件 kendou-book/book-server/server/tasks/runninng.js，涉及修改的代碼如下：

...
 // 激活爬數(shù)據(jù) 為下一次服務(wù)
await taskBook(item.bookId)

let count = await Chapter.find({
  bookId: item.bookId
- }).count()
+ }).countDocuments()

問題二（puppetter 相關(guān)）

問題描述：ERROR: Failed to download Chromium r588429! Set "PUPPETEER_SKIP_CHROMIUM_DOWNLOAD" env variable to skip download.

解決方案：

vi .npmrc

type puppeteer_download_host = https://npm.taobao.org/mirrors

yarn add puppeteer -D or npm i puppeteer --save-dev

問題描述：(node:19996) UnhandledPromiseRejectionWarning: TimeoutError: Navigation Timeout Exceeded: 30000ms exceeded

解決方案：
對(duì)應(yīng)的源碼文件 kendou-book/book-server/server/crawler/book.js，涉及修改的代碼如下：

...
 console.log("bookkkk:", browser)
 const page = await browser.newPage()
 await page.goto(url, {
   waitUntil: "networkidle2",
+  timeout: 3000000
 })

對(duì)應(yīng)的源碼文件 kendou-book/book-server/server/crawler/chapter.js，涉及修改的代碼如下：

 ...
  const page = await browser.newPage()
  await page.goto(url, {
    waitUntil: "networkidle2",
+  timeout: 3000000
  })

問題三（源碼瑕疵）

問題描述：定義 book 的 schema 的時(shí)候，字段（author)拼寫錯(cuò)誤

解決方案：

對(duì)應(yīng)的源碼文件 kendou-book/book-server/server/database/schema/book.js，涉及修改的代碼如下：

...
- auhtor: {
  type: String
},
+ author: {
  type: String
},

對(duì)應(yīng)的源碼文件 kendou-book/book-server/server/crawler/book.js，涉及修改的代碼如下：

...
let result = await page.evaluate(() => {
   return {
     headImg: document.querySelector(".story_cover_m62topxs img").getAttribute("src"),
     name: document.querySelector(".info_left_m62topxs h1").innerText,
-      auhtor: document.querySelector(".info_left_m62topxs h2 a").innerText,
+      auhtor: document.querySelector(".info_left_m62topxs h2 a").innerText,
     chapterNum: document.querySelectorAll(".cp_dd_m62topxs").length
   }
 })

參考鏈接：

mongoose相關(guān)

puppetter安裝就踩坑-解決篇

GPU云服務(wù)器云服務(wù)器微信小程序的開發(fā) 微信小程序是怎么開發(fā)的怎么開發(fā)自己的微信小程序搭建自己的微信小程序服務(wù)器

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/100364.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

liangdas

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

Python爬蟲案例50篇-第1篇-csdn開源廣場的cookie登錄

閱讀 3262·2021-10-13 09:39
pandas索引函數(shù)loc和iloc的區(qū)別

閱讀 2017·2021-09-27 13:36
虛擬主機(jī)怎么創(chuàng)服務(wù)器-我想在服務(wù)器建立虛擬主機(jī)，該怎么做？

閱讀 3080·2021-09-22 16:02
小鵬發(fā)布可騎乘智能機(jī)器馬

閱讀 2603·2021-09-10 10:51
003-CSS核心屬性

閱讀 1585·2019-08-29 17:15
HTML

閱讀 1537·2019-08-29 16:14
小程序自定義分享事件及回調(diào)函數(shù)

閱讀 3513·2019-08-26 11:55
關(guān)于一個(gè)折疊滾屏的js插件

閱讀 2555·2019-08-26 11:50

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！

Koa2 + Mongo + 爬蟲搭建小說微信小程序（本地開發(fā)篇）---編碼時(shí)遇到的問題

相關(guān)文章