Python爬蟲實戰(zhàn)案例-爬取幣世界標紅快訊

red_bricks 發(fā)布于2019-07-30 17:01 / 3251人閱讀

摘要：爬取幣世界標紅快訊內(nèi)容移動版引入依賴寫你自己的數(shù)據(jù)庫地址需要自己安裝客戶端數(shù)據(jù)庫表名偽造成手機寫你自己的文件地址插入了一條新數(shù)據(jù)無新數(shù)據(jù)產(chǎn)生寫你自己的文件地址時間不一致宕機使用當前系統(tǒng)時間進行爬取時間一致正常運行主要要求掌握內(nèi)容語法

爬取幣世界標紅快訊內(nèi)容(移動版)

# 引入依賴
from lxml import etree
import requests
import pymongo
import time
client = pymongo.MongoClient("寫你自己的數(shù)據(jù)庫地址", 27017) # 需要自己安裝mongodb客戶端
mydb = client["mydb"]
information = mydb["information"] # 數(shù)據(jù)庫表名
currentTime = time.strftime("%m%d%H", time.localtime())
saveTime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())

# 偽造成手機
header = {
    "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
}

def get_url(url):
    html = requests.get(url, headers=header)
    selector = etree.HTML(html.text)
    infos = selector.xpath("http://div[@id="kuaixun_list"]/div/article/section[@class="focus"]")
    onlyOne = selector.xpath("http://div[@id="kuaixun_list"]/div/article/section[@class="focus"]")[0]
    saveId = onlyOne.xpath("../@id")[0]
    file = open(r"C:/Users/SCZ/PycharmProjects/CommunityCrawl/newest", "w") # 寫你自己的文件地址
    file.write(currentTime +" "+saveId)
    file.close()
    for info in infos:
        try:
            title = (info.xpath("h3[@class="text_title"]/text()")[0]).strip()
            content = (info.xpath("p[@class="text_show"]/text()")[0]).strip()
            date = info.xpath("../h3[@class="timenode"]/text()")[0]
            infoId = info.xpath("../@id")[0]

            data = {
                "title": title,
                "id": infoId,
                "date": saveTime,
                "content": content,
                "source": "bishijie"
            }

            print(data)

            if (int(infoId) > int(saveId) - 20):
                print("插入了一條新數(shù)據(jù)!")
                information.insert_one(data)
            else:
                print("無新數(shù)據(jù)產(chǎn)生!")

        except IndexError:
            pass

if __name__ == "__main__":
    fs = open("C:/Users/SCZ/PycharmProjects/CommunityCrawl/newest", "r+") # 寫你自己的文件地址
    line = fs.read()
    fileDate = line[0:6]

    if (fileDate != currentTime):
        print("時間不一致,宕機使用當前系統(tǒng)時間進行爬取!")
        urls = ["http://m.bishijie.com/kuaixun?fm=" + currentTime]
        for url in urls:
            get_url(url)
            time.sleep(2)
    else:
        print("時間一致, 正常運行!")
        urls = ["http://m.bishijie.com/kuaixun?fm=" + currentTime]
        for url in urls:
            get_url(url)
            time.sleep(2)

主要要求掌握內(nèi)容: xpath語法，python操作文件，python的基礎語法 本文內(nèi)容比較基礎，寫的不好，多多指教！大家一起進步！??！ 我的其他關于python的文章

Python爬蟲入門

Python爬蟲之使用MongoDB存儲數(shù)據(jù)

云服務器 GPU云服務器爬取幣 python爬蟲實戰(zhàn) python爬蟲案例 python3爬蟲實戰(zhàn)

文章版權歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/41967.html

首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現(xiàn)在已經(jīng)過去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0
Python爬蟲實戰(zhàn)（2）：爬取京東商品列表

摘要：，源代碼爬取京東商品列表，以手機商品列表為例示例網(wǎng)址版本京東手機列表源代碼下載位置請看文章末尾的源。，抓取結果運行上面的代碼，就會爬取京東手機品類頁面的所有手機型號價格等信息，并保存到本地文件京東手機列表中。 showImg(https://segmentfault.com/img/bVxXHW); 1，引言在上一篇《python爬蟲實戰(zhàn)：爬取Drupal論壇帖子列表》，爬取了一個用...

shevy 2019-07-31 12:21 評論0 收藏0
【小白+python+selenium庫+圖片爬取+反爬+資料】超詳細新手實現(xiàn)（01）webdriv

摘要：且本小白也親身經(jīng)歷了整個從小白到爬蟲初入門的過程，因此就斗膽在上開一個欄目，以我的圖片爬蟲全實現(xiàn)過程為例，以期用更簡單清晰詳盡的方式來幫助更多小白應對更大多數(shù)的爬蟲實際問題。前言：一個月前，博主在學過python（一年前）、會一點網(wǎng)絡（能按F12）的情況下，憑著熱血和興趣，開始了pyth...

Half 2021-09-30 09:48 評論0 收藏0
如何快速掌握Python數(shù)據(jù)采集與網(wǎng)絡爬蟲技術

摘要：通過本文的學習，可以快速掌握網(wǎng)絡爬蟲基礎，結合實戰(zhàn)練習，寫出一些簡單的爬蟲項目。從技術手段來說，網(wǎng)絡爬蟲有多種實現(xiàn)方案，如。二網(wǎng)絡爬蟲技術基礎在本次課中，將使用技術手段進行項目的編寫。摘要：本文詳細講解了python網(wǎng)絡爬蟲，并介紹抓包分析等技術，實戰(zhàn)訓練三個網(wǎng)絡爬蟲案例，并簡單補充了常見的反爬策略與反爬攻克手段。通過本文的學習，可以快速掌握網(wǎng)絡爬蟲基礎，結合實戰(zhàn)練習，寫出一些簡單的...

W4n9Hu1 2019-07-30 16:09 評論0 收藏0
python爬蟲實戰(zhàn)：爬取西刺代理的代理ip（二）

摘要：爬蟲實戰(zhàn)二爬取西刺代理的代理對于剛?cè)腴T的同學來說，本次實戰(zhàn)稍微有點難度，但是簡單的爬取圖片文本之類的又沒營養(yǎng)，所以這次我選擇了爬取西刺代理的地址，爬取的代理也能在以后的學習中用到本次實戰(zhàn)用的主要知識很多，其中包括自動保存利用抓包工具獲取和匹爬蟲實戰(zhàn)（二）：爬取西刺代理的代理ip 對于剛?cè)腴T的同學來說，本次實戰(zhàn)稍微有點難度，但是簡單的爬取圖片、文本之類的又沒營養(yǎng)，所以這次我選擇了爬...

fsmStudy 2019-07-30 17:07 評論0 收藏0