python爬蟲-requests與bs4獲得所有爐石傳說卡背

Eirunye 發(fā)布于2019-07-30 18:42 / 953人閱讀

摘要：太簡單了就當(dāng)做個(gè)記錄，直接貼代碼了發(fā)送請(qǐng)求設(shè)置編碼防止亂碼解析頁面和保存數(shù)據(jù)程序用時(shí)

太簡單了就當(dāng)做個(gè)記錄，直接貼代碼了

import os
import requests
from bs4 import BeautifulSoup
import time
# 發(fā)送請(qǐng)求
def send():
    r = requests.get(url=base_url)
    # 設(shè)置編碼防止亂碼
    r.encoding ="GBK";
    content = r.text
    parseAndSave(content)
# 解析頁面和保存數(shù)據(jù)
def parseAndSave(html):
    soup = BeautifulSoup(html, "lxml")
    ulList = soup.find_all("ul", attrs={"class": "kzlist"})
    # print(ulList);
    for ul in ulList:
        li = ul.find_all("li");
        for item in li:
            name  = item.find("img").next_sibling
            obtain_method  = item.find("a").find("p").text
            rootDir = os.getcwd()
            if not os.path.exists(name):
                os.mkdir(name);
                os.chdir(name);
                src = item.find("a").find("img")["src"]
                pic = requests.get(src)
                with open("pic.jpg", "wb") as fw:
                      fw.write(pic.content)
                with open("info.txt", "a+") as fw:
                      fw.write(name+"
")
                      fw.write(obtain_method)
                os.chdir(rootDir);
def main():
    start_time = time.time()
    send()
    end_time = time.time()
    print("程序用時(shí)：",(end_time - start_time))
if __name__ == "__main__":
    base_url = "http://news.4399.com/gonglue/lscs/kabei/"
    cardList = []
    main()

云服務(wù)器 GPU云服務(wù)器爬蟲與python js獲得所有的文檔 python的requests安裝爐石 linux

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/42905.html

相關(guān)文章

一步一步教你如何搭建自己的視頻聚合站

摘要：不過因?yàn)楦鱾€(gè)平臺(tái)互相挖人的關(guān)系，導(dǎo)致關(guān)注的一些主播分散到了各個(gè)直播平臺(tái)，來回切換有點(diǎn)麻煩，所以萌生了做一個(gè)視頻聚合站的想法。后續(xù)我們會(huì)對(duì)這三個(gè)部分的功能做逐一展開說明。正則處理要求比較高，但是幾乎能應(yīng)對(duì)所有的情況，屬于大殺器。前言作為一個(gè)爐石傳說玩家，經(jīng)常有事沒事開著直播網(wǎng)站看看大神們的精彩表演。不過因?yàn)楦鱾€(gè)平臺(tái)互相挖人的關(guān)系，導(dǎo)致關(guān)注的一些主播分散到了各個(gè)直播平臺(tái)，來回切換有點(diǎn)麻...

justjavac 2019-07-30 14:20 評(píng)論0 收藏0
爬蟲問題總結(jié)

摘要：編碼我們發(fā)現(xiàn)，中有時(shí)候存在中文，這是就需要對(duì)進(jìn)行編碼?？梢韵葘⒅形霓D(zhuǎn)換成編碼，然后使用方法對(duì)參數(shù)進(jìn)行編碼后傳遞。本文檔對(duì)日常學(xué)習(xí)中用 python 做數(shù)據(jù)爬取時(shí)所遇到的一些問題做簡要記錄，以便日后查閱，部分問題可能因?yàn)檎J(rèn)識(shí)不到位會(huì)存在一些誤解，敬請(qǐng)告知，萬分感謝，共同進(jìn)步。估算網(wǎng)站規(guī)模該小節(jié)主要針對(duì)于整站爬取的情況。爬取整站之前，肯定是要先對(duì)一個(gè)網(wǎng)站的規(guī)模進(jìn)行估計(jì)。這是可以使用g...

nanfeiyan 2019-07-30 16:34 評(píng)論0 收藏0
Python3爬蟲下載pdf（二）

摘要：爬蟲下載二最近在學(xué)習(xí)的爬蟲，并且玩的不亦說乎，因此寫個(gè)博客，記錄并分享一下。需下載下載以下模塊模塊模塊一源碼設(shè)置命令行參數(shù)功能下載目標(biāo)最大的線程數(shù)。方法的作用與內(nèi)置函數(shù)類似，不過函數(shù)會(huì)在多個(gè)線程中并發(fā)調(diào)用方法返回一個(gè)生成器。 Python3爬蟲下載pdf（二）最近在學(xué)習(xí)python的爬蟲，并且玩的不亦說乎，因此寫個(gè)博客，記錄并分享一下。需下載下載以下模塊 bs4模塊 reques...

LancerComet 2019-07-30 14:32 評(píng)論0 收藏0
Python3爬蟲下載pdf（一）

摘要：爬蟲下載一最近在學(xué)習(xí)的爬蟲，并且玩的不亦說乎，因此寫個(gè)博客，記錄并分享一下。 Python3爬蟲下載pdf（一）最近在學(xué)習(xí)python的爬蟲，并且玩的不亦說乎，因此寫個(gè)博客，記錄并分享一下。需下載以下模塊 bs4 模塊 requests 模塊一、源碼功能：下載指定url內(nèi)的所有的pdf 語法：將含有pdf的url放到腳本后面執(zhí)行就可以了 from bs4 import...

instein 2019-07-30 14:32 評(píng)論0 收藏0
Python3 爬蟲 requests+BeautifulSoup4(BS4) 爬取小說網(wǎng)站數(shù)據(jù)

摘要：剛學(xué)爬蟲不久，迫不及待的找了一個(gè)網(wǎng)站練手，新筆趣閣一個(gè)小說網(wǎng)站。繼續(xù)學(xué)習(xí)，有改進(jìn)方案的歡迎提出來，一起交流。剛學(xué)Python爬蟲不久，迫不及待的找了一個(gè)網(wǎng)站練手，新筆趣閣：一個(gè)小說網(wǎng)站。前提準(zhǔn)備安裝Python以及必要的模塊（requests，bs4），不了解requests和bs4的同學(xué)可以去官網(wǎng)看個(gè)大概之后再回來看教程爬蟲思路剛開始寫爬蟲的小白都有一個(gè)疑問，進(jìn)行到什么時(shí)候...

taoszu 2019-07-30 18:36 評(píng)論0 收藏0