摘要：百度云搜索，搜各種資料搜網(wǎng)盤，搜各種資料模擬瀏覽器登錄方法，可以返回一個(gè)請(qǐng)求給爬蟲的起始網(wǎng)站，這個(gè)返回的請(qǐng)求相當(dāng)于，返回的請(qǐng)求會(huì)替代里的請(qǐng)求請(qǐng)求，可以設(shè)置，回調(diào)函數(shù)表單提交，第一個(gè)必須參數(shù)，上一次響應(yīng)的對(duì)象，其他參數(shù)，表單內(nèi)容等可以將一個(gè)新

【百度云搜索，搜各種資料:http://www.bdyss.cn】

【搜網(wǎng)盤，搜各種資料:http://www.swpan.cn】

模擬瀏覽器登錄

start_requests()方法，可以返回一個(gè)請(qǐng)求給爬蟲的起始網(wǎng)站，這個(gè)返回的請(qǐng)求相當(dāng)于start_urls，start_requests()返回的請(qǐng)求會(huì)替代start_urls里的請(qǐng)求

Request()get請(qǐng)求，可以設(shè)置，url、cookie、回調(diào)函數(shù)

FormRequest.from_response()表單post提交，第一個(gè)必須參數(shù)，上一次響應(yīng)cookie的response對(duì)象，其他參數(shù)，cookie、url、表單內(nèi)容等

yield Request()可以將一個(gè)新的請(qǐng)求返回給爬蟲執(zhí)行

在發(fā)送請(qǐng)求時(shí)cookie的操作，
meta={"cookiejar":1}表示開啟cookie記錄，首次請(qǐng)求時(shí)寫在Request()里
meta={"cookiejar":response.meta["cookiejar"]}表示使用上一次response的cookie，寫在FormRequest.from_response()里post授權(quán)
meta={"cookiejar":True}表示使用授權(quán)后的cookie訪問需要登錄查看的頁面

獲取Scrapy框架Cookies

請(qǐng)求Cookie
Cookie = response.request.headers.getlist("Cookie")
print(Cookie)

響應(yīng)Cookie
Cookie2 = response.headers.getlist("Set-Cookie")
print(Cookie2)

#?-*-?coding:?utf-8?-*-
import?scrapy
from?scrapy.http?import?Request,FormRequest

class?PachSpider(scrapy.Spider):????????????????????????????#定義爬蟲類，必須繼承scrapy.Spider
????name?=?"pach"???????????????????????????????????????????#設(shè)置爬蟲名稱
????allowed_domains?=?["edu.iqianyue.com"]??????????????????#爬取域名
????#?start_urls?=?["http://edu.iqianyue.com/index_user_login.html"]?????#爬取網(wǎng)址,只適于不需要登錄的請(qǐng)求，因?yàn)闆]法設(shè)置cookie等信息

????header?=?{"User-Agent":"Mozilla/5.0?(Windows?NT?10.0;?WOW64;?rv:54.0)?Gecko/20100101?Firefox/54.0"}??#設(shè)置瀏覽器用戶代理

????def?start_requests(self):???????#用start_requests()方法,代替start_urls
????????"""第一次請(qǐng)求一下登錄頁面，設(shè)置開啟cookie使其得到cookie，設(shè)置回調(diào)函數(shù)"""
????????return?[Request("http://edu.iqianyue.com/index_user_login.html",meta={"cookiejar":1},callback=self.parse)]

????def?parse(self,?response):?????#parse回調(diào)函數(shù)

????????data?=?{????????????????????#設(shè)置用戶登錄信息，對(duì)應(yīng)抓包得到字段
????????????"number":"adc8868",
????????????"passwd":"279819",
????????????"submit":""
????????????}

????????#?響應(yīng)Cookie
????????Cookie1?=?response.headers.getlist("Set-Cookie")???#查看一下響應(yīng)Cookie，也就是第一次訪問注冊(cè)頁面時(shí)后臺(tái)寫入瀏覽器的Cookie
????????print(Cookie1)

????????print("登錄中")
????????"""第二次用表單post請(qǐng)求，攜帶Cookie、瀏覽器代理、用戶登錄信息，進(jìn)行登錄給Cookie授權(quán)"""
????????return?[FormRequest.from_response(response,
??????????????????????????????????????????url="http://edu.iqianyue.com/index_user_login",???#真實(shí)post地址
??????????????????????????????????????????meta={"cookiejar":response.meta["cookiejar"]},
??????????????????????????????????????????headers=self.header,
??????????????????????????????????????????formdata=data,
??????????????????????????????????????????callback=self.next,
??????????????????????????????????????????)]
????def?next(self,response):
????????a?=?response.body.decode("utf-8")???#登錄后可以查看一下登錄響應(yīng)信息
????????#?print(a)
????????"""登錄后請(qǐng)求需要登錄才能查看的頁面，如個(gè)人中心，攜帶授權(quán)后的Cookie請(qǐng)求"""
????????yield?Request("http://edu.iqianyue.com/index_user_index.html",meta={"cookiejar":True},callback=self.next2)
????def?next2(self,response):
????????#?請(qǐng)求Cookie
????????Cookie2?=?response.request.headers.getlist("Cookie")
????????print(Cookie2)

????????body?=?response.body??#?獲取網(wǎng)頁內(nèi)容字節(jié)類型
????????unicode_body?=?response.body_as_unicode()??#?獲取網(wǎng)站內(nèi)容字符串類型

????????a?=?response.xpath("/html/head/title/text()").extract()??#得到個(gè)人中心頁面
????????print(a)

模擬瀏覽器登錄2

第一步、

爬蟲的第一次訪問，一般用戶登錄時(shí)，第一次訪問登錄頁面時(shí)，后臺(tái)會(huì)自動(dòng)寫入一個(gè)Cookies到瀏覽器，所以我們的第一次主要是獲取到響應(yīng)Cookies

首先訪問網(wǎng)站的登錄頁面，如果登錄頁面是一個(gè)獨(dú)立的頁面，我們的爬蟲第一次應(yīng)該從登錄頁面開始，如果登錄頁面不是獨(dú)立的頁面如 js 彈窗，那么我們的爬蟲可以從首頁開始

#?-*-?coding:?utf-8?-*-
import?scrapy
from?scrapy.http?import?Request,FormRequest
import?re

class?PachSpider(scrapy.Spider):????????????????????????????#定義爬蟲類，必須繼承scrapy.Spider
????name?=?"pach"???????????????????????????????????????????#設(shè)置爬蟲名稱
????allowed_domains?=?["dig.chouti.com"]????????????????????#爬取域名
????#?start_urls?=?[""]?????????????????????????????????????#爬取網(wǎng)址,只適于不需要登錄的請(qǐng)求，因?yàn)闆]法設(shè)置cookie等信息

????header?=?{"User-Agent":"Mozilla/5.0?(Windows?NT?10.0;?WOW64;?rv:54.0)?Gecko/20100101?Firefox/54.0"}??#設(shè)置瀏覽器用戶代理

????def?start_requests(self):
????????"""第一次請(qǐng)求一下登錄頁面，設(shè)置開啟cookie使其得到cookie，設(shè)置回調(diào)函數(shù)"""
????????return?[Request("http://dig.chouti.com/",meta={"cookiejar":1},callback=self.parse)]

????def?parse(self,?response):
????????#?響應(yīng)Cookies
????????Cookie1?=?response.headers.getlist("Set-Cookie")????????????????????????????#查看一下響應(yīng)Cookie，也就是第一次訪問注冊(cè)頁面時(shí)后臺(tái)寫入瀏覽器的Cookie
????????print("后臺(tái)首次寫入的響應(yīng)Cookies：",Cookie1)

????????data?=?{????????????????????????????????????????????????????????????????????#?設(shè)置用戶登錄信息，對(duì)應(yīng)抓包得到字段
????????????"phone":?"8615284816568",
????????????"password":?"279819",
????????????"oneMonth":?"1"
????????}

????????print("登錄中....!")
????????"""第二次用表單post請(qǐng)求，攜帶Cookie、瀏覽器代理、用戶登錄信息，進(jìn)行登錄給Cookie授權(quán)"""
????????return?[FormRequest.from_response(response,
??????????????????????????????????????????url="http://dig.chouti.com/login",????????????????????????#真實(shí)post地址
??????????????????????????????????????????meta={"cookiejar":response.meta["cookiejar"]},
??????????????????????????????????????????headers=self.header,
??????????????????????????????????????????formdata=data,
??????????????????????????????????????????callback=self.next,
??????????????????????????????????????????)]

????def?next(self,response):
????????#?請(qǐng)求Cookie
????????Cookie2?=?response.request.headers.getlist("Cookie")
????????print("登錄時(shí)攜帶請(qǐng)求的Cookies：",Cookie2)

????????jieg?=?response.body.decode("utf-8")???#登錄后可以查看一下登錄響應(yīng)信息
????????print("登錄響應(yīng)結(jié)果：",jieg)

????????print("正在請(qǐng)需要登錄才可以訪問的頁面....!")

????????"""登錄后請(qǐng)求需要登錄才能查看的頁面，如個(gè)人中心，攜帶授權(quán)后的Cookie請(qǐng)求"""
????????yield?Request("http://dig.chouti.com/user/link/saved/1",meta={"cookiejar":True},callback=self.next2)

????def?next2(self,response):
????????#?請(qǐng)求Cookie
????????Cookie3?=?response.request.headers.getlist("Cookie")
????????print("查看需要登錄才可以訪問的頁面攜帶Cookies：",Cookie3)

????????leir?=?response.xpath("http://div[@class="tu"]/a/text()").extract()??#得到個(gè)人中心頁面
????????print("最終內(nèi)容",leir)
????????leir2?=?response.xpath("http://div[@class="set-tags"]/a/text()").extract()??#?得到個(gè)人中心頁面
????????print(leir2)

【轉(zhuǎn)載自：http://www.lqkweb.com】