用python3爬蟲的一些準(zhǔn)備工作

Imfan 發(fā)布于2019-07-30 14:48 / 1164人閱讀

摘要：識(shí)別網(wǎng)站所用技術(shù)安裝模塊尋找網(wǎng)站所有者下載網(wǎng)頁查詢域名是否被注冊(cè)網(wǎng)頁解析為

識(shí)別網(wǎng)站所用技術(shù)

python3.6 安裝builtwith模塊

    import builtwith

    builtwith.parse("https://ggstudy.herokuapp.com/")

尋找網(wǎng)站所有者

pip install python-whois

import whois

whois.whois("https://ggstudy.herokuapp.com")

----------

下載網(wǎng)頁

import urllib.request

urllib.request.urlopen(url).read().decode("utf-8")

查詢域名是否被注冊(cè)

import urllib.request

req= urllib.request.urlopen("http://panda.www.net.cn/cgi-bin/check.cgi?area_domain=ggstudy.herokuapp.com")

print(req.read().decode("utf-8"))

網(wǎng)頁解析

python2為 urlparse

import urllib.parse

GPU云服務(wù)器云服務(wù)器準(zhǔn)備工作 python3簡(jiǎn)單的爬蟲工作可以用的云服務(wù)器 python3 爬蟲

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/40937.html

相關(guān)文章

Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---10、爬蟲框架的安裝：PySpider、Scrapy

摘要：所以如果對(duì)爬蟲有一定基礎(chǔ)，上手框架是一種好的選擇。缺少包，使用安裝即可缺少包，使用安裝即可上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬取相關(guān)庫的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲框架的安裝上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---9、APP爬取相關(guān)庫的安裝：Appium的安裝下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis 我們直接...

張憲坤 2019-07-31 10:34 評(píng)論0 收藏0
爬蟲 - 收藏集 - 掘金

摘要：在這之前，還是有必要對(duì)一些概念超輕量級(jí)反爬蟲方案后端掘金前言爬蟲和反爬蟲日益成為每家公司的標(biāo)配系統(tǒng)。爬蟲修煉之道——從網(wǎng)頁中提取結(jié)構(gòu)化數(shù)據(jù)并保存（以爬取糗百文本板塊所有糗事為例） - 后端 - 掘金歡迎大家關(guān)注我的專題：爬蟲修煉之道上篇爬蟲修煉之道——編寫一個(gè)爬取多頁面的網(wǎng)絡(luò)爬蟲主要講解了如何使用python編寫一個(gè)可以下載多頁面的爬蟲，如何將相對(duì)URL轉(zhuǎn)為絕對(duì)URL，如何限速，...

1fe1se 2019-07-31 10:58 評(píng)論0 收藏0
Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---4、數(shù)據(jù)庫的安裝：MySQL、MongoDB、Redis

摘要：運(yùn)行結(jié)果如果運(yùn)行結(jié)果一致則證明安裝成功。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)請(qǐng)求庫安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)數(shù)據(jù)庫的安裝上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---2、請(qǐng)求庫安裝：GeckoDriver、PhantomJS、Aiohttp下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---數(shù)據(jù)庫的安裝：MySQL、MongoDB、Redis 抓取下網(wǎng)頁代碼之后，下一步就是從網(wǎng)頁中提取信息，提取信息的方式有...

xbynet 2019-07-31 10:33 評(píng)論0 收藏0
首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時(shí)間永遠(yuǎn)都過得那么快，一晃從年注冊(cè)，到現(xiàn)在已經(jīng)過去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時(shí)候把他們整理一下了。那是因?yàn)槭詹貖A太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評(píng)論0 收藏0
Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---36、分析Ajax爬取今日頭條街拍美圖

摘要：上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)數(shù)據(jù)爬取下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)動(dòng)態(tài)渲染頁面抓取本節(jié)我們以今日頭條為例來嘗試通過分析請(qǐng)求來抓取網(wǎng)頁數(shù)據(jù)的方法，我們這次要抓取的目標(biāo)是今日頭條的街拍美圖，抓取完成之后將每組圖片分文件夾下載到本地保存下來。上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---35、 Ajax數(shù)據(jù)爬取下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---37、動(dòng)態(tài)渲染頁面抓取:Selenium 本節(jié)我們...

Leck1e 2019-07-31 10:36 評(píng)論0 收藏0