摘要：之前說要每周寫的。。問題描述在每天比如點到點之間定時自動登陸網(wǎng)站，簽到實現(xiàn)思路使用抓包工具先登陸一遍，把請求的地址，等信息都拿到。可以生成一個按鍵小精靈的，用計劃任務定時執(zhí)行。主要目的是找到每個發(fā)送請求的和信息。

之前說要每周寫的。。然后最近忙著畢業(yè)就一直沒動。>.<感覺月更都困難了。

在每天比如10點到11點之間定時自動登陸網(wǎng)站，簽到

使用fiddler抓包工具先登陸一遍，把請求的地址，header等信息都拿到。

使用python寫一個腳本，模擬瀏覽器向服務器發(fā)送登陸，簽到請求

使用批處理bat來寫幾句話，隨機在一小時內(nèi)運行python腳本

使用Windows自帶的計劃任務，定時每日10點運行bat腳本

另外，之前不想那么麻煩寫代碼，還去找了一個叫做按鍵精靈的軟件來模擬執(zhí)行。不過那個軟件是模擬鼠標和鍵盤，所以執(zhí)行的時候會有界面出現(xiàn)，而且你的鼠標和鍵盤不能動，所以后來放棄了。如果覺得這個麻煩也可以試試那個?？梢陨梢粋€按鍵小精靈的exe，用計劃任務定時執(zhí)行。這個軟件也很邪教啊，還可以自動截圖。

這個直接下載然后上手做就可以了，打開工具，然后進行正常的登陸，每一個請求的過程都有。主要目的是找到每個發(fā)送請求的url和header信息。
比如我練習網(wǎng)站的登陸請求發(fā)送的url是http://XXX.com/Home/Login/log...。

這個具體的url也可以用谷歌瀏覽器chrome進入審查元素去選取按鈕，簡陋一些的網(wǎng)站可以看到js代碼是怎么跳轉(zhuǎn)過去的。如果遇到一些按鈕點擊一次以后無法再點，可以用這個辦法找它的url。

這里用這里用python3寫的，這部分總結晚點寫：P

import urllib.request  
import urllib  
import gzip  
import http.cookiejar  
import time
  
# generate request header, deal with cookie  
def getOpener(head):  
    # deal with the Cookies  
    cj = http.cookiejar.CookieJar()
    pro = urllib.request.HTTPCookieProcessor(cj)  
    opener = urllib.request.build_opener(pro)  
    header = []  
    for key, value in head.items():  
        elem = (key, value)  
        header.append(elem)  
    opener.addheaders = header  
    return opener  
  
#encapsulate the header as the browser
header = {  
    "Connection": "Keep-Alive",  
    "Accept-Language": "zh-CN",  
    "Accept": "image/jpeg, application/x-ms-application, image/gif, application/xaml+xml, image/pjpeg, application/x-ms-xbap, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*",  
    "User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E)",  
    "Accept-Encoding": "gzip, deflate",  
    "X-Requested-With": "XMLHttpRequest",  
    "Host": "http://XXX.com/",  
}  


url = "http://XXX.com/Home/Login/login_submit"  
opener = getOpener(header)  
  
id = "xxxx"#你的用戶名  
password = "fddafda"#你的密碼，抓包是什么就輸什么，有時候是md5加密的
postDict = {  
        "logname": id,  
        "passwd": password,  
}  
#這里的post數(shù)據(jù)的json可以檢查fiddler的webform里會有。

postData = urllib.parse.urlencode(postDict).encode()  
op = opener.open(url, postData)  
data = op.read()  
print(data)

#簽到
url = "http://XXX.com/index/index/sign/P/in"
op = opener.open(url)
data = op.read()
print(data)

@echo off
rem 這里就是先用cd命令轉(zhuǎn)到.py文件所在的地址
C:
cd C:Windows

rem 用random生成一個數(shù)字對3600秒取余得到一個一小時內(nèi)的隨機秒數(shù)存在rd中
set /a rd=%random%%%3600
rem ping用于等待若干秒
ping -n %rd% 127.0.0.1 > nul 
python test.py

rem 生成日志
set  today=%date:~0,4%-%date:~5,2%-%date:~8,2%
echo login at %today%_%time:~0,2%:%time:~3,2%  >> E:LogFilelog%today%.txt
exit

rem是注釋可以刪，python里面還有一個pythonw.exe調(diào)用這個可以完全不出現(xiàn)界面。如果命令行cmd里面沒有python，去環(huán)境變量path里面加一下python所在的地址。

實現(xiàn)這個小任務，讓我發(fā)現(xiàn)python的功能確實很大，而且可以用的庫也非常多。這里主要是在廖雪峰的python教程中查看的python基本的東西。然后搜了一個例子。模仿著做的。

另外，對前端的啟發(fā)也蠻大的。防止這些爬蟲去解析前端的信息，主要可以有以下措施：

對所有發(fā)布的網(wǎng)站中JS進行壓縮混淆加密

一些關鍵數(shù)據(jù)可以用圖片展示，增加一點爬取難度

登陸設置驗證碼和動態(tài)token