我不知道現(xiàn)在有多少人在用網(wǎng)盤搜索引擎，但就去轉(zhuǎn)盤網(wǎng)來(lái)說(shuō)本人傾注了很多的心血，現(xiàn)在使用的人數(shù)也還可以，網(wǎng)盤資源都有個(gè)通病，那就是資源可能失效，但很多引擎都沒(méi)有做失效判斷，尤其是一些google自定義的引擎，技術(shù)含量不高，站長(zhǎng)也就花心思賺錢，很少考慮用戶體驗(yàn)。這篇文章是本人又一篇技術(shù)公開博客，之前本人已經(jīng)公開了去轉(zhuǎn)盤

網(wǎng)的幾乎所有的技術(shù)細(xì)節(jié)，這一篇繼續(xù)補(bǔ)充：

首先做個(gè)回顧：百度網(wǎng)盤爬蟲 java分詞算法 數(shù)據(jù)庫(kù)自動(dòng)備份 代理服務(wù)器爬取 邀請(qǐng)好友注冊(cè)

ing:utf-8
"""
@author:haoning
@create time:2015.8.5
"""
from __future__ import division  # 精確除法
from Queue import Queue
from __builtin__ import False
from _sqlite3 import SQLITE_ALTER_TABLE
from collections import OrderedDict
import copy
import datetime
import json
import math
import os
import random
import platform
import re
import threading, errno, datetime
import time
import urllib2
import MySQLdb as mdb


DB_HOST = "127.0.0.1"
DB_USER = "root"
DB_PASS = "root"


def gethtml(url):
    try:
        print "url",url
        req = urllib2.Request(url)
        response = urllib2.urlopen(req,None,8) #在這里應(yīng)該加入代理
        html = response.read()
        return html
    except Exception,e:
        print "e",e

if __name__ == "__main__":

   while 1:
       #url="http://pan.baidu.com/share/link?uk=1813251526&shareid=540167442"
       url="http://pan.baidu.com/s/1qXQD2Pm"
       html=gethtml(url)
       print html

結(jié)果：e HTTP Error 403: Forbidden，這就是說(shuō)，度娘他是反爬蟲的，之后看了很多網(wǎng)站，一不小心試了下面的鏈接：

http://pan.baidu.com/share/li...

if __name__ == "__main__":

   while 1:
       url="http://pan.baidu.com/share/link?uk=1813251526&shareid=540167442"
       #url="http://pan.baidu.com/s/1qXQD2Pm"
       html=gethtml(url)
       print html

結(jié)果：，你懂的，有這個(gè)的必然已經(jīng)失效，看來(lái)度娘沒(méi)有反爬蟲，好家伙。

其實(shí)百度網(wǎng)盤的資源入口有兩種方式：

一種是：http://pan.baidu.com/s/1qXQD2Pm,最后為短碼。

另一種是：http://pan.baidu.com/share/li...，關(guān)鍵是shareId+uk 前者已知道反爬蟲，后者目前沒(méi)有，所以用python測(cè)試后，本人又將代碼翻譯成了java，因?yàn)槿マD(zhuǎn)盤是用java寫的，直接上代碼：

package com.tray.common.utils;

import static org.junit.Assert.*;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;
import java.util.Properties;
import java.util.Random;
import java.util.Set;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
import org.junit.Test;

/**
 * 資源校驗(yàn)工具
 * 
 * @author hui
 * 
 */
public class ResourceCheckUtil {
    private static Map rules;
    static {
        loadRule();
    }

    /**
     * 加載規(guī)則庫(kù)
     */
    public static void loadRule() {
        try {
            InputStream in = ResourceCheckUtil.class.getClassLoader()
                    .getResourceAsStream("rule.properties");
            Properties p = new Properties();
            p.load(in);
            Set