成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

php爬蟲：知乎用戶數(shù)據(jù)爬取和分析

honhon / 3448人閱讀

摘要：背景說明小拽利用的寫的爬蟲，實(shí)驗(yàn)性的爬取了知乎用戶的基本信息同時，針對爬取的數(shù)據(jù)，進(jìn)行了簡單的分析呈現(xiàn)。本程序抓取的是知乎對外提供用戶訪問的個人信息頁面抓取過程需要攜帶用戶才能獲取頁面。

背景說明：小拽利用php的curl寫的爬蟲，實(shí)驗(yàn)性的爬取了知乎5w用戶的基本信息；同時，針對爬取的數(shù)據(jù)，進(jìn)行了簡單的分析呈現(xiàn)。demo 地址

php的spider代碼和用戶dashboard的展現(xiàn)代碼，整理后上傳github，在個人博客和公眾號更新代碼庫，程序僅供娛樂和學(xué)習(xí)交流；如果有侵犯知乎相關(guān)權(quán)益，請盡快聯(lián)系本人刪除。

無圖無真相

移動端分析數(shù)據(jù)截圖

pc端分析數(shù)據(jù)截圖

整個爬取，分析，展現(xiàn)過程大概分如下幾步，小拽將分別介紹

curl爬取知乎網(wǎng)頁數(shù)據(jù)

正則分析知乎網(wǎng)頁數(shù)據(jù)

數(shù)據(jù)數(shù)據(jù)入庫和程序部署

數(shù)據(jù)分析和呈現(xiàn)

curl爬取網(wǎng)頁數(shù)據(jù)

PHP的curl擴(kuò)展是PHP支持的，允許你與各種服務(wù)器使用各種類型的協(xié)議進(jìn)行連接和通信的庫。是一個非常便捷的抓取網(wǎng)頁的工具，同時，支持多線程擴(kuò)展。

本程序抓取的是知乎對外提供用戶訪問的個人信息頁面https://www.zhihu.com/people/xxx,抓取過程需要攜帶用戶cookie才能獲取頁面。直接上碼

獲取頁面cookie

// 登錄知乎，打開個人中心，打開控制臺，獲取cookie
document.cookie
"_za=67254197-3wwb8d-43f6-94f0-fb0e2d521c31; _ga=GA1.2.2142818188.1433767929; q_c1=78ee1604225d47d08cffffd8142a08288b23|1452172601000|1452172601000; _xsrf=15f0639cbe6fb607560c075269064393; cap_id="N2QwMTExNGQ0YTY2NGVddlMGIyNmQ4NjdjOTU0YTM5MmQ=|1453444256|49fdc6b43dc51f702b7d6575451e228f56cdaf5d"; __utmt=1; unlock_ticket="QUJDTWpmM0lsZdd2dYQUFBQVlRSlZUVTNVb1ZaNDVoQXJlblVmWGJ0WGwyaHlDdVdscXdZU1VRPT0=|1453444421|c47a2afde1ff334d416bafb1cc267b41014c9d5f"; __utma=51854390.21428dd18188.1433767929.1453187421.1453444257.3; __utmb=51854390.14.8.1453444425011; __utmc=51854390; __utmz=51854390.1452846679.1.dd1.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __utmv=51854390.100-1|2=registration_date=20150823=1^dd3=entry_date=20150823=1"

抓取個人中心頁面
通過curl，攜帶cookie，先抓取本人中心頁面

/**
 * 通過用戶名抓取個人中心頁面并存儲
 * 
 * @param $username str :用戶名 flag
 * @return boolean      :成功與否標(biāo)志
 */
public function spiderUser($username)
{
    $cookie = "xxxx" ;
    $url_info = "http://www.zhihu.com/people/" . $username; //此處cui-xiao-zhuai代表用戶ID,可以直接看url獲取本人id
    $ch = curl_init($url_info); //初始化會話
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_COOKIE, $cookie);  //設(shè)置請求COOKIE
    curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER["HTTP_USER_AGENT"]);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //將curl_exec()獲取的信息以文件流的形式返回，而不是直接輸出。
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    $result = curl_exec($ch);

     file_put_contents("/home/work/zxdata_ch/php/zhihu_spider/file/".$username.".html",$result);
     return true;
 }

正則分析網(wǎng)頁數(shù)據(jù) 分析新鏈接，進(jìn)一步爬取

對于抓取過來的網(wǎng)頁進(jìn)行存儲，要想進(jìn)行進(jìn)一步的爬取，頁面必須包含有可用于進(jìn)一步爬取用戶的鏈接。通過對知乎頁面分析發(fā)現(xiàn)：在個人中心頁面中有關(guān)注人和部分點(diǎn)贊人和被關(guān)注人。
如下所示

// 抓取的html頁面中發(fā)現(xiàn)了新的用戶，可用于爬蟲

ok，這樣子就可以通過自己-》關(guān)注人-》關(guān)注人的關(guān)注人-》。。。進(jìn)行不斷爬取。接下來就是通過正則匹配提取該信息

// 匹配到抓取頁面的所有用戶
preg_match_all("http://people/([w-]+)"/i", $str, $match_arr);

// 去重合并入新的用戶數(shù)組,用戶進(jìn)一步抓取
self::$newUserArr = array_unique(array_merge($match_arr[1], self::$newUserArr));

到此，整個爬蟲過程就可以順利進(jìn)行了。
如果需要大量的抓取數(shù)據(jù)，可以研究下curl_multi和pcntl進(jìn)行多線程的快速抓取，此處不做贅述。

分析用戶數(shù)據(jù)，提供分析

通過正則可以進(jìn)一步匹配出更多的該用戶數(shù)據(jù)，直接上碼。

// 獲取用戶頭像
preg_match("/ 男  
// gender value1 ;結(jié)束 中文
preg_match("/
preg_match("//u", $str, $match_city);
$user_city = $match_city[1];

// 匹配工作
//人見人罵的公司
preg_match("//u", $str, $match_employment);
$user_employ = $match_employment[1];

// 匹配職位
// 程序猿
preg_match("//u", $str, $match_position);
$user_position = $match_position[1];

// 匹配學(xué)歷
// 研究僧
preg_match("//u", $str, $match_education);
$user_education = $match_education[1];

// 工作情況
// 挨踢
preg_match("/([x{4e00}-
x{9fa5}]+)41 個話題
preg_match("/class="?zg-link-litblue"?>(d+)s.+strong>/i", $str, $match_topic);
$user_topic = $match_topic[1];

// 關(guān)注人數(shù)
// 關(guān)注了
preg_match_all("/(d+)<.+
數(shù)據(jù)入庫和程序優(yōu)化

在抓取的過程中，有條件的話，一定要通過redis入庫，確實(shí)能提升抓取和入庫效率。沒有條件的話只能通過sql優(yōu)化。這里來幾發(fā)心德。

數(shù)據(jù)庫表設(shè)計(jì)索引一定要慎重。在spider爬取的過程中，建議出了用戶名，左右字段都不要索引，包括主鍵都不要，盡可能的提高入庫效率，試想5000w的數(shù)據(jù)，每次添加一個，建立索引需要多少消耗。等抓取完畢，需要分析數(shù)據(jù)時，批量建立索引。

數(shù)據(jù)入庫和更新操作，一定要批量。 mysql 官方給出的增刪改的建議和速度：http://dev.mysql.com/doc/refman/5.7/en/insert-speed.html

# 官方的最優(yōu)批量插入
INSERT INTO yourtable VALUES (1,2), (5,5), ...;

部署操作。程序在抓取過程中，有可能會出現(xiàn)異常掛掉，為了保證高效穩(wěn)定，盡可能的寫一個定時腳本。每隔一段時間干掉，重新跑，這樣即使異常掛掉也不會浪費(fèi)太多寶貴時間，畢竟，time is money。

#!/bin/bash

# 干掉
ps aux |grep spider |awk "{print $2}"|xargs kill -9
sleep 5s

# 重新跑
nohup /home/cuixiaohuan/lamp/php5/bin/php /home/cuixiaohuan/php/zhihu_spider/spider_new.php &

數(shù)據(jù)分析呈現(xiàn)

數(shù)據(jù)的呈現(xiàn)主要使用echarts 3.0，感覺對于移動端兼容還不錯。兼容移動端的頁面響應(yīng)式布局主要通過幾個簡單的css控制，代碼如下

/*兼容性和響應(yīng)式div設(shè)計(jì)*/
@media screen and (max-width: 480px) {
    body{
        padding: 0 ;
    }
    .adapt-div {
        width: 100% ;
        float: none ;
        margin: 20px 0;
    }

    .half-div {
        height: 350px ;
        margin-bottom: 10px;
    }

    .whole-div {
        height: 350px;
    }
}

.half-div {
    width: 48%;
    height: 430px;
    margin: 1%;
    float: left
}

.whole-div {
    width: 98%;
    height: 430px;
    margin: 1%;
    float: left
}
不足和待學(xué)習(xí)

整個過程中涉及php,shell,js,css,html,正則等語言和部署等基礎(chǔ)知識，但還有諸多需要改進(jìn)完善，小拽特此記錄，后續(xù)補(bǔ)充例：

php 采用multicul進(jìn)行多線程。

正則匹配進(jìn)一步優(yōu)化

部署和抓取過程采用redis提升存儲

移動端布局的兼容性提升

js的模塊化和sass書寫css。

【轉(zhuǎn)載請注明：php爬蟲：知乎用戶數(shù)據(jù)爬取和分析 | 靠譜崔小拽 】

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/30288.html

相關(guān)文章

  • php爬蟲：知乎用戶數(shù)據(jù)爬取和分析

    摘要：背景說明小拽利用的寫的爬蟲，實(shí)驗(yàn)性的爬取了知乎用戶的基本信息同時，針對爬取的數(shù)據(jù)，進(jìn)行了簡單的分析呈現(xiàn)。本程序抓取的是知乎對外提供用戶訪問的個人信息頁面抓取過程需要攜帶用戶才能獲取頁面。 背景說明：小拽利用php的curl寫的爬蟲，實(shí)驗(yàn)性的爬取了知乎5w用戶的基本信息；同時，針對爬取的數(shù)據(jù)，進(jìn)行了簡單的分析呈現(xiàn)。demo 地址 php的spider代碼和用戶dashboard的展現(xiàn)代碼...

    Jioby 評論0 收藏0

  • php爬蟲：知乎用戶數(shù)據(jù)爬取和分析

    摘要：背景說明小拽利用的寫的爬蟲，實(shí)驗(yàn)性的爬取了知乎用戶的基本信息同時，針對爬取的數(shù)據(jù)，進(jìn)行了簡單的分析呈現(xiàn)。本程序抓取的是知乎對外提供用戶訪問的個人信息頁面抓取過程需要攜帶用戶才能獲取頁面。 背景說明：小拽利用php的curl寫的爬蟲，實(shí)驗(yàn)性的爬取了知乎5w用戶的基本信息；同時，針對爬取的數(shù)據(jù)，進(jìn)行了簡單的分析呈現(xiàn)。demo 地址 php的spider代碼和用戶dashboard的展現(xiàn)代碼...

    saucxs 評論0 收藏0

  • 爬蟲 - 收藏集 - 掘金

    摘要：使用的爬蟲知乎用戶數(shù)據(jù)爬取和分析閱讀掘金背景說明小拽利用的寫的爬蟲，實(shí)驗(yàn)性的爬取了知乎用戶的基本信息同時，針對爬取的數(shù)據(jù)，進(jìn)行了簡單的分析呈現(xiàn)。 Python 知乎爬蟲（最新） - 后端 - 掘金 環(huán)境：python3.x外部依賴包：requestsgithub項(xiàng)目地址 主要的問題:模擬登陸： 知乎現(xiàn)在改用https請求了，數(shù)據(jù)加密，但是問題不大，重要的是網(wǎng)頁數(shù)據(jù)改動了，而且在請求時后...

    zzbo 評論0 收藏0

  • Python 從零開始爬蟲(六)——動態(tài)爬取解決方案 之 手動分析

    摘要：之前提到動態(tài)加載就兩個解決方案手動分析和。背后有許多不為人知的交易進(jìn)行著，動態(tài)爬取的任務(wù)就是攔截它們揭開它們的真面目。在爬蟲界有著霸王硬上弓的稱號，管它情不情愿，來了動態(tài)加載也只有屈服的份了。 之前提到動態(tài)加載就兩個解決方案——手動分析和selenium。接下來的文章我們會來深入探討它們，本文將首先，重點(diǎn)介紹前者——手動分析 手動分析是一個比較有難度，比較麻煩的解決方案，但優(yōu)點(diǎn)也很明顯...

    rozbo 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<