成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

python爬取人臉識(shí)別圖片數(shù)據(jù)集/python爬去圖片/python爬蟲

cnio / 1647人閱讀

摘要：本人長期出售超大量微博數(shù)據(jù)旅游網(wǎng)站評(píng)論數(shù)據(jù)，并提供各種指定數(shù)據(jù)爬取服務(wù)，。同時(shí)歡迎加入社交媒體數(shù)據(jù)交流群前言最近在做機(jī)器學(xué)習(xí)下的人臉識(shí)別的學(xué)習(xí)，機(jī)器學(xué)習(xí)這個(gè)東西有點(diǎn)暴力，很大程度上靠訓(xùn)練的數(shù)據(jù)量來決定效果。

本人長期出售超大量微博數(shù)據(jù)、旅游網(wǎng)站評(píng)論數(shù)據(jù)，并提供各種指定數(shù)據(jù)爬取服務(wù)，Message to [email protected]。同時(shí)歡迎加入社交媒體數(shù)據(jù)交流群：99918768

前言

最近在做機(jī)器學(xué)習(xí)下的人臉識(shí)別的學(xué)習(xí)，機(jī)器學(xué)習(xí)這個(gè)東西有點(diǎn)暴力，很大程度上靠訓(xùn)練的數(shù)據(jù)量來決定效果。為了找數(shù)據(jù)，通過一個(gè)博客的指導(dǎo)，瀏覽了幾個(gè)很知名的數(shù)據(jù)集。

幾個(gè)大型數(shù)據(jù)集是通過發(fā)郵件申請(qǐng)進(jìn)行下載，幾個(gè)小型數(shù)據(jù)集直接在網(wǎng)頁的鏈接下載，還有一個(gè)Pubfig數(shù)據(jù)集則是提供了大量圖片的鏈接來讓我們自己寫程序來下載。

權(quán)衡了數(shù)據(jù)量的需求，最后選擇Pubfig的數(shù)據(jù)集，于是就自己寫了一個(gè)python圖片采集程序，里面用了urllib和requests兩種方法.

分析Pubfig提供的下載文件的特點(diǎn)


這個(gè)數(shù)據(jù)文件提供了在數(shù)據(jù)集中出現(xiàn)的所有人物

這個(gè)數(shù)據(jù)文件提供了每個(gè)人的urls

可以看出來這個(gè)數(shù)據(jù)集的處理其實(shí)非常簡單了，可以通過readlines的方式存進(jìn)列表用空格分開一下數(shù)據(jù)就可以把urls提取出來了。

處理一下urls文件

urls在文件的中后部，寫個(gè)文件把它單純地提取出來，方便使用。
我多帶帶把Miley_Cyrus的部分提取出來放了一個(gè)txt文件

pic_url = []
with open("./Miley_Cyrus.txt") as f:
    for i in f.readlines():
        pic_url.append(i.strip("
"))

urls = []
for s in pic_url:
    _, _, _, url, _, _ = s.split()
    urls.append(url)

# 寫入到文件里面
with open("url.data", "w") as f:
    for i in urls:
        f.write(i)
        f.write("
")
爬取urls圖片 1. Urllibs方法 
import urllib.request as request
import socket
import os


# 在同級(jí)目錄新建文件夾存圖片
os.mkdir("./img")


# 為請(qǐng)求增加一下頭
user_agent = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36"
headers = ("User-Agent", user_agent)
opener = request.build_opener()
opener.addheaders = [headers]
request.install_opener(opener)

# 設(shè)定一下無響應(yīng)時(shí)間，防止有的壞圖片長時(shí)間沒辦法下載下來
timeout = 20
socket.setdefaulttimeout(timeout)


# 從文件里面讀urls
urls = []
with open("./url.data") as f:
    for i in f.readlines():
        if i != "":
            urls.append(i)
        else:
            pass


# 通過urllibs的requests獲取所有的圖片
count = 1
bad_url = []
for url in urls:
    url.rstrip("
")
    print(url)
    try:
        pic = request.urlretrieve(url, "./img3/%d.jpg" % count)
        print("pic %d" % count)
        count += 1
    except Exception as e:
        print(Exception, ":", e)
        bad_url.append(url)
    print("
")
print("got all photos that can be got")


# 把沒有抓取到的urls保存起來
with open("bad_url3.data", "w") as f:
    for i in bad_url:
        f.write(i)
        f.write("
")
    print("saved bad urls")
2. Requests方法 
import requests
import socket
import os


# 在同級(jí)目錄新建文件夾存圖片
os.mkdir("./img")


# 設(shè)定一下無響應(yīng)時(shí)間，防止有的壞圖片長時(shí)間沒辦法下載下來
timeout = 20
socket.setdefaulttimeout(timeout)


# 從文件里面讀urls
urls = []
with open("./url.data") as f:
    for i in f.readlines():
        if i != "":
            urls.append(i)
        else:
            pass


# 為請(qǐng)求增加一下頭，獲取圖片
user_agent = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36"
headers = {
    "User-Agent": user_agent
}
bad_url = []
count = 1
for url in urls:
    url.rstrip("
")
    print(url)
    try:
        pic = requests.get(url, headers=headers)
        with open("./img2/%d.jpg" % count, "wb") as f:
            f.write(pic.content)
            f.flush()
        print("pic %d" % count)
        count += 1
    except Exception as e:
        print(Exception, ":", e)
        bad_url.append(url)
    print("
")
print("got all photos that can be got")


# 保存壞鏈接
with open("bad_url.data", "w") as f:
    for i in bad_url:
        f.write(i)
        f.write("
")
    print("saved bad urls")
個(gè)人博客

8aoy1.cn

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/41349.html

相關(guān)文章

  • 爬蟲 - 收藏集 - 掘金

    摘要：在這之前，還是有必要對(duì)一些概念超輕量級(jí)反爬蟲方案后端掘金前言爬蟲和反爬蟲日益成為每家公司的標(biāo)配系統(tǒng)。 爬蟲修煉之道——從網(wǎng)頁中提取結(jié)構(gòu)化數(shù)據(jù)并保存（以爬取糗百文本板塊所有糗事為例） - 后端 - 掘金歡迎大家關(guān)注我的專題：爬蟲修煉之道 上篇 爬蟲修煉之道——編寫一個(gè)爬取多頁面的網(wǎng)絡(luò)爬蟲主要講解了如何使用python編寫一個(gè)可以下載多頁面的爬蟲，如何將相對(duì)URL轉(zhuǎn)為絕對(duì)URL，如何限速，...

    1fe1se 評(píng)論0 收藏0

  • 首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

    摘要：時(shí)間永遠(yuǎn)都過得那么快，一晃從年注冊(cè)，到現(xiàn)在已經(jīng)過去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時(shí)候把他們整理一下了。那是因?yàn)槭詹貖A太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...

    Harriet666 評(píng)論0 收藏0

  • Python從入門到轉(zhuǎn)行

    摘要：學(xué)了大半年之后成功轉(zhuǎn)行做前端了。包含大量其他神經(jīng)網(wǎng)絡(luò)庫中的包裝器和抽象，其中最值得注意的是，其中也包含一些機(jī)器學(xué)習(xí)的實(shí)用模塊。它是輕量級(jí)可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)工具包，同時(shí)擁有友好的界面，可供機(jī)器學(xué)習(xí)的訓(xùn)練和預(yù)測使用。 題記：大二的時(shí)候發(fā)現(xiàn)人生苦短，所以信了拍神，開始學(xué)Python。學(xué)了大半年之后成功轉(zhuǎn)行做前端了。來寫個(gè)教程幫助大家入門Python。 Python零基礎(chǔ)入門 零基礎(chǔ)入門就得從最...

    ingood 評(píng)論0 收藏0

  • SegmentFault 技術(shù)周刊 Vol.30 - 學(xué)習(xí) Python 來做一些神奇好玩的事情吧

    摘要：學(xué)習(xí)筆記七數(shù)學(xué)形態(tài)學(xué)關(guān)注的是圖像中的形狀，它提供了一些方法用于檢測形狀和改變形狀。學(xué)習(xí)筆記十一尺度不變特征變換，簡稱是圖像局部特征提取的現(xiàn)代方法基于區(qū)域圖像塊的分析。本文的目的是簡明扼要地說明的編碼機(jī)制，并給出一些建議。 showImg(https://segmentfault.com/img/bVRJbz?w=900&h=385); 前言 開始之前，我們先來看這樣一個(gè)提問： pyth...

    lifesimple 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<