成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

屏蔽一些國外或國內(nèi)5118、桔子SEO的蜘蛛

Tecode / 2809人閱讀

摘要：下面介紹屏蔽國外一些網(wǎng)站分析平臺(tái)的蜘蛛的方法。有些網(wǎng)站蜘蛛爬起來比百度谷歌還要勤快，頻繁的爬取會(huì)增加服務(wù)器的一定負(fù)荷，對(duì)于服務(wù)器性能吃緊的小伙伴非常適用。

下面介紹屏蔽國外一些網(wǎng)站分析平臺(tái)的蜘蛛的方法。

有些網(wǎng)站蜘蛛爬起來比百度、谷歌還要勤快，頻繁的爬取會(huì)增加服務(wù)器的一定負(fù)荷，對(duì)于服務(wù)器性能吃緊的小伙伴非常適用。

國外常見非搜索引擎蜘蛛列表：
SemrushBot
DotBot
MegaIndex.ru
MauiBot
AhrefsBot
MJ12bot
BLEXBot

一、robots.txt協(xié)議修改(以上7個(gè)蜘蛛都遵守robots協(xié)議)

User-agent: Baiduspider
Disallow:
User-agent: Googlebot
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Baiduspider-image
Disallow:
User-agent: YoudaoBot
Disallow:
User-agent: Sogou web spider
Disallow:
User-agent: Sogou inst spider
Disallow:
User-agent: Sogou spider2
Disallow:
User-agent: Sogou blog
Disallow:
User-agent: Sogou News Spider
Disallow:
User-agent: Sogou Orion spider
Disallow:
User-agent: JikeSpider
Disallow:
User-agent: Sosospider
Disallow:
User-agent: PangusoSpider
Disallow:
User-agent: yisouspider
Disallow:
User-agent: EasouSpider
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: *
Disallow: /

二、寶塔等防火墻增加UA黑名單

在寶塔防火墻中增加如上UA頭，或者批量導(dǎo)入，格式如下：

["SemrushBot""DotBot""MegaIndex.ru""MauiBot""AhrefsBot""MJ12bot""BLEXBot"]

屏蔽一些國外或國內(nèi)5118、桔子SEO的蜘蛛

國內(nèi)5118和桔子這類爬蟲影響力有限，這里暫不處理。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/126377.html

相關(guān)文章

  • 寶塔Linux面板免費(fèi)Nginx免費(fèi)防火墻安裝使用教程

    摘要：今天，小編要為大家分享得是寶塔面板免費(fèi)免費(fèi)防火墻安裝使用教程，這個(gè)寶塔免費(fèi)防火墻功能非常龐大，可以直接屏蔽所有國外，并且黑名單可以有效躲避偽裝防屏蔽，而且還有很多安全防御功能，特別是防御。今天，小編要為大家分享得是寶塔Linux面板免費(fèi)nginx免費(fèi)防火墻安裝使用教程，這個(gè)寶塔免費(fèi)防火墻功能非常龐大，可以直接屏蔽所有國外IP，并且黑名單可以有效躲避偽裝IP、防屏蔽IP，而且還有很多安全防御功...

    freewolf 評(píng)論0 收藏0

  • 作為前端，你不得不知道的SEO

    摘要：就是把你的頁面直接丟給百度的接口，親口告訴百度你有哪些頁面，這是效率最高也是收錄最快的方式了。百度在國內(nèi)搜索引擎的占有率最高，但是很不幸，它并不支持?jǐn)?shù)據(jù)的爬取。這些將作為搜索結(jié)果排序的重要依據(jù)。 ??研發(fā)的同學(xué)，其實(shí)很多人并沒有深入了解SEO這個(gè)概念。在技術(shù)博客里，提及這一塊的也寥寥無幾。我今天就拿自己的經(jīng)驗(yàn)，簡單給大家掃個(gè)盲，有什么遺漏的地方，歡迎大家補(bǔ)充。 ??文字內(nèi)容有點(diǎn)多，但是...

    UnixAgain 評(píng)論0 收藏0

  • 解決博客圖片存儲(chǔ)——阿里云的OSS運(yùn)用

    摘要：接下來講解一下博客中用的圖床阿里云對(duì)象存儲(chǔ)，簡稱，雖然目前大家用的比較多的是七牛云之類的，但是因?yàn)槲覀€(gè)人原因我還是選擇了阿里云，后面我會(huì)簡單說明下原因。 showImg(https://segmentfault.com/img/remote/1460000008838754?w=960&h=300); 前言 之前打算寫一篇有關(guān)個(gè)人博客SEO優(yōu)化的體驗(yàn)和一些自身體會(huì)，但是發(fā)現(xiàn)自己還沒完全...

    Lowky 評(píng)論0 收藏0

  • 解決博客圖片存儲(chǔ)——阿里云的OSS運(yùn)用

    摘要：接下來講解一下博客中用的圖床阿里云對(duì)象存儲(chǔ)，簡稱，雖然目前大家用的比較多的是七牛云之類的，但是因?yàn)槲覀€(gè)人原因我還是選擇了阿里云，后面我會(huì)簡單說明下原因。 showImg(https://segmentfault.com/img/remote/1460000008838754?w=960&h=300); 前言 之前打算寫一篇有關(guān)個(gè)人博客SEO優(yōu)化的體驗(yàn)和一些自身體會(huì)，但是發(fā)現(xiàn)自己還沒完全...

    incredible 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<