BLEXBot是近期活動較為頻繁的一個蜘蛛程序,運彩吧來自一家美國的反向連結查詢網站WebMeUp。 它會大量抓取你的網站鏈接,如果你注意到它的活動,你會發現它確實抓取了大量鏈接。
從理論上講,BLEXBot除了消耗伺服器資源之外,對網站沒有太多實際危害。 但對於在國內建站且面向國內用戶的站長來說,屏蔽它可能是更好的選擇。
在測試中發現,BLEXBot比較遵守協議,運彩 空氣單使用robots協議禁止後,它便不再爬取你的網頁,這值得肯定。
你可以透過在robots.txt檔案中加入以下規則來封鎖BLEXBot的爬取:
User-agent: BLEXBot
Disallow: /
為了確保萬無一失,運彩 開盤防止未來出現問題,建議在伺服器層級徹底阻止BLEXBot的存取:
if ($http_user_agent ~* “BLEXBot”) {
return 403;
}
需要注意的是,robots協議只是一種約定,具體是否遵守取決於相關公司。 直接在伺服器上進行封鎖更加可靠。
另外我想向大家介紹一下
AhrefsBot是什麼蜘蛛,這個爬蟲需要屏蔽嗎?
AhrefsBot是Ahrefs網站的爬蟲,台灣彩券 運彩這家國外知名的行銷網站提供外鏈查詢和分析服務。 如果你的站點與國外行銷無關,或者你認為它的爬取不必要,選擇屏蔽AhrefsBot是合理的。
值得一提的是,AhrefsBot非常遵守robots協議。 我昨天透過在robots.txt檔案中封鎖了它,今天已經沒有發現它的爬取痕跡了。
你可以透過在robots.txt檔案中加入以下規則來方便地屏蔽AhrefsBot:
User-agent: AhrefsBot
Disallow: /
為了確保AhrefsBot不會突然改變行為,好朋友運彩圈你也可以透過修改Nginx或其他WEB伺服器規則來徹底禁止其存取:
if ($http_user_agent ~* “AhrefsBot”) {
return 403;
}
至於禁止IP的做法,由於IP變化較快,效果可能不穩定,因此並不是很有意義。