最近,一個小站安裝了蜘蛛分析插件,老虎機 技巧這才發現一些垃圾蜘蛛佔用了大量伺服器資源。 這些蜘蛛包括但不限於 AhrefsBot、MJ12bot、BLEXBot、SemrushBot 等行銷蜘蛛。 這些蜘蛛只會爬取數據,不會帶來任何流量,因此最好將其屏蔽。 您可以在網路上搜尋這些蜘蛛的名字以了解更多資訊。
小站流量不大,但正經搜尋引擎蜘蛛只爬了幾個頁面,免費 老虎機 遊戲而這些垃圾蜘蛛卻在短短幾個小時內爬遍了整個網站。 因此,果斷將其全部屏蔽。
可以透過使用 robots.txt 協定來屏蔽這些蜘蛛。 儘管這些垃圾蜘蛛不太理想,但通常還是遵守協議。 例如,對於 AhrefsBot、MJ12bot、BLEXBot、SemrushBot 等行銷蜘蛛,澳門 老虎機 玩法在網站的 robots.txt 檔案中加入以下程式碼即可:
User-agent: AhrefsBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: SemrushBot
Disallow: /
其他蜘蛛同理。
更新:儘管昨天已經屏蔽了,烹飪發燒友 老虎機但今天發現一些蜘蛛無視 robots.txt 協議,因此建議透過 Nginx 或其他 Web 伺服器規則直接拒絕訪問,這樣更為可靠:
if ($http_user_agent ~* “(YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBotBBot°Botbot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBotBBotBot {
return 403;
}
以上規則已經涵蓋大部分行銷蜘蛛,吃角子老虎機 澳門直接應用在伺服器上即可。 需要的朋友可以採用這些設置,因為某些蜘蛛的爬取行為非常瘋狂,可能會導致伺服器無法承受。