SemrushBot是SEMrush的搜尋蜘蛛,今日足球賽程SEMrush是一個功能強大、全面的線上行銷競爭情報平台,其中包括SEO、PPC、社群媒體和影片廣告研究等。 機器人會抓取你的網站內容以解析網頁訊息,台灣運動賽事讓相關內容更容易被索引和使用者搜尋。
對中文網站來說,SemrushBot對行銷上的幫助不大,世足賽運彩可以選擇封鎖該蜘蛛。 通常,屏蔽方式是透過robots協定規則來限制其爬取:
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB
Disallow: /
然而,僅添加第一條規則可能不夠全面,運彩網站 ptt可能會導致SemrushBot繼續爬取你的網站。 為了更好地阻止SemrushBot的爬取,可以使用伺服器規則:
if ($http_user_agent !~* “Baidu|Yisou|Sogou|360|Bytes|bing”)
{
return 403;
}
上述代碼將返回403狀態(沒有權限訪問本站),運彩 主客怎麼分將除了百度、神馬、搜狗、360、頭條、Bing以外的蜘蛛全部屏蔽。 這種方式更加徹底,可以根據需求調整過濾清單。