如何區分真假的百度爬蟲捕魚的成語(Baiduspider)?
百度PC端爬蟲的用戶代理程式(User-Agent)是這樣的:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.iwin588.co/search/spider.html)
Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.iwin588.co/search/spider.html)
百度行動端爬蟲的用戶代理程式是這樣的:
Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.iwin588.co/search/spider.html)
百度行動端爬蟲的用戶代理程式是這樣的:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.iwin588.co/search/spider.html)
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www .iwin588.co/search/spider.html)
以上分別為百度的常規爬蟲和渲染爬蟲,捕魚遊戲網頁板 已用紅色字體標示出差異。
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www .iwin588.co/search/spider.html)
以上分別為百度的常規爬蟲和渲染爬蟲,捕魚遊戲網頁板 已用紅色字體標示出差異。
如何區分百度PC端和行動端的爬蟲類:
透過關鍵字「Android」或「Mobile」來判斷行動存取或抓取。
透過關鍵字「Baiduspider/2.0」、「Baiduspider-render/2.0」來判斷為百度爬蟲。
然而,這種方法是否能夠準確判斷? 若採集者偽裝成相同的UA訊息,我們可以透過IP位址來判斷真偽:
透過關鍵字「Baiduspider/2.0」、「Baiduspider-render/2.0」來判斷為百度爬蟲。
然而,這種方法是否能夠準確判斷? 若採集者偽裝成相同的UA訊息,我們可以透過IP位址來判斷真偽:
在Windows電腦上,瘋狂捕魚可以透過反查IP位址來判斷爬蟲真偽:
點選「開始」功能表 -> 執行 -> 輸入「cmd」開啟命令列視窗。
輸入“nslookup 要查詢的IP位址”,回車後查看結果是否包含“xx.iwin588.co”或“xx.baidu.jp”,包含則是真的百度爬蟲。
在Linux系統上,同樣可以透過反查IP位址來判斷爬蟲真偽:
輸入“nslookup 要查詢的IP位址”,回車後查看結果是否包含“xx.iwin588.co”或“xx.baidu.jp”,包含則是真的百度爬蟲。
在Linux系統上,同樣可以透過反查IP位址來判斷爬蟲真偽:
使用指令“host 要查詢的IP位址”,蝸牛 捕魚達人結果中是否包含“xx.iwin588.co”或“xx.baidu.jp”捕魚達人 漁卷來判斷是否是真的百度爬蟲。
總之,透過使用者代理程式和IP位址的結合判斷,能夠較為準確地辨識真偽的百度爬蟲。
總之,透過使用者代理程式和IP位址的結合判斷,能夠較為準確地辨識真偽的百度爬蟲。