為了防止郵件爬蟲和其他惡意網(wǎng)絡(luò)，爬蟲會將自己偽裝成瀏覽器或其他眾所周知的網(wǎng)絡(luò)爬蟲。使用http請求的用戶代理字段向網(wǎng)絡(luò)服務(wù)器指示他們的身份。網(wǎng)絡(luò)管理員檢查網(wǎng)絡(luò)服務(wù)器的日志，并使用IP代理字段來識別哪個爬網(wǎng)程序已經(jīng)訪問過以及訪問的頻率，可能包含允許管理員獲取有關(guān)爬網(wǎng)程序的更多信息的URL。

 

動態(tài)IP模擬器

 

一般來說爬蟲有足夠的ip，不容易被硬化。而一些中小網(wǎng)站想屏蔽你，寧愿花高成本，把你全部抓起來；因為大多數(shù)網(wǎng)站沒有虛擬專用網(wǎng)，所以它們使用虛擬空間或PAAS云，如SAE、BAE。其實就算他們不考慮SEO (Search Engine Optimization)，用ajax渲染網(wǎng)頁數(shù)據(jù)，我也可以用webkit瀏覽器組件處理ajax后的數(shù)據(jù)。也可以尋找IP代理網(wǎng)站，抓取ip進行動態(tài)輪詢，或者使用他人制作的第三方ip代理平臺來解決上述問題。

 

但是，也有一些網(wǎng)站不夠忙，他就是喜歡從日志里一行行分析你的ip，然后統(tǒng)計高頻的網(wǎng)站。這個時候該怎么辦？其實方法很簡單，就是使用大量的主機，還要保證爬蟲種子的數(shù)量，多個ip是沒有問題的。通過一些比較傷腦細胞的策略，我們能不能把爬蟲完全偽裝成網(wǎng)友的瀏覽行為，從而避開大多數(shù)反爬蟲的策略。