爬蟲與反爬蟲的糾葛論

      爬蟲時ip限制問題的最佳解決辦法，首當其沖換IP是必須的操作，建議一定要使用代理IP，然后我們在有外網IP的機器上，部署爬蟲ip代理，程序就會用服務器代理ip來替代你訪問想要采集的網站，就算IP被屏蔽了，直接換下一個ip，程序邏輯也不會發生什么改變，代理ip軟件還有設置cookies的處理。

      其次，有的網站對登陸用戶政策寬松些，而有些網站相對嚴格，爬蟲也需要設置限制查詢的頻率，盡可能模擬正常用戶的行為，訪問頁面的順序可以隨機著來，正統的做法是調用該網站提供的服務接口。網站封的依據一般是單位時間內特定IP的訪問次數，所以我們需要將采集的任務按目標站點的IP進行分組，通過控制每個IP在單位時間內發出任務的個數避免被封。