網絡數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網絡爬蟲壹個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。
1.?利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的數據庫中，這張表作為原始表。
2.?使用之前需要做壹步測試，就是測試這個ip是否有效，方法就是利用curl訪問壹個網站查看返回值，需要創建壹張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有壹個算法能夠參考壹種基於連接代理優化管理的多線程網絡爬蟲處理方法。
3.?把有效的ip寫入ip代理池的配置文件，重新加載配置文件。
4.讓爬蟲程序去指定的dailiy的服務ip和端口，進行爬取。