在公司做分布式深網(wǎng)爬蟲，搭建了一套穩(wěn)定的代理池服務(wù)，為上千個(gè)爬蟲提供有效的代理，保證各個(gè)爬蟲拿到的都是對應(yīng)網(wǎng)站有效的代理IP，從而保證爬蟲快速穩(wěn)定的運(yùn)行，當(dāng)然在公司做的東西不能開源出來。不過呢，閑暇時(shí)間手癢，所以就想利用一些免費(fèi)的資源搞一個(gè)簡單的代理池服務(wù)。

1、問題

代理IP從何而來？

剛自學(xué)爬蟲的時(shí)候沒有代理IP就去西刺、快代理之類有免費(fèi)代理的網(wǎng)站去爬，還是有個(gè)別代理能用。當(dāng)然，如果你有更好的代理接口也可以自己接入。 　　免費(fèi)代理的采集也很簡單，無非就是：訪問頁面頁面 —> 正則/xpath提取 —> 保存

如何保證代理質(zhì)量？

可以肯定免費(fèi)的代理IP大部分都是不能用的，不然別人為什么還提供付費(fèi)的(不過事實(shí)是很多代理商的付費(fèi)IP也不穩(wěn)定，也有很多是不能用)。所以采集回來的代理IP不能直接使用，可以寫檢測程序不斷的去用這些代理訪問一個(gè)穩(wěn)定的網(wǎng)站，看是否可以正常使用。這個(gè)過程可以使用多線程或異步的方式，因?yàn)闄z測代理是個(gè)很慢的過程。

采集回來的代理如何存儲？

這里不得不推薦一個(gè)高性能支持多種數(shù)據(jù)結(jié)構(gòu)的NoSQL數(shù)據(jù)庫SSDB，用于代理Redis。支持隊(duì)列、hash、set、k-v對，支持T級別數(shù)據(jù)。是做分布式爬蟲很好中間存儲工具。

如何讓爬蟲更簡單的使用這些代理？

答案肯定是做成服務(wù)咯，python有這么多的web框架，隨便拿一個(gè)來寫個(gè)api供爬蟲調(diào)用。這樣有很多好處，比如：當(dāng)爬蟲發(fā)現(xiàn)代理不能使用可以主動通過api去delete代理IP，當(dāng)爬蟲發(fā)現(xiàn)代理池IP不夠用時(shí)可以主動去refresh代理池。這樣比檢測程序更加靠譜。

2、代理池設(shè)計(jì)

代理池由四部分組成:

ProxyGetter:代理獲取接口，目前有5個(gè)免費(fèi)代理源，每調(diào)用一次就會抓取這個(gè)5個(gè)網(wǎng)站的最新代理放入DB，可自行添加額外的代理獲取接口；

DB:用于存放代理IP，現(xiàn)在暫時(shí)只支持SSDB。至于為什么選擇SSDB，大家可以參考這篇文章,個(gè)人覺得SSDB是個(gè)不錯(cuò)的Redis替代方案，如果你沒有用過SSDB，安裝起來也很簡單，可以參考這里；

Schedule:計(jì)劃任務(wù)用戶定時(shí)去檢測DB中的代理可用性，刪除不可用的代理。同時(shí)也會主動通過ProxyGetter去獲取最新代理放入DB；

ProxyApi:代理池的外部接口，由于現(xiàn)在這么代理池功能比較簡單，花兩個(gè)小時(shí)看了下Flask，愉快的決定用Flask搞定。功能是給爬蟲提供get/delete/refresh等接口，方便爬蟲直接使用。

黑洞代理IP獨(dú)家全新速度引擎全網(wǎng)獨(dú)家使用多條阿里云SLB百兆線路就近加速服務(wù)，軟件穩(wěn)定不掉線，同一款游戲不重復(fù)IP,可指定IP段,多地區(qū)/機(jī)房IP段選擇,拒絕異地登陸、異常提示等問題!支持多臺電腦同時(shí)使用,尊享VIP 7*24小時(shí)實(shí)時(shí)在線!

黑洞代理官網(wǎng)：https://www.hunbovps.com/