開源IP代理池

繼上一篇開源項目IPProxys的使用之后，大家在github,我的公眾號和博客上提出了很多建議。經(jīng)過兩周時間的努力，基本完成了開源IP代理池IPProxyPool的重構(gòu)任務(wù)，業(yè)余時間基本上都花在上面了。

IPProxyPool相對于之前的版本完成了哪些提升呢？主要包括一下幾個方面：

  1. 使用多進(jìn)程+協(xié)程的方式，將爬取和驗(yàn)證的效率提高了50倍以上，可以在幾分鐘之內(nèi)獲取所有的有效IP

  2. 使用web.py作為API服務(wù)器，重構(gòu)HTTP接口

  3. 增加Mysql,MongoDB等數(shù)據(jù)庫的適配

  4. 支持python3

  5. 增加了三個代理網(wǎng)站

  6. 增加評分機(jī)制，評比穩(wěn)定的ip

大家如果感興趣，可以到github上clone IPProxyPool源碼，已經(jīng)503 star了。

延伸閱讀

學(xué)習(xí)是年輕人改變自己的最好方式-Java培訓(xùn),做最負(fù)責(zé)任的教育,學(xué)習(xí)改變命運(yùn),軟件學(xué)習(xí),再就業(yè),大學(xué)生如何就業(yè),幫大學(xué)生找到好工作,lphotoshop培訓(xùn),電腦培訓(xùn),電腦維修培訓(xùn),移動軟件開發(fā)培訓(xùn),網(wǎng)站設(shè)計培訓(xùn),網(wǎng)站建設(shè)培訓(xùn)學(xué)習(xí)是年輕人改變自己的最好方式