開(kāi)源IP代理池
繼上一篇開(kāi)源項(xiàng)目IPProxys的使用之后，大家在github,我的公眾號(hào)和博客上提出了很多建議。經(jīng)過(guò)兩周時(shí)間的努力，基本完成了開(kāi)源IP代理池IPProxyPool的重構(gòu)任務(wù)，業(yè)余時(shí)間基本上都花在上面了。
IPProxyPool相對(duì)于之前的版本完成了哪些提升呢？主要包括一下幾個(gè)方面：
使用多進(jìn)程+協(xié)程的方式，將爬取和驗(yàn)證的效率提高了50倍以上，可以在幾分鐘之內(nèi)獲取所有的有效IP
使用web.py作為API服務(wù)器，重構(gòu)HTTP接口
增加Mysql,MongoDB等數(shù)據(jù)庫(kù)的適配
支持python3
增加了三個(gè)代理網(wǎng)站
增加評(píng)分機(jī)制，評(píng)比穩(wěn)定的ip
大家如果感興趣，可以到github上clone IPProxyPool源碼，已經(jīng)503 star了。
下面說(shuō)明一下使用方法：
