一、前言
在上一篇博文中，我們的爬蟲(chóng)面臨著一個(gè)問(wèn)題，在爬取Unsplash網(wǎng)站的時(shí)候，由于網(wǎng)站是下拉刷新，并沒(méi)有分頁(yè)。所以不能夠通過(guò)頁(yè)碼獲取頁(yè)面的url來(lái)分別發(fā)送網(wǎng)絡(luò)請(qǐng)求。我也嘗試了其他方式，比如下拉的時(shí)候監(jiān)控http請(qǐng)求，看看請(qǐng)求是否有規(guī)律可以模擬。后來(lái)發(fā)現(xiàn)請(qǐng)求并沒(méi)有規(guī)律，也就是不能夠模擬http請(qǐng)求來(lái)獲取新的數(shù)據(jù)（也可能是我水平有限，哪位童鞋找到了規(guī)律一定要告訴我哦）。那么就只有模擬下拉操作了。
想要模擬下拉操作，我們需要用到兩個(gè)工具，一個(gè)是PhatomJs，一個(gè)是Selenium。
PhatomJS其實(shí)就是一個(gè)沒(méi)有界面的瀏覽器，最主要的功能是能夠讀取js加載的頁(yè)面。
Selenium實(shí)質(zhì)上是一個(gè)自動(dòng)化測(cè)試工具，能夠模擬用戶的一些行為操作，比如下拉網(wǎng)頁(yè)。
一直有個(gè)說(shuō)法，Python + PhatomJS + Selenium 是爬蟲(chóng)的無(wú)敵三件套，基本能夠?qū)崿F(xiàn)所有爬蟲(chóng)需求。
OK，我們分別介紹下他們的使用，然后開(kāi)始我們的實(shí)戰(zhàn)。
二、運(yùn)行環(huán)境
我的運(yùn)行環(huán)境如下：
系統(tǒng)版本
Windows10。Python版本
Python3.5，推薦使用Anaconda 這個(gè)科學(xué)計(jì)算版本，主要是因?yàn)樗詭б粋€(gè)包管理工具，可以解決有些包安裝錯(cuò)誤的問(wèn)題。去延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無(wú)線安全]玩轉(zhuǎn)無(wú)線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問(wèn)題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來(lái)看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式