一、前言
前文介紹了PhatomJS 和Selenium 的用法，工具準(zhǔn)備完畢，我們來(lái)看看如何使用它們來(lái)改造我們之前寫的小爬蟲。
我們的目的是模擬頁(yè)面下拉到底部，然后頁(yè)面會(huì)刷出新的內(nèi)容，每次會(huì)加載10張新圖片。
大體思路是，用Selenium + PhatomJS 來(lái)請(qǐng)求網(wǎng)頁(yè)，頁(yè)面加載后模擬下拉操作，可以根據(jù)想要獲取的圖片多少來(lái)選擇下拉的次數(shù)，然后再獲取網(wǎng)頁(yè)中的全部?jī)?nèi)容。
二、運(yùn)行環(huán)境
我的運(yùn)行環(huán)境如下：
系統(tǒng)版本
Windows10。Python版本
Python3.5，推薦使用Anaconda 這個(gè)科學(xué)計(jì)算版本，主要是因?yàn)樗詭б粋€(gè)包管理工具，可以解決有些包安裝錯(cuò)誤的問(wèn)題。去Anaconda官網(wǎng)，選擇Python3.5版本，然后下載安裝。IDE
我使用的是PyCharm，是專門為Python開發(fā)的IDE。這是JetBrians的產(chǎn)品，點(diǎn)我下載。
三、爬蟲實(shí)戰(zhàn)改造
3.1 模擬下拉操作
要想實(shí)現(xiàn)網(wǎng)頁(yè)的下拉操作，需要使用Selenium的一個(gè)方法來(lái)執(zhí)行js代碼。該方法如下：driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
由此可見，使用execute_script方法可以調(diào)用JavaScript API在一個(gè)加載完成的頁(yè)面中去執(zhí)行js代碼?？梢宰鋈魏文阆胱龅牟僮髋叮灰胘s寫出來(lái)就可以了。
改造的爬蟲的第一步就是封裝一個(gè)下拉方法，這個(gè)方法要能控制下拉的次數(shù)，下拉后要有等待頁(yè)面加載的時(shí)間，以及做一些信息記錄（在看下面的代碼前自己先想一想啦）：
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無(wú)線安全]玩轉(zhuǎn)無(wú)線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問(wèn)題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來(lái)看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式