一、前言

前文介紹了PhatomJS 和Selenium 的用法，工具準備完畢，我們來看看如何使用它們來改造我們之前寫的小爬蟲。

我們的目的是模擬頁面下拉到底部，然后頁面會刷出新的內(nèi)容，每次會加載10張新圖片。

大體思路是，用Selenium + PhatomJS 來請求網(wǎng)頁，頁面加載后模擬下拉操作，可以根據(jù)想要獲取的圖片多少來選擇下拉的次數(shù)，然后再獲取網(wǎng)頁中的全部內(nèi)容。

二、運行環(huán)境

我的運行環(huán)境如下：

• 系統(tǒng)版本
  Windows10。

• Python版本
  Python3.5，推薦使用Anaconda 這個科學計算版本，主要是因為它自帶一個包管理工具，可以解決有些包安裝錯誤的問題。去Anaconda官網(wǎng)，選擇Python3.5版本，然后下載安裝。

• IDE
  我使用的是PyCharm，是專門為Python開發(fā)的IDE。這是JetBrians的產(chǎn)品，點我下載。

三、爬蟲實戰(zhàn)改造

3.1 模擬下拉操作

要想實現(xiàn)網(wǎng)頁的下拉操作，需要使用Selenium的一個方法來執(zhí)行js代碼。該方法如下：
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

由此可見，使用execute_script方法可以調(diào)用JavaScript API在一個加載完成的頁面中去執(zhí)行js代碼?？梢宰鋈魏文阆胱龅牟僮髋?，只要用js寫出來就可以了。

改造的爬蟲的第一步就是封裝一個下拉方法，這個方法要能控制下拉的次數(shù)，下拉后要有等待頁面加載的時間，以及做一些信息記錄（在看下面的代碼前自己先想一想啦）：

        		
網(wǎng)友評論