上周寫了一個node+experss的爬蟲小入門。今天繼續(xù)來學習一下,寫一個爬蟲2.0版本。

這次我們不再爬博客園了,咋玩點新的,爬爬電影天堂。因為每個周末都會在電影天堂下載一部電影來看看。

talk is cheap,show me the code!

 

【原】小玩node+express爬蟲-1:http://www.cnblogs.com/xianyulaodi/p/6049237.html

 

抓取頁面分析

我們的目標:

1、抓取電影天堂首頁,獲取左側最新電影的169條鏈接

2、抓取169部新電影的迅雷下載鏈接,并且并發(fā)異步抓取。

具體分析如下:

1、我們不需要抓取迅雷的所有東西,只需要下載最新發(fā)布的電影即可,比如下面的左側欄。一共有170個,除去第一個(因為第一個里面有200部電影),一共有169部電影。

 

2、除了抓取首頁的東西,我們還要抓取點進去之后,每部電影的迅雷下載鏈接

網(wǎng)友評論