上周寫了一個node+experss的爬蟲小入門。今天繼續(xù)來學習一下,寫一個爬蟲2.0版本。
這次我們不再爬博客園了,咋玩點新的,爬爬電影天堂。因為每個周末都會在電影天堂下載一部電影來看看。
talk is cheap,show me the code!
【原】小玩node+express爬蟲-1:http://www.cnblogs.com/xianyulaodi/p/6049237.html
抓取頁面分析
我們的目標:
1、抓取電影天堂首頁,獲取左側最新電影的169條鏈接
2、抓取169部新電影的迅雷下載鏈接,并且并發(fā)異步抓取。
具體分析如下:
1、我們不需要抓取迅雷的所有東西,只需要下載最新發(fā)布的電影即可,比如下面的左側欄。一共有170個,除去第一個(因為第一個里面有200部電影),一共有169部電影。
2、除了抓取首頁的東西,我們還要抓取點進去之后,每部電影的迅雷下載鏈接