生活中遇到了問題,想去成都買個房,那哪個區(qū)域性價比高肯定要考慮一番了,最粗暴直接的就是看租售比,遂打算去鏈家網(wǎng)爬上各個小區(qū)的賣房單價和租房單價比上一比,python寫爬蟲無疑是最流行的了,但最近在研究node,感覺寫個爬蟲強(qiáng)化一下node姿勢水平還是挺不錯的。開整。
首先http請求工具和dom解析工具是必不可少的,嚴(yán)謹(jǐn)?shù)恼f是對于像我這樣的菜鳥是必不可少的,http請求工具我選了 request,主流的還有 superagent 可選,dom解析 cheerio 應(yīng)該是不二選擇了,接口和 jquery 一樣一樣的。如果沒接觸過請先自行了解這兩個庫。
基本環(huán)境先搭建好,這個不在討論范圍,
github:https://github.com/huanqingli/node-web-spider
1. 第一步我們先看抓一個網(wǎng)頁是啥樣的:
延伸閱讀
學(xué)習(xí)是年輕人改變自己的最好方式