從寫nodejs的第一個爬蟲開始陸陸續(xù)續(xù)寫了好幾個爬蟲,從爬拉勾網上的職位信息到爬豆瓣上的租房帖子,再到去爬知乎上的妹子照片什么的,爬蟲為我打開了一扇又一扇新世界的大門。除了漲了很多姿勢之外,與網管斗智斗勇也是一個比較有意思的事情。雖然很多東西都是淺嘗輒止,但萬事都有個由淺入深的過程嘛(天真臉~~)
一只爬蟲的模樣
爬蟲?應該是長這樣的吧:
其實,沒有那么萌啦。
所謂爬蟲,就是把目標網站的信息收集起來的一種工具?;玖鞒谈嗽L問網站是一樣的,打開鏈接>>獲取信息>>打開鏈接……這個循環(huán)用編程實現,就是爬蟲了。專業(yè)一點的說法就是,發(fā)起請求>>解析響應數據