最近工作主要是一些爬蟲相關(guān)的東西，由于公司需要構(gòu)建自己的爬蟲框架，在調(diào)研過程中參考了許多優(yōu)秀的開源作品，包括webmagic，webcollector,Spiderman等，通過學(xué)習(xí)這些優(yōu)秀的源碼獲益良多。
webmagic是一個簡單靈活的爬蟲框架?；赪ebMagic，你可以快速開發(fā)出一個高效、易維護(hù)的爬蟲。(官網(wǎng)地址：http://webmagic.io/)
本篇是webmagic源碼閱讀第一篇，主要探討webmagic的核心機(jī)制，即一個BFS的爬蟲是如何構(gòu)建出來的。
webmagic分為以下四大組件，Downloader(頁面下載器),Scheduler(下載調(diào)度器),PageProcessor(頁面解析器),Pipeline(管道組件，通常做將抓取結(jié)果入庫寫文件等操作)
（圖片來自官網(wǎng)）
以上四個組件由Spider組件組裝起來，爬取數(shù)據(jù)時協(xié)同工作。我們先研究webmagic的核心類Spider。
在Spider中的run()方法中可以清晰的看到典型的BFS代碼，通過一個循環(huán)不斷地從scheduler中的內(nèi)存隊列中取一個抓取任務(wù)(Request)并進(jìn)行相應(yīng)處理(processRequest)，如果抓取成功則回調(diào)監(jiān)聽器中的onSuccess()方法，失敗則調(diào)用onError()方法,最后將已抓取頁面的數(shù)量自增。如果隊列中沒有任何抓取任務(wù)了，爬蟲會在這里停一會防止有新的任務(wù)
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動安全 [無線安全]玩轉(zhuǎn)無線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式