這里是通過爬取伯樂在線的全部文章為例子，讓自己先對scrapy進行一個整理的理解

該例子中的詳細代碼會放到我的github地址：https://github.com/pythonsite/spider/tree/master/jobboleSpider

注：這個文章并不會對詳細的用法進行講解，是為了讓對scrapy各個功能有個了解，建立整體的印象。

在學習Scrapy框架之前，我們先通過一個實際的爬蟲例子來理解，后面我們會對每個功能進行詳細的理解。
這里的例子是爬取http://blog.jobbole.com/all-posts/ 伯樂在線的全部文章數(shù)據(jù)

分析要爬去的目標站信息

先看如下圖，首先我們要獲取下圖中所有文章的連接，然后是進入每個文章連接爬取每個文章的詳細內(nèi)容。
每個文章中需要爬取文章標題，發(fā)表日期，以及標簽，贊賞收藏，評論數(shù)，文章內(nèi)容。

iOS培訓(xùn),Swift培訓(xùn),蘋果開發(fā)培訓(xùn),移動開發(fā)培訓(xùn)

延伸閱讀

學習是年輕人改變自己的最好方式-Java培訓(xùn),做最負責任的教育,學習改變命運,軟件學習,再就業(yè),大學生如何就業(yè),幫大學生找到好工作,lphotoshop培訓(xùn),電腦培訓(xùn),電腦維修培訓(xùn),移動軟件開發(fā)培訓(xùn),網(wǎng)站設(shè)計培訓(xùn),網(wǎng)站建設(shè)培訓(xùn)學習是年輕人改變自己的最好方式