做微指數(shù)的爬蟲時,遇到點難題,去網(wǎng)上查些資料,發(fā)現(xiàn)有點錯誤;

特此經(jīng)過研究,有了正確的采集方法。

 

1、采集界面,搜索關(guān)鍵字后頁面跳轉(zhuǎn)到指數(shù)界面,顯示搜索的指數(shù)。

photoshop培訓(xùn),電腦培訓(xùn),電腦維修培訓(xùn),移動軟件開發(fā)培訓(xùn),網(wǎng)站設(shè)計培訓(xùn),網(wǎng)站建設(shè)培訓(xùn)

2、fiddler抓包定位采集數(shù)據(jù)源,加載方式為json

 

photoshop培訓(xùn),電腦培訓(xùn),電腦維修培訓(xùn),移動軟件開發(fā)培訓(xùn),網(wǎng)站設(shè)計培訓(xùn),網(wǎng)站建設(shè)培訓(xùn)

3、獲取json數(shù)據(jù);

        分析數(shù)據(jù)的加載方式,發(fā)現(xiàn)數(shù)據(jù)是在定位請求頭中的referer地址進行返回數(shù)據(jù)的,

延伸閱讀

學(xué)習是年輕人改變自己的最好方式-Java培訓(xùn),做最負責任的教育,學(xué)習改變命運,軟件學(xué)習,再就業(yè),大學(xué)生如何就業(yè),幫大學(xué)生找到好工作,lphotoshop培訓(xùn),電腦培訓(xùn),電腦維修培訓(xùn),移動軟件開發(fā)培訓(xùn),網(wǎng)站設(shè)計培訓(xùn),網(wǎng)站建設(shè)培訓(xùn)學(xué)習是年輕人改變自己的最好方式