做微指數(shù)的爬蟲時(shí),遇到點(diǎn)難題,去網(wǎng)上查些資料,發(fā)現(xiàn)有點(diǎn)錯(cuò)誤;
特此經(jīng)過(guò)研究,有了正確的采集方法。
1、采集界面,搜索關(guān)鍵字后頁(yè)面跳轉(zhuǎn)到指數(shù)界面,顯示搜索的指數(shù)。
2、fiddler抓包定位采集數(shù)據(jù)源,加載方式為json
3、獲取json數(shù)據(jù);
分析數(shù)據(jù)的加載方式,發(fā)現(xiàn)數(shù)據(jù)是在定位請(qǐng)求頭中的referer地址進(jìn)行返回?cái)?shù)據(jù)的,