雖然我是不用微博的,但由于某種原因,手機端的微博會時不時地推送幾條我必須看的消息過來。微博被看久了,前幾天又看到 語亮 - 簡書 一年前的的微博爬蟲,就有了對某人微博深入挖掘的想法。

之前語亮的爬蟲不能抓取用戶一條微博的多張圖片,一年后微博界面也發(fā)生了一些變化,決定還是參考語亮爬取手機端界面的方法更新下代碼,同時加上一點小小的數(shù)據(jù)分析。

主要想法是抓取指定用戶的全部微博原創(chuàng)內(nèi)容和全部原創(chuàng)圖片保存到本地,然后對原創(chuàng)微博進行分類,并統(tǒng)計用戶最愛使用的表情、最常使用的詞語和微博中提到的人名。

(經(jīng)過驗證妹子的微博大多集中在美食類、購物類、美妝類和旅游類)

 

下面說下爬取步驟、展示結(jié)果以及詳細(xì)代碼:

因為PC端的微博是JS內(nèi)容不好爬取,所以還是選擇了chrome打開微博手機版進行爬取,簡單粗暴無障礙。

1、獲取自己的cookie,利用chrome瀏覽器。

在chrome 中打開微博手機版,F(xiàn)12打開開發(fā)者工具,勾選Network的Preserve log項,然后輸入賬號密碼登陸自己的微博。

在m.weibo.cn->Headers->Cookie 復(fù)制下自己的cookie,一會需要粘貼到代碼中運行。

網(wǎng)友評論