并不是所有的網(wǎng)站都能夠敞開(kāi)心扉讓你看個(gè)透徹，它們總要給你出些難題讓你覺(jué)得有些東西是來(lái)之不易的，往往，這也更加激發(fā)你的激情和斗志！
從《為了媳婦的一張?zhí)?，我與百度醫(yī)生杠上了》里就有網(wǎng)友提出可以通過(guò)獲取cookie的方式來(lái)登錄，不需要借助selenium這樣的模擬瀏覽器操作了，到后來(lái)在公眾號(hào)里一號(hào)友說(shuō)豆瓣如何實(shí)現(xiàn)登錄，以及近期園友都有提到想獲取更多的網(wǎng)站數(shù)據(jù)是需要登錄的……登錄，一直是爬蟲(chóng)界躲不了也繞不開(kāi)的話題。
之前已經(jīng)試過(guò)通過(guò)啟動(dòng)瀏覽器，模擬人工操作填寫(xiě)用戶名和密碼并點(diǎn)擊登錄來(lái)完成登錄。 這次準(zhǔn)備由臺(tái)前模式切換到幕后，研究下不用啟動(dòng)瀏覽器如何實(shí)現(xiàn)使用后臺(tái)代碼就模擬登錄豆瓣電影君。

我們登錄網(wǎng)站時(shí)發(fā)生了什么

Android培訓(xùn),安卓培訓(xùn),手機(jī)開(kāi)發(fā)培訓(xùn),移動(dòng)開(kāi)發(fā)培訓(xùn),云培訓(xùn)培訓(xùn)

類似這樣的登錄界面（movie.douban.com），我們只要填寫(xiě)用戶名和密碼，樂(lè)意的話選中“下次自動(dòng)登錄”，然后點(diǎn)擊登錄按鈕，不出意外（如果你總是調(diào)戲人家，屢次輸入錯(cuò)誤，人家不會(huì)用小錘錘捶你胸，但是搞個(gè)驗(yàn)證碼也夠你喝一壺的了），你就登錄成功了。
看著還是比較簡(jiǎn)單，但是在瀏覽器后面，實(shí)際上已經(jīng)做了不少事兒~~~
如果是Chrome瀏覽器，可以按F12，切到Network選項(xiàng)，在點(diǎn)擊頁(yè)面中的登錄后，你可以看到唰唰唰的請(qǐng)求，好比這樣
Android培訓(xùn),安卓培訓(xùn),手機(jī)開(kāi)發(fā)培訓(xùn),移動(dòng)開(kāi)發(fā)培訓(xùn),云培訓(xùn)培訓(xùn)

其中最關(guān)鍵的發(fā)生在第一條，即通過(guò)發(fā)送HTTP Post請(qǐng)求與服務(wù)器交互，請(qǐng)求登錄，在這條請(qǐng)求中你可以看到很熟悉的內(nèi)容
Android培訓(xùn),安卓培訓(xùn),手機(jī)開(kāi)發(fā)培訓(xùn),移動(dòng)開(kāi)發(fā)培訓(xùn),云培訓(xùn)培訓(xùn)
沒(méi)錯(cuò)，你在登錄網(wǎng)站的時(shí)候，實(shí)際上是與服務(wù)器做了一次通訊，驗(yàn)證成功后，服務(wù)器才讓你登錄網(wǎng)站。

模擬登錄

如果網(wǎng)站像上面這樣的情況，其實(shí)很好登錄，比如在postman中填寫(xiě)這些對(duì)應(yīng)的參數(shù)就能夠成功登錄，但是有情操的網(wǎng)站都會(huì)有驗(yàn)證碼，一般會(huì)出現(xiàn)在多次登錄失敗或者登錄網(wǎng)站過(guò)于頻繁就會(huì)出現(xiàn)驗(yàn)證碼，好比這樣
Android培訓(xùn),安卓培訓(xùn),手機(jī)開(kāi)發(fā)培訓(xùn),移動(dòng)開(kāi)發(fā)培訓(xùn),云培訓(xùn)培訓(xùn)

則對(duì)應(yīng)的post請(qǐng)求如下
Android培訓(xùn),安卓培訓(xùn),手機(jī)開(kāi)發(fā)培訓(xùn),移動(dòng)開(kāi)發(fā)培訓(xùn),云培訓(xùn)培訓(xùn)

這時(shí)候我們使用postman實(shí)施登錄，結(jié)果似乎不盡如人意，之所以產(chǎn)生這樣的效果時(shí)因?yàn)檫@個(gè)captcha-id在每次請(qǐng)求的時(shí)候都會(huì)重新生成，感覺(jué)是和驗(yàn)證碼綁定的，所以即使你在請(qǐng)求參數(shù)中帶上了captcha-id也無(wú)濟(jì)于事，因?yàn)檫@次的cookie已經(jīng)不能使用上次的cookie，直白說(shuō)就是這次我們又有了一個(gè)新的驗(yàn)證碼，但是使用的captcha-solution卻是上一次的（一張舊船票如何登上進(jìn)入的新船）。
Android培訓(xùn),安卓培訓(xùn),手機(jī)開(kāi)發(fā)培訓(xùn),移動(dòng)開(kāi)發(fā)培訓(xùn),云培訓(xùn)培訓(xùn)

解決思路

舊船票登不上船是因?yàn)槿掌诓粚?duì)，就是這里的captcha-solution和captcha-id不匹配，所以需要