這幾天在微信群里又聊到.NET可以救中國(guó)但是案例太少不深的問(wèn)題，我說(shuō).NET玩爬蟲(chóng)簡(jiǎn)直就是宇宙第一，于是大神朱永光說(shuō)，你為何不來(lái)寫(xiě)一篇總結(jié)一下？

那么今天就全面的來(lái)總結(jié)一下，在.NET生態(tài)下，如何玩爬蟲(chóng)

關(guān)于爬蟲(chóng)

從搜索引擎開(kāi)始，爬蟲(chóng)應(yīng)該就出現(xiàn)了，爬的對(duì)象當(dāng)然也就是網(wǎng)頁(yè)URL，在很長(zhǎng)一段時(shí)間內(nèi)，爬蟲(chóng)所做的事情就是分析URL、下載WebServer返回的HTML、分析HTML內(nèi)容、構(gòu)建HTTP請(qǐng)求的模擬、在爬蟲(chóng)過(guò)程中存儲(chǔ)有用的信息等等，而伴隨著App的發(fā)展以及CS系統(tǒng)通訊方式的HTTP化，對(duì)服務(wù)接口特別是HTTP RESTFul