這幾天在微信群里又聊到.NET可以救中國但是案例太少不深的問題，我說.NET玩爬蟲簡直就是宇宙第一，于是大神朱永光說，你為何不來寫一篇總結一下？
那么今天就全面的來總結一下，在.NET生態(tài)下，如何玩爬蟲
關于爬蟲
從搜索引擎開始，爬蟲應該就出現(xiàn)了，爬的對象當然也就是網(wǎng)頁URL，在很長一段時間內，爬蟲所做的事情就是分析URL、下載WebServer返回的HTML、分析HTML內容、構建HTTP請求的模擬、在爬蟲過程中存儲有用的信息等等，而伴隨著App的發(fā)展以及CS系統(tǒng)通訊方式的HTTP化，對服務接口特別是HTTP RESTFul
