最近一兩年短視頻業(yè)務(wù)風(fēng)生水起，各個視頻網(wǎng)站都有各自特色的短視頻內(nèi)容。如果有這樣一個程序，可以把各大視頻網(wǎng)站的熱門用戶最新發(fā)布的視頻都下載下來，不僅方便自己觀看，還可以將沒有版權(quán)的視頻發(fā)布在個人社交網(wǎng)站上，增加自己的人氣，豈不美哉？
parker就是這樣一個項目（項目地址：https://github.com/LiuRoy/parker），它采用celery框架定時爬取用戶視頻列表，將最新發(fā)布的視頻通過you-get異步下載，可以很方便地實現(xiàn)分布式部署。因為各個網(wǎng)站的頁面布局和接口更新比較頻繁，為了保證程序的高可用，特意增加了Statsd監(jiān)控，方便及時發(fā)現(xiàn)出錯。
代碼架構(gòu)
目前parker中只實現(xiàn)了B站和秒拍的下載，從框架圖可以看出，針對每一類網(wǎng)站，需要實現(xiàn)兩個異步接口：從用戶視頻主頁解析發(fā)布視頻的播放地址、根據(jù)播放地址下載視頻。因此增加網(wǎng)站類型，不需要修改原來的代碼，只需要添加新的解析和下載接口即可。針對視頻下載完成之后的后續(xù)操作，我還沒有實現(xiàn)，大家可以根據(jù)自己的需求自由的去實現(xiàn)。
在運行的時候，celery會將配置好的優(yōu)質(zhì)用戶列表定時發(fā)送到對應(yīng)網(wǎng)站的解析接口異步執(zhí)行，篩選出最新發(fā)布的視頻播放地址，交給對應(yīng)的下載接口異步下載，下載完成之后再異步調(diào)用后續(xù)操作。因此需要啟動一個celery beat進(jìn)程發(fā)送定時任務(wù)，以及若干celery異步任務(wù)去執(zhí)行解析和下載操作，對于比較大的視頻，下載會相當(dāng)耗時，建議根據(jù)任務(wù)列表的多少合理分配異步任務(wù)的個數(shù)。
程序運行
經(jīng)驗證，此程序可以在ubuntu和mac下正常運行， 由于本地windows下的celery無法正常啟動，所以沒有在windows環(huán)境做過驗證。
依賴庫安裝
python版本為3.5，進(jìn)入項目目錄后，執(zhí)行：
pip install -r requirements.txt
