爬蟲系統(tǒng)升級改造正式啟動:
在第一篇文章,博主主要介紹了本次改造的爬蟲系統(tǒng)的業(yè)務(wù)背景與全局規(guī)劃構(gòu)思:
未來Support云系統(tǒng),不僅僅是爬蟲系統(tǒng),是集爬取數(shù)據(jù)、數(shù)據(jù)建模處理統(tǒng)計分析、支持全文檢索資源庫、其他業(yè)務(wù)部門和公司資訊系統(tǒng)重要數(shù)據(jù)來源、輔助決策等功能于一身的企業(yè)級Support系統(tǒng)。
介于好多園友對博主的任務(wù)排期表感興趣,便介紹一下博主當時針對這個系統(tǒng)做的工作任務(wù)排期概要(排期表就是更加詳細細分外加估算工時的一份excel表格,就不貼出來了):
1.總分四大階段,逐步上線,最終達到預(yù)期規(guī)劃
2.第一階段實現(xiàn)一個新的采集系統(tǒng),自動實時化爬取數(shù)據(jù)、初步規(guī)則引擎實現(xiàn)數(shù)據(jù)規(guī)則化、統(tǒng)計郵件自動推送、開放數(shù)據(jù)檢索,并上線替換原有爬蟲系統(tǒng)
3.第二階段實現(xiàn)規(guī)則化引擎升級,擴展成長式規(guī)則引擎,并開放采集源提交、管理、規(guī)則配置、基礎(chǔ)數(shù)據(jù)服務(wù)等基本系統(tǒng)操作
4.第三階段引入全文檢索,針對規(guī)則化數(shù)據(jù)創(chuàng)建索引,提供數(shù)據(jù)全文搜索功能,開放工單申請,可定制數(shù)據(jù)報告
5.第四階段引入數(shù)據(jù)報表功能,開放統(tǒng)計分析結(jié)果,并向輿情監(jiān)控與決策支持方向擴展
當然,在博主未爭取到更多資源的情況下,第一階段的排期要求了一個月,后面各階段只做了功能規(guī)劃,并未做時間排期。
這也算是一個小手段吧,畢竟第一階段上線,boss們是可能提很多其他意見,或者遇到其他任務(wù)安排的,不能一開始就把時間節(jié)點寫死,不然最終受傷的可能是程序員自己。
你比他好一點,他不會承認你,反而會嫉妒你,只有你比他好很多,他才會承認你,然后還會很崇拜你,所以要做,就一定要比別人做得好很多。
代碼框架搭建:
雖然大家都對我的“SupportYun”命名頗有異議,但是我依然我行我素,哈哈~~~總感覺讀起來很和諧
先上一張截止今天,項目結(jié)構(gòu)的整體圖:
博主一直很喜愛DDD的設(shè)計模式,也在很多項目中引用了一些經(jīng)典DDD模式的框架,但是明顯這次的任務(wù)是不適合做DDD的。
引入了EF Code First做數(shù)據(jù)持久化,未引入相關(guān)的各種操作擴展,這次打算純拉姆達表達式來寫,畢竟吃多了葷的,偶爾也想嘗幾口素,調(diào)劑調(diào)劑口味~
兩個