爬蟲系統(tǒng)升級改造正式啟動:

    在第一篇文章,博主主要介紹了本次改造的爬蟲系統(tǒng)的業(yè)務(wù)背景與全局規(guī)劃構(gòu)思:

    未來Support云系統(tǒng),不僅僅是爬蟲系統(tǒng),是集爬取數(shù)據(jù)、數(shù)據(jù)建模處理統(tǒng)計分析、支持全文檢索資源庫、其他業(yè)務(wù)部門和公司資訊系統(tǒng)重要數(shù)據(jù)來源、輔助決策等功能于一身的企業(yè)級Support系統(tǒng)。

    介于好多園友對博主的任務(wù)排期表感興趣,便介紹一下博主當時針對這個系統(tǒng)做的工作任務(wù)排期概要(排期表就是更加詳細細分外加估算工時的一份excel表格,就不貼出來了):

      1.總分四大階段,逐步上線,最終達到預(yù)期規(guī)劃

      2.第一階段實現(xiàn)一個新的采集系統(tǒng),自動實時化爬取數(shù)據(jù)、初步規(guī)則引擎實現(xiàn)數(shù)據(jù)規(guī)則化、統(tǒng)計郵件自動推送、開放數(shù)據(jù)檢索,并上線替換原有爬蟲系統(tǒng)

      3.第二階段實現(xiàn)規(guī)則化引擎升級,擴展成長式規(guī)則引擎,并開放采集源提交、管理、規(guī)則配置、基礎(chǔ)數(shù)據(jù)服務(wù)等基本系統(tǒng)操作

      4.第三階段引入全文檢索,針對規(guī)則化數(shù)據(jù)創(chuàng)建索引,提供數(shù)據(jù)全文搜索功能,開放工單申請,可定制數(shù)據(jù)報告

      5.第四階段引入數(shù)據(jù)報表功能,開放統(tǒng)計分析結(jié)果,并向輿情監(jiān)控與決策支持方向擴展

    當然,在博主未爭取到更多資源的情況下,第一階段的排期要求了一個月,后面各階段只做了功能規(guī)劃,并未做時間排期。

    這也算是一個小手段吧,畢竟第一階段上線,boss們是可能提很多其他意見,或者遇到其他任務(wù)安排的,不能一開始就把時間節(jié)點寫死,不然最終受傷的可能是程序員自己。

你比他好一點,他不會承認你,反而會嫉妒你,只有你比他好很多,他才會承認你,然后還會很崇拜你,所以要做,就一定要比別人做得好很多。

 

  代碼框架搭建:

    雖然大家都對我的“SupportYun”命名頗有異議,但是我依然我行我素,哈哈~~~總感覺讀起來很和諧

    先上一張截止今天,項目結(jié)構(gòu)的整體圖:

photoshop培訓(xùn),電腦培訓(xùn),電腦維修培訓(xùn),移動軟件開發(fā)培訓(xùn),網(wǎng)站設(shè)計培訓(xùn),網(wǎng)站建設(shè)培訓(xùn)

    博主一直很喜愛DDD的設(shè)計模式,也在很多項目中引用了一些經(jīng)典DDD模式的框架,但是明顯這次的任務(wù)是不適合做DDD的。

    引入了EF Code First做數(shù)據(jù)持久化,未引入相關(guān)的各種操作擴展,這次打算純拉姆達表達式來寫,畢竟吃多了葷的,偶爾也想嘗幾口素,調(diào)劑調(diào)劑口味~

    兩個