爬蟲系統(tǒng)升級(jí)改造正式啟動(dòng):
在第一篇文章,博主主要介紹了本次改造的爬蟲系統(tǒng)的業(yè)務(wù)背景與全局規(guī)劃構(gòu)思:
未來Support云系統(tǒng),不僅僅是爬蟲系統(tǒng),是集爬取數(shù)據(jù)、數(shù)據(jù)建模處理統(tǒng)計(jì)分析、支持全文檢索資源庫、其他業(yè)務(wù)部門和公司資訊系統(tǒng)重要數(shù)據(jù)來源、輔助決策等功能于一身的企業(yè)級(jí)Support系統(tǒng)。
介于好多園友對博主的任務(wù)排期表感興趣,便介紹一下博主當(dāng)時(shí)針對這個(gè)系統(tǒng)做的工作任務(wù)排期概要(排期表就是更加詳細(xì)細(xì)分外加估算工時(shí)的一份excel表格,就不貼出來了):
1.總分四大階段,逐步上線,最終達(dá)到預(yù)期規(guī)劃
2.第一階段實(shí)現(xiàn)一個(gè)新的采集系統(tǒng),自動(dòng)實(shí)時(shí)化爬取數(shù)據(jù)、初步規(guī)則引擎實(shí)現(xiàn)數(shù)據(jù)規(guī)則化、統(tǒng)計(jì)郵件自動(dòng)推送、開放數(shù)據(jù)檢索,并上線替換原有爬蟲系統(tǒng)
3.第二階段實(shí)現(xiàn)規(guī)則化引擎升級(jí),擴(kuò)展成長式規(guī)則引擎,并開放采集源提交、管理、規(guī)則配置、基礎(chǔ)數(shù)據(jù)服務(wù)等基本系統(tǒng)操作
4.第三階段引入全文檢索,針對規(guī)則化數(shù)據(jù)創(chuàng)建索引,提供數(shù)據(jù)全文搜索功能,開放工單申請,可定制數(shù)據(jù)報(bào)告