從這里開始，就開始接觸使用分布式系統(tǒng)處理大數(shù)據(jù)了。在處理大數(shù)據(jù)之前，需要有一個場景，否則技術(shù)工具無法嵌入現(xiàn)實當(dāng)中，價值就會降低。我碰到的場景應(yīng)該還是比較具有普遍性，因此大家可以在我的場景里先玩一遍，熟悉一下流程和方法，然后加以改造，加載到自己的場景和環(huán)境中。
場景：在一個大型公司內(nèi)部，終端和各個業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)傳輸都通過網(wǎng)絡(luò)進(jìn)行。出于監(jiān)控的要求，需要在網(wǎng)絡(luò)上獲取所有數(shù)據(jù)包，并查看數(shù)據(jù)包里是否含有某些關(guān)鍵字。如果含有某些關(guān)鍵字，證明終端和業(yè)務(wù)系統(tǒng)間正在進(jìn)行某種操作。系統(tǒng)記錄下這些操作，用于實時顯示或統(tǒng)計使用。
這其實就是“行為數(shù)據(jù)”的采集和記錄，是典型的大數(shù)據(jù)處理場景。
擴(kuò)展一下，將該場景所使用的技術(shù)和工具加載到互聯(lián)網(wǎng)或APP上，就可以在不改動任何業(yè)務(wù)系統(tǒng)、在用戶無感知的情況下，采集用戶的行為數(shù)據(jù)并加以利用，形成用戶習(xí)慣數(shù)據(jù)。當(dāng)然，也可以通過“埋點”的方式進(jìn)行，但改動業(yè)務(wù)系統(tǒng)不要花錢嘛，能省一點是一點。
網(wǎng)絡(luò)數(shù)據(jù)的獲取。網(wǎng)絡(luò)數(shù)據(jù)通過網(wǎng)絡(luò)設(shè)備的“鏡像口”獲得。鏡像口的設(shè)置可以讓網(wǎng)管幫忙，一般可網(wǎng)管交換機(jī)都可以做到，思科、華三、邁普這些都沒啥問題。通過鏡像口獲取網(wǎng)絡(luò)數(shù)據(jù)，就可以在各個業(yè)務(wù)系統(tǒng)和用戶無感知的情況下獲取所有的數(shù)據(jù)了。當(dāng)然，如果公司或者系統(tǒng)在傳輸時使用https等加密手段，這個就沒辦法了。不過一般公司很少在內(nèi)網(wǎng)傳輸時加密。
結(jié)構(gòu)如下（畫功實在是感人）：
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動安全 [無線安全]玩轉(zhuǎn)無線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式