前言:
我始終堅(jiān)信的一點(diǎn)是,學(xué)習(xí)的效果80%來自總結(jié),甚至全部都是??偨Y(jié)的好處就是讓你能翻出你的過往,指出其中的不足,看到未來的改進(jìn)方法,好的總結(jié)更能讓知識(shí)產(chǎn)生飛躍,所以在工作之余,部署項(xiàng)目之際,總結(jié)一番。
架構(gòu)處理:
一、背景
公司數(shù)據(jù)量龐大,萬花筒一樣的領(lǐng)導(dǎo)隨即用上了pipeline_kafka這樣的流式數(shù)據(jù)架構(gòu)。其實(shí)在接手項(xiàng)目之前,作為一個(gè)應(yīng)用開發(fā)、我是不太清楚kafka是什么鬼的,還有stream、transform、等等一系列名詞,聽起來很高大上,但是很懵比=-=。
領(lǐng)導(dǎo)的目標(biāo)是做一個(gè)數(shù)據(jù)流管理系統(tǒng),目的是關(guān)聯(lián)postgresql+kafka+流;通過平臺(tái)的方式管理kafka的關(guān)聯(lián)、流的數(shù)據(jù)規(guī)則、轉(zhuǎn)換數(shù)據(jù)的操作,簡(jiǎn)單的來說就是集成一下數(shù)據(jù)工程師平時(shí)的sql操作,用可視化平臺(tái)的方式提高工作效率。
二、前端結(jié)構(gòu)
前端框架,選用了React.js,淺略的使用一下便感受到了react作為一個(gè)視圖庫的魅力,它將前端變得更優(yōu)雅。因?yàn)镽eact.js只能處理視圖層,而具體的controller我只是使用了jQuery作為補(bǔ)充,項(xiàng)目的體量不大,變動(dòng)較多,使用jquery是最好的選擇。
列出使用到的技術(shù):